AI项目博客

「企业级大模型私有化部署」系列第 4 篇。目标：在第二台 GPU 服务器上装 Xinference，部署 bge-large-zh-v1.5 和 reranker，再通过 6007 隧道接进 Dify。 结论：RAG 的效果不只看大语言模型。向量化决定了能不能召回，Rerank 决定了召回的片段排得对不对；这两个模型用 Xinference 管，比用 Ollama 更稳。 一、Xinference 是什么 Xinference 是一个强…

赞(0)admin2026-10-12大模型 阅读(59)评论(1)

9.1. 本地部署并对接LangSmith LangSmith 是 LangChain 官方提供的 Agent 应用工程平台，主要用于对基于 LangGraph、LangChain 等框架开发的 Agent 应用进行运行链路追踪、调试、评估和生产监控。 LangChain 官方提供了开箱即用的 LangSmith 云服务，访问地址为： https://smith.langchain.com 此外，LangSmith 也支持混合部署和私有…

赞(0)admin2026-10-11AI框架 阅读(9)去评论

「企业级大模型私有化部署」系列第 3 篇。目标：在 AutoDL 的 RTX 4090 上装 Ollama，跑 qwen3:4b，再通过 SSH 隧道接进 Dify。 结论：Ollama 负责「把大模型跑起来」，Dify 负责「把大模型用起来」。中间那根线是 SSH 隧道；隧道没通，Dify 里怎么配都看不到模型。 一、AutoDL 是什么 AutoDL 是面向开发者和企业的 GPU 算力平台，提供 RTX 4090、3090、A 系列…

赞(0)admin2026-10-11大模型 阅读(25)去评论

LangGraph 提供了两种中断机制： 动态中断：在图的任意节点中调用 interrupt() 函数实现 它可以放在代码的任意位置，并且可以根据应用逻辑设置条件触发，所以是动态的。 动态中断提供了人机交互接口，使得调用者可以人为干预计算图的运行，是业务逻辑的一部分。 静态中断：在编译或调用状态图时通过 interrupt_before 和 interrupt_after 参数设置断点 它是在运行前确定的，不能根据业务逻辑条件触发，所以…

赞(0)admin2026-10-10AI框架 阅读(21)去评论

「企业级大模型私有化部署」系列第 2 篇。目标：在腾讯云 4 核 8GB 的 CVM 上，用 Docker 把 Dify 跑起来，完成首次管理员设置，并接一个在线模型验证。 结论：Dify 是应用层，本身不重；真正容易卡住的是 Docker 安装、镜像拉取和首次访问。把这三步做稳，后面接模型才有意义。 一、Dify 能做什么 Dify 是一个综合性的 LLM 应用开发平台，内置了构建生成式 AI 应用所需的大部分技术栈： 基于 Agen…

赞(0)admin2026-10-10大模型 阅读(40)去评论

A.1. PostgreSQL简介 A.1.1. 什么是PostgreSQL PostgreSQL（简称 PG）是一款开源的关系型数据库管理系统（RDBMS），诞生于1996年，至今已有近30年的发展历史。它以稳定性、可靠性、ACID事务支持和强大的扩展能力著称，是目前生产环境中使用最广泛的开源关系型数据库之一。 PostgreSQL 的主要特点包括： ACID事务：完整支持原子性（Atomicity）、一致性（Consistency）…

赞(0)admin2026-10-09AI框架 阅读(16)去评论

「企业级大模型私有化部署」系列共 4 篇：场景与拓扑、Dify、Ollama、Xinference。这是第 1 篇。 结论：私有化部署不是「装一个 Dify」就结束了。它是一条从应用平台到模型服务的链路：Dify 负责应用，Ollama 负责大语言模型，Xinference 负责 Embedding 与 Rerank，三台服务器各司其职。 一、为什么企业要做私有化部署 企业在使用大模型时，第一约束是数据安全。把制度、客户资料、代码、合同…

赞(0)admin2026-10-09大模型 阅读(25)去评论

Agent 的三种记忆： 短期记忆：通过运行时状态 State 访问，并由检查点存储器 Checkpointer 保存，它按照 thread_id 组织，可以实现线程内的记忆共享。 长期记忆：通过长期记忆存储器 Store 访问和存储。数据通常按照元组类型的命名空间组织，以键值对的形式存储，提供跨会话的记忆共享。 可以按照命名空间+可选的过滤条件精确检索 也可以通过语义模糊匹配。 运行时上下文：通过上下文对象 Context 访问，只对…

赞(0)admin2026-10-08AI框架 阅读(25)去评论

Dify 是目前用得比较多的开源 LLM 应用开发平台，但官方文档主要讲「怎么用」，部署这一步散在各处。这篇把全平台的本地化部署过程整理成一条线：环境检查 → 依赖安装（Windows / Linux / macOS）→ 启动 Dify → 验证 → 配置模型供应商 → 日常维护

赞(0)admin2026-10-08大模型 阅读(55)去评论

6.1. 概述 6.1.1. 什么是可恢复执行 在工作流、Agent、任务编排系统里，可恢复执行 Durable Execution 指的是： 把一次任务执行过程中的关键进度、状态、结果保存到可靠存储中，使任务可以在中断、失败、等待外部输入后继续执行。 它解决的是“执行过程能否恢复”的问题。 例如： 普通执行： 开始 -> A -> B -> C 如果执行到 B 后程序挂了，重启后可能只能从 A 重新开始。 可恢复执行…

赞(0)admin2026-10-07AI框架 阅读(14)去评论