标签：本地部署

「企业级大模型私有化部署」系列第 4 篇。目标：在第二台 GPU 服务器上装 Xinference，部署 bge-large-zh-v1.5 和 reranker，再通过 6007 隧道接进 Dify。 结论：RAG 的效果不只看大语言模型。向量化决定了能不能召回，Rerank 决定了召回的片段排得对不对；这两个模型用 Xinference 管，比用 Ollama 更稳。 一、Xinference 是什么 Xinference 是一个强…

赞(0)admin2026-10-12大模型 阅读(60)评论(1)

「企业级大模型私有化部署」系列第 3 篇。目标：在 AutoDL 的 RTX 4090 上装 Ollama，跑 qwen3:4b，再通过 SSH 隧道接进 Dify。 结论：Ollama 负责「把大模型跑起来」，Dify 负责「把大模型用起来」。中间那根线是 SSH 隧道；隧道没通，Dify 里怎么配都看不到模型。 一、AutoDL 是什么 AutoDL 是面向开发者和企业的 GPU 算力平台，提供 RTX 4090、3090、A 系列…

赞(0)admin2026-10-11大模型 阅读(26)去评论

「企业级大模型私有化部署」系列第 2 篇。目标：在腾讯云 4 核 8GB 的 CVM 上，用 Docker 把 Dify 跑起来，完成首次管理员设置，并接一个在线模型验证。 结论：Dify 是应用层，本身不重；真正容易卡住的是 Docker 安装、镜像拉取和首次访问。把这三步做稳，后面接模型才有意义。 一、Dify 能做什么 Dify 是一个综合性的 LLM 应用开发平台，内置了构建生成式 AI 应用所需的大部分技术栈： 基于 Agen…

赞(0)admin2026-10-10大模型 阅读(41)去评论

「企业级大模型私有化部署」系列共 4 篇：场景与拓扑、Dify、Ollama、Xinference。这是第 1 篇。 结论：私有化部署不是「装一个 Dify」就结束了。它是一条从应用平台到模型服务的链路：Dify 负责应用，Ollama 负责大语言模型，Xinference 负责 Embedding 与 Rerank，三台服务器各司其职。 一、为什么企业要做私有化部署 企业在使用大模型时，第一约束是数据安全。把制度、客户资料、代码、合同…

赞(0)admin2026-10-09大模型 阅读(26)去评论

Dify 是目前用得比较多的开源 LLM 应用开发平台，但官方文档主要讲「怎么用」，部署这一步散在各处。这篇把全平台的本地化部署过程整理成一条线：环境检查 → 依赖安装（Windows / Linux / macOS）→ 启动 Dify → 验证 → 配置模型供应商 → 日常维护

赞(0)admin2026-10-08大模型 阅读(56)去评论