大模型

「企业级大模型私有化部署」系列第 4 篇。目标：在第二台 GPU 服务器上装 Xinference，部署 bge-large-zh-v1.5 和 reranker，再通过 6007 隧道接进 Dify。 结论：RAG 的效果不只看大语言模型。向量化决定了能不能召回，Rerank 决定了召回的片段排得对不对；这两个模型用 Xinference 管，比用 Ollama 更稳。 一、Xinference 是什么 Xinference 是一个强…

赞(0)admin2026-10-12阅读(59)评论(1)

「企业级大模型私有化部署」系列第 3 篇。目标：在 AutoDL 的 RTX 4090 上装 Ollama，跑 qwen3:4b，再通过 SSH 隧道接进 Dify。 结论：Ollama 负责「把大模型跑起来」，Dify 负责「把大模型用起来」。中间那根线是 SSH 隧道；隧道没通，Dify 里怎么配都看不到模型。 一、AutoDL 是什么 AutoDL 是面向开发者和企业的 GPU 算力平台，提供 RTX 4090、3090、A 系列…

赞(0)admin2026-10-11阅读(25)去评论

「企业级大模型私有化部署」系列第 2 篇。目标：在腾讯云 4 核 8GB 的 CVM 上，用 Docker 把 Dify 跑起来，完成首次管理员设置，并接一个在线模型验证。 结论：Dify 是应用层，本身不重；真正容易卡住的是 Docker 安装、镜像拉取和首次访问。把这三步做稳，后面接模型才有意义。 一、Dify 能做什么 Dify 是一个综合性的 LLM 应用开发平台，内置了构建生成式 AI 应用所需的大部分技术栈： 基于 Agen…

赞(0)admin2026-10-10阅读(40)去评论

「企业级大模型私有化部署」系列共 4 篇：场景与拓扑、Dify、Ollama、Xinference。这是第 1 篇。 结论：私有化部署不是「装一个 Dify」就结束了。它是一条从应用平台到模型服务的链路：Dify 负责应用，Ollama 负责大语言模型，Xinference 负责 Embedding 与 Rerank，三台服务器各司其职。 一、为什么企业要做私有化部署 企业在使用大模型时，第一约束是数据安全。把制度、客户资料、代码、合同…

赞(0)admin2026-10-09阅读(25)去评论

Dify 是目前用得比较多的开源 LLM 应用开发平台，但官方文档主要讲「怎么用」，部署这一步散在各处。这篇把全平台的本地化部署过程整理成一条线：环境检查 → 依赖安装（Windows / Linux / macOS）→ 启动 Dify → 验证 → 配置模型供应商 → 日常维护

赞(0)admin2026-10-08阅读(55)去评论

Qdrant 官方文档主推 Docker 部署，但如果你的机器上既没装 Docker 也没启用 WSL，怎么办？答案是跑官方提供的 Windows 原生二进制——解压即用，不依赖任何额外运行时。 这篇把整个过程从头写一遍：下载、目录规划、配置、开机自启、自己构

赞(1)admin2026-10-01阅读(54)去评论

如果你想在一台没有独立显卡（或者只有一张老显卡）的机器上，跑通一套**完全离线**的「文档问答」环境——本地把文字转成向量、本地存起来、本地检索、本地生成回答，不调用任何在线大模型服务——这篇文章把整个过程从头到尾写了一遍。 实测机器：i5-10400F +

赞(0)admin2026-09-30阅读(73)去评论