重点推荐:企业级大模型私有化部署(四):Xinference 部署 Embedding 与 Rerank
装 Xinference、部署 bge-large-zh-v1.5 和 reranker,再通过 6007 隧道接进 Dify,补 xoscar 兼容问题。
装 Xinference、部署 bge-large-zh-v1.5 和 reranker,再通过 6007 隧道接进 Dify,补 xoscar 兼容问题。

提示词是操作大模型的接口。字符串拼接也能拼出提示词,但变量一多就难读、难维护、容易拼错;正式项目需要模板化。LangChain 1.x 的 ChatPromptTemplate 输出的不是一段字符串,而是可直接交给聊天模型的消息列表。 16.1 为什么推荐提示词模板 先看字符串拼接: topic = "Python" difficulty = "初学者" prompt_str = f"你是一个{difficulty}级别的编程导师。请用…

大模型本身没有记忆:它的输出只取决于这次送进模型的上下文,很多 API 服务端也不保存会话历史。因此,多轮对话的「记忆」要由应用自己维护——维护一个 Message 列表,每轮把完整历史发过去。LangChain 1.0 提供了跨模型统一的 Message 标准,OpenAI、Anthropic、Gemini 和本地模型都可以用同一套结构描述消息。 15.1 消息的内部结构 一条 Message 通常包含三个字段: Role:消息所属的…

环境变量配好后,不需要改代码,也不需要手动上报:只要程序里执行了 load_dotenv(),LangSmith 就会自动记录每次运行。这一篇跑三个示例,然后看后台能看到什么。 14.1 运行任意 LangChain 程序 示例 1:ChatDeepSeek。 import os from dotenv import load_dotenv from langchain_deepseek import ChatDeepSeek # 加载…

这一篇把 LangSmith 接到现有项目:注册账号、创建 API Key、写入环境变量。三步完成后,运行 LangChain 代码就会自动上报调用记录。 13.1 注册或登录 访问 LangSmith 官网:https://smith.langchain.com/。首次进入先选择数据区域(US Central 或 EU West),页面会提示这个选择之后不能修改。然后可以选择 Google、GitHub、Discord 账号,或用邮箱…

模型能调起来之后,下一个问题是「它到底跑得怎么样」。LangSmith 就是 LangChain 生态里负责这件事的平台:把大模型应用的调用链路、性能指标、测试数据和提示词放到一个地方管理。 12.1 什么是 LangSmith LangSmith 是 LangChain 生态中专门用于 LLM 应用调试、监控、评估和管理的平台。四个关键词可以概括它的定位: 追踪(Tracing):记录每次 LLM 调用的详细信息; 监控(Monito…

最后一篇是拓展内容:怎么把输出看得更清楚、怎么查模型能力、怎么拿到完整参数列表,以及调用时的 config 怎么用。 11.1 美化模型输出响应 直接 print(response) 会输出一大坨结构,读起来很乱。有两种更清爽的方式。 方法 1:pretty_print()。只保留角色和内容,适合在终端快速查看。 import os from langchain.chat_models import init_chat_model fr…

模型建好之后,就是调用。LangChain 提供六种核心调用方法,区别主要在「等不等结果」和「一次发几个」: 方法 特点 适用场景 invoke() 阻塞式,一次性返回完整结果 问答、批处理任务、无需实时反馈 ainvoke() 非阻塞式,提高系统吞吐量 高并发 Web 应用、IO 密集型任务 stream() 流式输出,实时返回每个 token 聊天机器人、长文本生成、重视体验的交互 astream() 非阻塞的流式输出 高并发场景下…

前几篇都是调用云端 API。还有一个角度是「模型放在哪里」:本地部署。LangChain 支持使用 Ollama、vLLM 等框架启动的本地大模型,这里以 Ollama 为例。 09.1 Ollama 是什么 Ollama 是 GitHub 上的开源项目,定位是「本地运行大模型的集成框架」:把 Qwen、DeepSeek 等主流模型的下载、启动和本地推理自动化。官方地址:https://ollama.com。 09.2 安装 Ollam…

上一篇是「一个厂商一个类」,模型一多就要记一堆参数名。LangChain 1.x 提供了统一入口 init_chat_model():传模型名,它自动选择对应的模型类并初始化实例。 08.1 基本用法 from langchain.chat_models import init_chat_model model = init_chat_model( "provider:model_name", # 提供商:模型名称 api_key="y…

这一篇讲「角度 1:使用模型提供商库」。LangChain 为常见厂商提供了专用 Model 类,比如 ChatOpenAI、ChatAnthropic、ChatDeepSeek、ChatOllama、ChatHunyuan、ChatTongyi、ChatZhipuAI。导入对应的类并实例化即可,最直接。注意不同模型传入的参数名可能不同,使用前先看对应源码或 API 参考。 07.1 通过专用 API 调用 07.1.1 DeepSee…
最新评论
干货满满!
江苏省 南京市 · IP 49.91.145.*
我要看文章
重庆市 · IP 116.168.9.*
这个内容实在是太精彩啦
重庆市 · IP 123.147.232.*