LangChain接入大模型
大约 3 分钟
LangChain接入大模型
- LangChain官网示例大多是国外大模型平台，需要魔法环境，学习起来不方便
- 提供几种解决方案
- ollama部署本地大模型
- 接入兼容OpenAI接口的国产大模型(阿里云、火山引擎、腾讯云等)
- LangChain接入大模型
- LangChain文档: Chat models
- 该方式为厂商/社区适配的SDK，不如兼容OpenAI的方式方便
本地大模型
ollama
安装
- Ollama 是一个开源项目，它允许用户在其本地计算机上运行大型语言模型（LLM）。
- 官方文档
- Ollama更多介绍可以看我之前的博客及视频：Ollama
# 下载大模型
ollama pull qwen2.5:latest
ollama pull qwen2.5:0.5b
- 验证ollama安装成功
- 访问"http://ip:11434"，如 "http://localhost:11434"
- 响应结果："Ollama is running"
- 验证ollama模型下载
- 访问"http://ip:11434/api/tags"，如 "http://localhost:11434/api/tags"
- 响应结果列出了已下载大模型列表
LangChain接入
- LangChain文档: ChatOllama
- 安装依赖
pip install langchain
pip install langchain-ollama
- 代码
from langchain_ollama import ChatOllama
# 实例化
llm = ChatOllama(base_url="http://localhost:11434", model="qwen2.5:latest")
# 调用
result = llm.invoke("你好，怎么称呼？")
print(result)
兼容OpenAI接口
- 由于OpenAi领先地位，大部分大模型都能兼容openai接口，一般更改下面几个参数就能完成接入
- openai_api_base: 大模型平台API地址
- openai_api_key: 平台密钥
- model_name: 模型名称、接入点
- LangChain官方文档：ChatOpenAI
阿里-百炼
准备
- openai_api_base: "https://dashscope.aliyuncs.com/compatible-mode/v1"
- openai_api_key
- 获取路径: 阿里云控制台 > 阿里云百炼 > 右上角"人员"图标 > API-KEY
- 阿里云文档: API key获取、API接口
- model_name
- 模型选择: 阿里云控制台 > 阿里云百炼 > 模型广场 > 找一个中意的模型
- 阿里云文档: 模型价格表
LangChain接入
- 安装依赖
pip install langchain
pip install langchain-openai
- 代码
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(
openai_api_base="https://dashscope.aliyuncs.com/compatible-mode/v1",
openai_api_key="sk-xxx", # app_key
model_name="qwen-turbo", # 模型名称
)
result = llm.invoke("你好，怎么称呼？")
print(result)
字节-火山方舟
准备
- openai_api_base: "https://ark.cn-beijing.volces.com/api/v3"
- openai_api_key
- 获取路径: 火山引擎控制台 > 火山方舟 > API Key管理(左侧菜单)
- 火山引擎文档: API Key 管理
- model_name
- 模型选择: 火山引擎控制台 > 火山方舟 > 在线推理 > 创建推理接入点
- 火山引擎文档: 创建推理接入点
LangChain接入
- 安装依赖
pip install langchain
pip install langchain-openai
- 代码
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(
openai_api_base="https://ark.cn-beijing.volces.com/api/v3",
openai_api_key="xxx-xxx-xxx", # app_key
model_name="ep-xxx", # 推理接入点
)
result = llm.invoke("你好，怎么称呼？")
print(result)
腾讯-混元
准备
- openai_api_base: "https://api.hunyuan.cloud.tencent.com/v1"
- openai_api_key
- 获取路径: 腾讯云控制台 > 腾讯混元大模型 > API KEY管理 > 创建API KEY
- 腾讯混元文档: 混元生文
- model_name
- 模型选择: 腾讯云控制台 > 腾讯混元大模型 > 资源包管理
- 腾讯混元文档: 混元生文计费概述
LangChain接入
- 安装依赖
pip install langchain
pip install langchain-openai
- 代码
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(
openai_api_base="https://api.hunyuan.cloud.tencent.com/v1",
openai_api_key="sk-xxx", # app_key
model_name="hunyuan-pro", # 模型名称
)
result = llm.invoke("你好，怎么称呼？")
print(result)