5分钟部署Langchain+ChatGLM

一、资源

ChatGLM 模型：https://github.com/THUDM/ChatGLM-6B

langchain-ChatGLM：https://github.com/imClumsyPanda/langchain-ChatGLM

langchain-ChatGLM 部署避坑：持续更新 | langchain-ChatGLM的部署避坑解决方案 - 知乎

部署（前端有优化）：基于 ChatGLM-6B 搭建个人专属知识库 - 知乎

免费部署：LangChain：一个让你的LLM变得更强大的开源框架 - 知乎

一站式整合包（含chatglm模型）：链接：https://pan.baidu.com/s/13GePNuh8ZP_DkMVRf5sHqw?pwd=2d2z

一站式整合包（不含模型）：链接：https://pan.baidu.com/s/1lMfG34jerHO7aFjfdKTGUw?pwd=6y7j

数据集制作大佬链接：https://github.com/huang1332/finetune_dataset_maker

模型微调大佬链接：https://github.com/mymusise/ChatGLM-Tuning

ChatGLM官方链接：https://github.com/THUDM/ChatGLM-6B

离线部署：https://www.heywhale.com/mw/project/64b514e4f42a4e6770b8b1ac?run=

二、系统环境

系统	Linux
镜像	Centos7.9
CUDA	12.0
GPU	V100 *2，64G
Python	3.8.17

三、下载模型到本地

1、从 Hugging Face Hub 下载模型需要先安装Git LFS，然后下载 LLM模型、Embedding模型：

LLM：git clone https://huggingface.co/THUDM/chatglm2-6b

Embedding：git clone https://huggingface.co/shibing624/text2vec-base-chinese

可以尝试更多官方推荐的模型。

模型类型	模型名字	大小	服务消耗显卡
LLM	chatglm2-6b	10G左右	最少14G
Embedding	shibing624/text2vec-base	409M

watch -n 0.5 nvidia-smi

四、踩坑

case:

Q：ImportError: libGL.so.1: cannot open shared object file: No such file or directory

A：缺少共享库。centos系统下：yum install mesa-libGL.x86_64

Q：Could not create share link. Please check your internet connection or our status page: https://status.gradio.app.

A：服务器部署，ip为服务器ip，端口一般为80端口（开放）

欢迎大家加入群，交流部署踩坑经验，助您5分钟内搭建完，so easy！

https://b0fsgy8vai7.feishu.cn/docx/UspRdxwYGo73W2xpfrJcMWvenWg?from=from_copylink