5分钟部署Langchain+ChatGLM
一、资源
ChatGLM 模型：https://github.com/THUDM/ChatGLM-6B
langchain-ChatGLM：https://github.com/imClumsyPanda/langchain-ChatGLM
langchain-ChatGLM 部署避坑：持续更新 | langchain-ChatGLM的部署避坑解决方案 - 知乎
部署（前端有优化）：基于 ChatGLM-6B 搭建个人专属知识库 - 知乎
免费部署：LangChain：一个让你的LLM变得更强大的开源框架 - 知乎
一站式整合包（含chatglm模型）：链接：https://pan.baidu.com/s/13GePNuh8ZP_DkMVRf5sHqw?pwd=2d2z
一站式整合包（不含模型）：链接：https://pan.baidu.com/s/1lMfG34jerHO7aFjfdKTGUw?pwd=6y7j
数据集制作大佬链接：https://github.com/huang1332/finetune_dataset_maker
模型微调大佬链接：https://github.com/mymusise/ChatGLM-Tuning
ChatGLM官方链接：https://github.com/THUDM/ChatGLM-6B
离线部署：https://www.heywhale.com/mw/project/64b514e4f42a4e6770b8b1ac?run=
二、系统环境
| 系统 | Linux |
| 镜像 | Centos7.9 |
| CUDA | 12.0 |
| GPU | V100 *2，64G |
| Python | 3.8.17 |
三、下载模型到本地
1、从 Hugging Face Hub 下载模型需要先安装Git LFS，然后下载 LLM模型、Embedding模型：
LLM：git clone https://huggingface.co/THUDM/chatglm2-6b
Embedding：git clone https://huggingface.co/shibing624/text2vec-base-chinese
可以尝试更多官方推荐的模型。
| 模型类型 | 模型名字 | 大小 | 服务消耗显卡 |
| LLM | chatglm2-6b | 10G左右 | 最少14G |
| Embedding | shibing624/text2vec-base | 409M |
watch -n 0.5 nvidia-smi
四、踩坑
case:
Q：ImportError: libGL.so.1: cannot open shared object file: No such file or directory
A：缺少共享库。centos系统下：yum install mesa-libGL.x86_64
Q：Could not create share link. Please check your internet connection or our status page: https://status.gradio.app.
A：服务器部署，ip为服务器ip，端口一般为80端口（开放）
欢迎大家加入群，交流部署踩坑经验，助您5分钟内搭建完，so easy！
https://b0fsgy8vai7.feishu.cn/docx/UspRdxwYGo73W2xpfrJcMWvenWg?from=from_copylink