一、资源
ChatGLM 模型:https://github.com/THUDM/ChatGLM-6B
langchain-ChatGLM:https://github.com/imClumsyPanda/langchain-ChatGLM
langchain-ChatGLM 部署避坑:持续更新 | langchain-ChatGLM的部署避坑解决方案 - 知乎
部署(前端有优化):基于 ChatGLM-6B 搭建个人专属知识库 - 知乎
免费部署:LangChain:一个让你的LLM变得更强大的开源框架 - 知乎
一站式整合包(含chatglm模型):链接:https://pan.baidu.com/s/13GePNuh8ZP_DkMVRf5sHqw?pwd=2d2z
一站式整合包(不含模型):链接:https://pan.baidu.com/s/1lMfG34jerHO7aFjfdKTGUw?pwd=6y7j
数据集制作大佬链接:https://github.com/huang1332/finetune_dataset_maker
模型微调大佬链接:https://github.com/mymusise/ChatGLM-Tuning
ChatGLM官方链接:https://github.com/THUDM/ChatGLM-6B
离线部署:https://www.heywhale.com/mw/project/64b514e4f42a4e6770b8b1ac?run=
二、系统环境
系统 | Linux |
镜像 | Centos7.9 |
CUDA | 12.0 |
GPU | V100 *2,64G |
Python | 3.8.17 |
三、下载模型到本地
1、从 Hugging Face Hub 下载模型需要先安装Git LFS,然后下载 LLM模型、Embedding模型:
LLM:git clone https://huggingface.co/THUDM/chatglm2-6b
Embedding:git clone https://huggingface.co/shibing624/text2vec-base-chinese
可以尝试更多官方推荐的模型。
模型类型 | 模型名字 | 大小 | 服务消耗显卡 |
LLM | chatglm2-6b | 10G左右 | 最少14G |
Embedding | shibing624/text2vec-base | 409M |
watch -n 0.5 nvidia-smi
四、踩坑
case:
Q:ImportError: libGL.so.1: cannot open shared object file: No such file or directory
A:缺少共享库。centos系统下:yum install mesa-libGL.x86_64
Q:Could not create share link. Please check your internet connection or our status page: https://status.gradio.app.
A:服务器部署,ip为服务器ip,端口一般为80端口(开放)
欢迎大家加入群,交流部署踩坑经验,助您5分钟内搭建完,so easy!
https://b0fsgy8vai7.feishu.cn/docx/UspRdxwYGo73W2xpfrJcMWvenWg?from=from_copylink