第六篇-ChatGLM2-6B-CentOS安装部署-GPU版

环境

系统：CentOS-7
CPU: 14C28T
显卡：Tesla P40 24G
驱动: 515
CUDA: 11.7
cuDNN: 8.9.2.26

模型文件

https://huggingface.co/THUDM/chatglm2-6b
下载模型相关文件到自己目录
我的是/models/chatglm2-6b

[root@ai-server chatglm2-6b]# pwd
/models/chatglm2-6b
[root@ai-server chatglm2-6b]# ll -h
total 12G
-rw-r--r--. 1 root root   678 Jul 29 09:30 cli.py
-rw-r--r--. 1 root root  1.2K Jul 29 09:30 config.json
-rw-r--r--. 1 root root  2.2K Jul 29 09:30 configuration_chatglm.py
-rw-r--r--. 1 root root   50K Jul 29 09:30 modeling_chatglm.py
-rw-r--r--. 1 root root  4.1K Jul 29 09:30 MODEL_LICENSE.txt
-rw-r--r--. 1 root root  1.8G Jul 29 09:33 pytorch_model-00001-of-00007.bin
-rw-r--r--. 1 root root  1.9G Jul 29 09:33 pytorch_model-00002-of-00007.bin
-rw-r--r--. 1 root root  1.8G Jul 29 09:33 pytorch_model-00003-of-00007.bin
-rw-r--r--. 1 root root  1.7G Jul 29 09:33 pytorch_model-00004-of-00007.bin
-rw-r--r--. 1 root root  1.9G Jul 29 09:33 pytorch_model-00005-of-00007.bin
-rw-r--r--. 1 root root  1.8G Jul 29 09:33 pytorch_model-00006-of-00007.bin
-rw-r--r--. 1 root root 1005M Jul 29 09:32 pytorch_model-00007-of-00007.bin
-rw-r--r--. 1 root root   20K Jul 29 09:30 pytorch_model.bin.index.json
-rw-r--r--. 1 root root   15K Jul 29 09:30 quantization.py
-rw-r--r--. 1 root root   348 Jul 29 09:30 README-env.md
-rw-r--r--. 1 root root  7.9K Jul 29 09:30 README.md
-rw-r--r--. 1 root root  9.9K Jul 29 09:30 tokenization_chatglm.py
-rw-r--r--. 1 root root   244 Jul 29 09:30 tokenizer_config.json
-rw-r--r--. 1 root root  995K Jul 29 09:30 tokenizer.model

创建环境安

conda create --name glm2 python=3.10
conda activate glm2

下载代码工程

git clone https://github.com/THUDM/ChatGLM2-6B
cd ChatGLM2-6B

安装依赖：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
python web_demo.py

修改代码

web_demo.py

tokenizer = AutoTokenizer.from_pretrained("/models/chatglm2-6b", trust_remote_code=True)
model = AutoModel.from_pretrained("/models/chatglm2-6b", trust_remote_code=True).cuda()

demo.queue().launch(share=False, inbrowser=True,server_name='0.0.0.0', server_port=7860)

启动

python web_demo.py

Running on local URL:  http://0.0.0.0:7860

To create a public link, set `share=True` in `launch()`.

说明启动成功

访问

http://192.168.1.100:7860

你好
你好！我是人工智能助手 ChatGLM2-6B，很高兴见到你，欢迎问我任何问题。

系列文章

第一篇-ChatGLM-webui-Windows安装部署-CPU版
第二篇-二手工作站配置
第三篇-Tesla P40+CentOS-7+CUDA 11.7 部署实践
第四篇-Miniconda3-CentOS7-安装
第五篇-ChatGLM2-6B模型下载
第六篇-ChatGLM2-6B-CentOS安装部署-GPU版