本地搭建chatglm-6b

本地搭建chatglm-6b

参考博客：本地版ChatGPT？清华开源项目ChatGLM本地部署教程

1. 安装python，推荐在3.10的稳定版本

2. 安装pipenv，在虚拟python环境中运行项目

3. 分别下载chatglm-6b模型和chatglm-6b-main项目，进行执行

（1）下载chatglm-6b训练后的模型

下载地址：huggingface.co/THUDM/chatglm-6b/tree/main

存储在chatglm-6b下

（2）下载chatglm-6b-main项目，下载地址：github.com/THUDM/ChatGLM-6B

保存至chatglm-6b-main目录下，将chatglm-6b拷贝至目录下

4. 执行pipenv install，创建Pipfile和Pipfile.lock

5. 修改web_demo.py下的内容

   # 之前的/THUDM/chatglm-6b修改为chatglm-6b
   tokenizer = AutoTokenizer.from_pretrained("chatglm-6b", trust_remote_code=True)
   #model = AutoModel.from_pretrained("chatglm-6b", trust_remote_code=True).half().cuda()
   #使用CPU 16G内存模式
   model = AutoModel.from_pretrained("chatglm-6b", trust_remote_code=True).bfloat16()
   

6. 执行pipenv shell，再启动python web_demo.py，浏览器中输入url，就可以进行测试使用了