部署清华ChatGLM2-6B模型

一、下载并安装python环境

1. 在官网下载python python官网
2. 无脑下一步安装（省略）
3. 输入python 出现下图即表示安装成功
   

二、下载ChatGLM2-6B的模型及代码（可以git clone命令下载 ，也可以下载zip包）

1. ChatGLM2-6B的模型下载地址
2. 代码下载地址
   码云国内镜像代码地址

网络环境不是太差多刷新几次都能进去，不需要魔法，有的更好

三、搭建步骤

安装所需依赖

1、切换下载源到国内 （对网速有信心的这步可以跳过）

pip3 install jieba -i 仓库地址

常用仓库地址
（1）阿里云 http://mirrors.aliyun.com/pypi/simple/
（2）豆瓣 http://pypi.douban.com/simple/
（3）清华大学 https://pypi.tuna.tsinghua.edu.cn/simple/
（4）中国科学技术大学 http://pypi.mirrors.ustc.edu.cn/simple/
（5）华中科技大学 http://pypi.hustunique.com/

2、在克隆下来的代码中安装依赖

pip install -r requirements.txt

切换GPU版本的torch

1、使用命令查看现有的torch 如下图 (下图是已经切换过来的，之前没有+cu117)

pip list

2、卸载当前torch

pip uninstall torch
pip uninstall torchvision

3、查看可安装的版本 如图

python -m pip debug --verbose 

4、然后下载离线资源 https://download.pytorch.org/whl/torch_stable.html
注意下载的内容和版本，（torch，torchvision）
![在这里插入图片描述](https://img-blog.csdnimg.cn/f96268168e9245feab4dcfe377696896.png

5、安装

pip install torch-2.0.1+cu117-cp311-cp311-win_amd64.whl #安装，install后面是你下载的文件名加上后缀.whl
pip install torchvision-0.15.2+cu117-cp311-cp311-win_amd64.whl #安装torchversion

6、验证是否安装成功

python
import torch
print(torch.__version__)#查看torch版本
print(torch.cuda.is_available())#查看cuda能用吗

四、 启动代码，查看效果

1、修改模型位置（换成你实际的模型地址）

2、命令启动代码

python web_demo.py

五、电脑硬件不支持，使用量化模型，CPU执行

下载INT4量化模型库，修改代码

#原始代码
tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True)
model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True).half().cuda()
#INT4量化 GPU加载
tokenizer = AutoTokenizer.from_pretrained("E:\Desktop\THUDM\chatglm2-6b-int4", trust_remote_code=True)
model = AutoModel.from_pretrained("E:\Desktop\THUDM\chatglm2-6b-int4", trust_remote_code=True).quantize(4).half().cuda()
#INT4量化 CPU加载
tokenizer = AutoTokenizer.from_pretrained("E:\Desktop\THUDM\chatglm2-6b-int4", trust_remote_code=True)
model = AutoModel.from_pretrained("E:\Desktop\THUDM\chatglm2-6b-int4",trust_remote_code=True).float()

码字不易，部署成功了，点个赞关注一波！