【本地逐步部署教程】清华ChatGLM-6B本地部署，适合小白和具备一定基础的大模型尝试者

（一）安装Anaconda
1、通过清华镜像源下载：https://mirrors.tuna.tsinghua.edu.cn/#，选择了Anaconda 2版本

2、setup 位置在
C:\Users\comac\Anaconda2
3、配置环境变量：① C:\Users\comac\Anaconda2\Scripts、② C:\Users\comac\Anaconda2
cmd输入指令验证

参考链接：https://blog.csdn.net/fan18317517352/article/details/123035625
4、在.condarc配置镜像文件，在.condarc中配置了镜像源，镜像源可以极大的方便我们下载第三方模块，后续创建自己的虚拟环境会快很多。

参考链接：https://zhuanlan.zhihu.com/p/351348108

（二）创建虚拟环境，进行环境配置
Github模型代码下载地址：https://github.com/THUDM/ChatGLM-6B
HuggingFace模型权重下载地址：https://huggingface.co/THUDM/chatglm-6b

1、创建conda虚拟环境，并安装chatglm-6b所需要的依赖包
conda create -n chatglm python==3.8
conda activate chatglm
cd ChatGLM-6B（切换到从github下载下来的文件ChatGLM-6B的目录下）
pip install -r requirements.txt

2、采用int4量化模型
需要使用量化模型：如果显存没有13G以上，则无法运行FP16精度模型，只能运行量化后的模型，需要修改一下代码。本台电脑显存6016MB（win+R输入dxdiag查看）。


（1）、在Hugging Face上下载chatglm-6b int4量化模型地址如下：https://huggingface.co/THUDM/chatglm-6b-int4（采用了逐个下载的方式）

（2）、在ChatGLM文件中新建“chatglm-6b-int4”文件夹，放刚刚下载下来的文件

（3）、在“cli-demo.py”中修改代码。要引用到那个“chatglm-6b-int4”文件夹：“C:\Users\comac\PycharmProjects\pythonProject\ChatGLM-6B-main\chatglm-6b-int4”

参考链接：https://mp.weixin.qq.com/s/545Z4DTB78q_sLqBq6dC1A

3、torch需要安装cuda版本
默认安装的torch是cpu版本的，不符合要求，需要重装cuda版本的torch，但电脑上首先要安装好cuda以及对应的cudnn，然后下载对应版本的torch。

（三）安装CUDA驱动
1、安装CUDA及CuDNN
（1）先看电脑的显卡驱动程序最多支持哪个版本的cuda，输入nvidia-smi，如下所示，支持CUDA 11.7版本（这还说明一会儿装完cuda11.7后，要把torch安装成torch 2.0.1+cu117版本的）

（2）安装cuda，地址为https://developer.nvidia.com/cuda-toolkit-archive，选择11.7.0版本
安装window离线版本的exe，按照流程步骤即可，然后cmd输入nvcc -V验证，如下图，安装成功

（3）安装cudnn，选对应cuda 11.7.0版本的cudnn：https://developer.nvidia.com/rdp/cudnn-archive（要注册，注册之后才能下载）

（4）将下载后的压缩包里的三个文件替换到CUDA的那个文件夹里


Cuda和cuDNN安装参考链接：https://zhuanlan.zhihu.com/p/416712347

2、安装torch
安装torch2.0.1+cu117：pip install torch2.0.1+cu117 torchvision torchaudio -f https://download.pytorch.org/whl/torch_stable.html -i https://pypi.tuna.tsinghua.edu.cn/simple

3、重启计算机
然后激活以及切换到目录下，运行python cli_demo.py

（四）激活环境，运行程序
conda activate chatglm
cd C:\Users\comac\PycharmProjects\pythonProject\ChatGLM-6B-main
（切换到有cli_demo.py的目录下）
python cli_demo.py

参考链接：https://mp.weixin.qq.com/s/-Z68UnT7SUuJH6CuJtuHlA

关于为什么每次运行都会loading checkpoint都会有下边的代码：
因为chatglm-6b和embedding模型文件都是分成多个二进制文件存储的，所以加载过程中应该都会有多个checkpoint