清华大学开源ChatGLM2-6B开源模型在anaconda下的虚拟环境详细部署及安装教程
感谢清华大学开源的ChatGLM2-6B软件，让我们国人有属于自己的AI聊天机器人，期待新版本的推出。
前期准备：
1.电脑配置 （低于以下配置无法安装）
python版本要求：3.8以上
没有安装python的没有关系，我们在下面安装anaconda中会自动生成python，有了python的建议删除，通过anaconda安装python以便于后面创建虚拟环境。
windows系统：Windows 10 以上，推荐N卡（NVIDIA显卡20系列以上）
注意：处理器为AMD容易报错，intel的不容易报错，配置越高最后的响应速度越快。
查看：按住win+e,点此电脑，右键点属性即可查看自己电脑系统和配置
显卡：6G以上GPU
如何看电脑的显卡内存（操作如下）：
按住Ctrl + Shift + ESC跳出界面，选择性能，选择GPU0/GPU1
查看专属GPU内存：因为ChatGLM2内存要求6GB以上才可以发挥出性能要求。
下表为ChatGLM2-2B的根据显存大小决定的问答性能。
| 量化等级 | 最低 GPU 显存（推理） | 最低 GPU 显存（高效参数微调） |
|---|---|---|
| FP16（无量化） | 13 GB | 14 GB |
| INT8 | 8 GB | 9 GB |
| INT4 | 6 GB | 7 GB |
2.安装anaconda
从anaconda官网，推荐最新版anaconda，下载链接: anaconda，进去之后点Download。细节具体教程详见: anaconda安装教程
自动配置环境变量是一定要打勾的，对自己不会配置环境变量的人！
安装完成之后：win + R 输入cmd调出命令框。
输入命令1：
conda -V
出现conda的版本如下：
输入命令2：
python
出现python版本如下：
这里anaconda就安装完毕了，关闭命令框即可。
3.安装对应版本的CUDA
按住win + R 调出命令终端，输出cmd
查看你NVIDIA版本，命令如下：
nvidia-smi
查看到本机可装CUDA版本最高为12.0，版本向下兼容，意思就是CUDA 12.0及以下版本的都可以安装，但一般不建议使用最新版本的。
CUDA安装链接如下: CUDA.
选择CUDA Toolkit11.8.0
根据自己的win系统选择对应的下载即可。
具体教程见：链接: CUDA安装教程.
安装完后，注意需要看下系统环境变量中地址有没有相应版本的cuda，比如我的电脑就是配置了下面几个环境变量 （我之前安装11.7，现在推荐11.8）
除上面两个之外 ，还可以加入以下环境变量，以保证不会出错。我没配置下面两个，也没出错，所以大家根据实际情况选择是否加入下面两个环境配置。
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.7\extras\CUPTI\lib64
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.7\include
不配置可能会报错，Could not load dynamic library ‘cudart64_110.dll’; dlerror: cudart64_110.dll not found
同理，如上：win+R输出cmd 调出命令行
输入命令1：
nvcc -V
出现NVIDIA版本号为你下载的版本号一致即可，关闭命令框。
4.配置ChatGLM2-6B Conda环境
按照上面步骤安装完了anaconda之后，按住win + R输入cmd。输入以下命令，新建一个名字为ChatGLM2B的环境。
conda create --name ChatGLM2B python==3.8.10
新建环境过程中选择y，进入下一步
安装成功之后如下：
激活ChatGLM的环境
conda activate ChatGLM2B
此时你的前面就出现了一个如下图（ChatGLM2B的虚拟环境）：
6.现在在虚拟环境下安装pytorch（版本一致）
接上述（ChatGLM2B虚拟环境）命令框：安装GPU版本的pytorch，（上面我们的CUDA安装的11.8版本），pytorch也要选择11.8版本,否则后面开始报错），链接如下: pytorch.
在命令行输入下面命令即可：torch11.8版本
conda install pytorch torchvision torchaudio pytorch-cuda=11.8 -c pytorch -c nvidia
运行结果如下：
输入y:
出现done，下载即完成：
如何在下面命令行输入下面命令：
python
出现python版本：
依次在输入：
import torch
print(torch.cuda.is_available())
出现True即为安装成功
输入：
exit（）
重新回到ChatGLM2的虚拟环境。
ChatGLM2-6B最新版模型环境部署及安装
1.源码下载
方法1：ChatGLM2-6B 链接：ChatGLM2-6B.
有时候没有魔法上网进不去
点Code，点Dowmload ZIP，即可下载。
方法2：直接使用git命令clone （这个需要Git软件）
想采用这种方式下的小伙伴先下一个Git，具体教程: Git下载安装.
下载之后以后就可以git clone了
git clone https://github.com/THUDM/ChatGLM-6B.git
下载不了的小伙伴们也没有关系，我已经将所有ChatGLM2-6B所需的所有插件都打开放入百度网盘，如果需要请关注抖音号：cqupt_xr_1213。
下载完成之后，将下载好的文件放在除C盘之外的磁盘里面，推荐E/F盘
我的如下：
在该路径下新建一个model文件 （为了后面的12G的模型下载）：
2.ChatGLM2-6B的模型下载
从: hugging face.下载所有文件，放在model文件下。 （全部下就对了）
其中模型文件（大于 1G 的）如果下载速度慢，可以在国内清华云源中单独下载这几个模型文件（其他这个源没有的文件还是需要在 huggingface 上下载）
国内清华云源链接: 镜像文件.
下载之后，放到model文件下，显示如图：
3.相关库安装：
接上面的虚拟环境命令框，最先是C盘，我们切换在自己下的盘，输入E：。
不会切盘的去搜网上教程
在虚拟环境下进入ChatGLM-6B安装的目录
输入命令：
pip3 install -r requirements.txt
直到出现successfully built ffmpy即可：
4.修改web_demo.py的数据
在运行之前，需要先修改web_demo.py文件中的模型地址，具体为第5行与第6行，具体如下：没有pycharm的我们用记事本打开
修改为：我的显存为6G，所以我改为4 bit量化
温馨提示，根据实际显卡显存 （如何看自己的显存，前面我已经讲过了，自己的显存要和下面代码对应，不对应就会报错并且烧坏显卡，注意注意！！），可以更改第6行关于model运行方式：
# 6G 显存可以 4 bit 量化
model = AutoModel.from_pretrained("model", trust_remote_code=True).half().quantize(4).cuda()
# 10G 显存可以 8 bit 量化
model = AutoModel.from_pretrained("model", trust_remote_code=True).half().quantize(8).cuda()
# 14G 以上显存可以直接不量化，博主显存为16G选择的就是这个
model = AutoModel.from_pretrained("model", trust_remote_code=True).half().cuda()
在终端输入命令，注意不要用python3，因为可能会使用到其它环境下的python。
python web_demo.py
接着浏览器会自动打开：
视频如下：
搭建就完成了，如果要调用API的详情请参考Github的API部署。
参考资料
ChatGLM-6B博客.
GitHub的ChatGLM2-6B链接.