ChatGLM2-6B安装部署（详尽版）

1、环境部署

安装Anaconda3

安装GIT

安装GUDA 11.8

安装NVIDIA 图形化驱动 522.25版本，如果电脑本身是更高版本则不用更新

1.1、检查CUDA

运行cmd或者Anaconda，运行以下命令

nvidia-smi

 CUDA Version是版本信息，Dricer Version是图形化驱动版本

安装 python-3.8

安装Pytorch，用Anaconda，运行以下命令

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

1.2、检查Pytorch

新建文件pytorch.py

import torch

print(torch.__version__)
print(torch.version.cuda)

运行效果如下，cu118对应CUDA11.8版本 

安装依赖，用Anaconda，运行以下命令

pip3 install -r requirements.txt

2、ChatGLM2下载

用Anaconda，运行以下命令，如果想要下载指定文件夹，用cd切换

git clone https://github.com/THUDM/ChatGLM2-6B
cd ChatGLM2-6B

 以下是执行效果，下载到C:\Users\cteate\ChatGLM2-6B

 

3、运行ChatGLM2

3.1运行web示例

运行web_demo.py

 第一次执行会下载模型文件，下载到C:\Users\用户名\.cache\huggingface\hub下

PS：如果运行下载中断，可以多运行几次

运行成功后，界面：

3.2运行API

安装依赖，cd 转到ChatGLM文件夹（如：cd E:\ChatGLM2-6B-main），再用Anaconda，运行以下命令

pip install fastapi uvicorn

再运行以下命令：

python api.py

启动后效果：

用PostMan测试