ChatGLM安装部署问题记录

模型代码网站(国内)：huggingface.co

验证安装环境

python命令行中执行：

mypath="C:\\AI\\GLM-CheckPoint\\chatglm-6b-int4"
from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained(mypath, trust_remote_code=True)
// .haf().cuda()：GPU运行，.haf().cuda() 修改为.float()可CPU运行
model = AutoModel.from_pretrained(mypath, trust_remote_code=True).float()
model = model.eval()

不报错基本就好了，启动脚本也要根据这里的变动去改。

问题解决：
1、路径使用
解决：window路径问题。“D:\THUDM\chatglm-6b”,即路径符号“\”

安装TDM-GCC：安装all=package或在里面的树展开寻找勾选openmp。

2、模型下载
下载int4模型相关的代码
git clone https://huggingface.co/THUDM/chatglm-6b-int4
手动下载带LFS标识的几个文件，.bin为模型文件，THUDM/chatglm-6b-int4项目目录里的pytorch_model.bin文件（3.89GB）
THUDM账号下有各种版本的模型。

问题：
AssertionError: Torch not compiled with CUDA enabled
问题原因：跟显卡有关系。
执行命令：python -c “import torch; print(torch.cuda.is_available())”，如果返回False,说明安装的PyTorch不支持CUDA。
显卡不是N卡：修改脚本用CPU运行。
显卡是N卡：执行命令pip install torch2.0.0+cu118 torchvision0.15.1+cu118 -f https://download.pytorch.org/whl/cu118/torch_stable.html，然后再运行