ChatGLM安装部署问题记录

模型代码网站(国内):huggingface.co

验证安装环境

python命令行中执行:

mypath="C:\\AI\\GLM-CheckPoint\\chatglm-6b-int4"
from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained(mypath, trust_remote_code=True)
// .haf().cuda():GPU运行,.haf().cuda() 修改为.float()可CPU运行
model = AutoModel.from_pretrained(mypath, trust_remote_code=True).float()
model = model.eval()

不报错基本就好了,启动脚本也要根据这里的变动去改。

问题解决:
1、路径使用
解决:window路径问题。“D:\THUDM\chatglm-6b”,即路径符号“\”

安装TDM-GCC:安装all=package或在里面的树展开寻找勾选openmp。

2、模型下载
下载int4模型相关的代码
git clone https://huggingface.co/THUDM/chatglm-6b-int4
手动下载带LFS标识的几个文件,.bin为模型文件,THUDM/chatglm-6b-int4项目目录里的pytorch_model.bin文件(3.89GB)
THUDM账号下有各种版本的模型。

问题:
AssertionError: Torch not compiled with CUDA enabled
问题原因:跟显卡有关系。
执行命令:python -c “import torch; print(torch.cuda.is_available())”,如果返回False,说明安装的PyTorch不支持CUDA。
显卡不是N卡:修改脚本用CPU运行。
显卡是N卡:执行命令pip install torch2.0.0+cu118 torchvision0.15.1+cu118 -f https://download.pytorch.org/whl/cu118/torch_stable.html,然后再运行

你可能感兴趣的:(AI,python,深度学习,pytorch)