清华 chatglm 本地部署

一.环境配置需求

硬件需求：

软件需求
安装cuda
Window10搭建GPU环境（CUDA、cuDNN）
安装 pytorch
pip 安装 pytorch

二.安装chatglm

安装chatglm

git clone https://github.com/THUDM/ChatGLM-6B.git

安装python库
requirements.txt 在安装的chatglm目录下

pip install -r requirements.txt

模型下载

transformers 的使用

参考文章
清华ChatGLM-6B本地GPU推理部署
chatgpt平替，清华chatglm本地化部署教程（aigc大模型风口，校招找工作必备），包含weiui部署，api部署，对话框部署
新手搭建ChatGLM-6B踩坑记录，有人说ChatGLM-6B可以达到ChatGPT的七八十，支持本地跑