ChatGLM-6B部署笔记

前言

本笔记基于ChatGLM-6B开源网站 https://github.com/THUDM/ChatGLM-6B 完成ChatGLM的本地部署。首先电脑已经安装python3.10，anaconda，pycharm2022.3，如若使用本地网络会出现安装依赖失败、下载代码文件缓慢等问题，解决方法有两个，一是可以使用清华源安装依赖，下载模型；二是全程使用科学上网的方法，本次部署使用的方法是后者。
电脑基本信息：
电脑系统 windows 10
CPU intel W-2235
显卡 A5000 24GB
运行 内存128GB

一、环境安装

下载ChatGLM-6B 相关文件

1.先进入 https://github.com/THUDM/ChatGLM-6B下载源文件

2.然后进入https://huggingface.co/THUDM/chatglm-6b下载模型文件，并把文件保存在E:\Rui-Wu\ChatGLM-6B-main\chatglm-6b中。

创建环境

1.创建名称为ChatGLM的环境，并且python的版本是3.10以上。

conda create --name ChatGLM python=3.10 

2.查看环境是否创建成功。

conda info --envs

会出现下面的情况，表示已经创建成功

所有的操作最好在项目的根目录下进行，即所下载ChatGLM的目录下进行。比如我所在的目录是E:\Rui-Wu\ChatGLM-6B-main。通过以下代码转换目录：
1.进入E盘

e:

2.进入目录

cd E:\Rui-Wu\ChatGLM-6B-main

如下图所示：

激活环境

环境创建完成之后，通过以下代码激活环境

activate ChatGLM

激活环境过后如下图所示

检查CUDA及显卡驱动

此步骤是为了后面能够成功的安装pytorch，在安装pytorch之前都要进行显卡驱动的检查。具体版本要求可通过csdn或者nVidia控制面板查阅。可通过如下代码检查驱动：

nvidia-smi

如下图所示可以查看驱动版本以及CUDA版本，出现下面的表格，则说明电脑以及安装显卡驱动以及CUDA，然后根据CUDA版本安装合适的pytorch版本。

安装pytorch

登录pytorch官网 ，如下图所示，选择合适的版本，CUDA版本要求不低于本电脑的版本即可，本次选择安装的是CUDA11.8的pytorch版本。然后复制最底下的代码，输入到anaconda中。

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

然后通过以下代码检查是否安装成功

pip list

如果出现下面的情况，则说明安装成功。后缀cu118表示cuda11.8版本的pytorch，同时也说明安装的是GPU版本的pytorch，如果安装成了CPU版本的pytorch，则后缀没有+cu118

安装依赖

通过以下代码安装ChatGLM-6B的依赖，这也是为什么要提前把目录切换到E:\Rui-Wu\ChatGLM-6B-main的原因，要不然找不到requirements.txt的文件。而且，依赖文件中的torch模块是only cpu的，因为在此之前已经安装过pytorch，所以要提前把依赖中的torch删除，如下图所示。

1.安装依赖

pip install -r requirements.txt

2.然后通过以下代码检查是否安装成功

pip list

二、网页版启动

通过anaconda启动

依赖中已经安装了gradio，可通过以下代码启动网页版demo。也可以通过pycharm启动，把pycharm环境改到ChatGLM以后，直接运行web_demo.py文件。（每次运行都会重新下载模型，因此启动比较慢）

python web_demo.py

如下图所示

修改模型

通过以上方法运行模型，每次都要重新下载模型文件，因此需要修改代码，以达到可以直接从本地加载模型的目的。
进入刚开始下载开源文件的文件夹打开web_demo.py文件，修改模型。如下图所示：

例如我的模型下载地址为E:\Rui-Wu\ChatGLM-6B-main\chatglm-6b，因此模型修改路径如下：

还可以按照电脑配置修改显存，如下图所示：

例如，若显存为6G

通过pycharm启动。

参考

【ChatGLM】在电脑部署属于自己的人工智能/ChatGPT平替/可离线/可发布
开发者git hub