ChatGLM-6B阿里云部署

机器配置

重点关注指标：CPU、内存、GPU、GPU驱动 

类型	OS	CPU	内存	GPU
机器配置	ubuntu_20_04_x64	16核	125G	NVIDIA A100 80G

 

# 查看显卡安装状态
nvidia-smi

 安装必要的软件

git

sudo apt-get update
sudo apt-get install git

git-lfs(大文件管理)

sudo apt-get install git-lfs

python 3.10.7(如果已经安装了python其他版本，不用再安装此版本)

下载解压源码

wget https://www.python.org/ftp/python/3.10.7/Python-3.10.7.tgz
tar –xf Python-3.10.7.tgz
cd Python-3.10.7

# 安装必要的依赖库[必选]
sudo apt-get install build-essential python-dev python-setuptools python3-pip python3-smbus
sudo apt-get install libncursesw5-dev libgdbm-dev libc6-dev
sudo apt-get install zlib1g-dev libsqlite3-dev tk-dev
sudo apt-get install libssl-dev openssl
 sudo apt-get install libffi-de
sudo apt install libreadline-dev

#构建
./configure --enable-optimizations
make -j 4
make altinstall
 
#软连接替换
rm /usr/bin/python3
ln -s /usr/local/bin/python3.10 /usr/bin/python3

此时终端内输入:

python -V
出现 Python 3.10.7表示python安装成功。

下载模型

下载ChatGLM-6B

git clone https://github.com/THUDM/ChatGLM-6B

下载完后，创建chatglm文件夹：

cd ChatGLM-6B
mkdir chatglm

2、下载模型文件

进入上一步中创建的chatglm。

cd chatglm
git lfs install
git clone https://huggingface.co/THUDM/chatglm-6b

大概等待30分钟下载完毕。

文件较大，建议从访问THUDM/chatglm-6b · Hugging Face

下载大文件到本地，再上传到云服务器上 

3、安装依赖

返回ChatGLM-6B文件夹。

cd ..
# 此处可能报错,解法看下面的【避坑指南】 pkg_resources.VersionConflict: (pip 23.1.2 (/usr/local/lib/python3.10/site-packages), Requirement.parse('pip==20.0.2'))
pip install -r requirements.txt

运行模型

1、修改模型路径。

vim cli_demo.py

更改代码6、7行，把模型目录设置为我们之前下载好的模型目录：chatglm/chatglm-6b

2、运行cli_demo

python3 cli_demo.py

即可成功运行

避坑指南：

pkg_resources.VersionConflict: (pip 23.1.2 (/usr/local/lib/python3.10/site-packages), Requirement.parse('pip==20.0.2')) 

参考：

https://you.com/search?q=pkg_resources.distributionnotfound%3A+the+%27pip%3D%3D20.0.2%27+distribution+was+not+found+and+is+required+by+the+application&tbm=youchat&cfr=chatb&cid=c2_15a8026a-1342-4892-b3a9-3ea8b1fa95aa

步骤一：升级pip3到23.1.2 

python3 -m pip install --upgrade pip

步骤二：

#如下图修改pip版本
vim /usr/bin/pip3
vim /usr/bin/pip

参考文献

THUDM ChatGLM

GitHub - THUDM/ChatGLM-6B: ChatGLM-6B: An Open Bilingual Dialogue Language Model | 开源双语对话语言模型

ChatGLM-6B模型

https://huggingface.co/THUDM/chatglm-6b/tree/main