ChatGLM3详细安装部署

一、安装NVIDIA

找到任务栏的右下角,右键选择NVIDIA进行安装。

ChatGLM3详细安装部署_第1张图片

这里正在进行安装,稍等片刻。等待安装完毕。

ChatGLM3详细安装部署_第2张图片

安装好之后打开,选择驱动程序进行下载。

ChatGLM3详细安装部署_第3张图片

下载好,可以选择快速安装即可。

ChatGLM3详细安装部署_第4张图片

安装完之后,进行重新启动系统。

ChatGLM3详细安装部署_第5张图片

二、下载CUDA

访问CUDA官网进行下载,CUDA Toolkit 12.3 Update 1 Downloads | NVIDIA Developer

下面的选项和操作系统可以根据自己的情况自己选择下载。

ChatGLM3详细安装部署_第6张图片

下载完成后,进行安装。安装目录可以自行选择,最好是新建一个新的文件夹。

ChatGLM3详细安装部署_第7张图片

等待下载完成即可。

ChatGLM3详细安装部署_第8张图片

下载安装好之后,打开选择同意并继续;

ChatGLM3详细安装部署_第9张图片

这里可以选择默认的【精简】- 更新现有驱动程序并保留当前NVIDIA设置,然后点击:下一步

ChatGLM3详细安装部署_第10张图片

NVIDIA图形驱动程序的安装流程是全自动的,耐心等待即可;

ChatGLM3详细安装部署_第11张图片

安装好之后选择下一步;

ChatGLM3详细安装部署_第12张图片

这里就显示NVIDIA安装程序已完成,关闭即可。

ChatGLM3详细安装部署_第13张图片

三、对NVIDIA的安装程序进行验证

按下Win+R键,打开命令提示符,输入nvidia-smi进行验证。验证成功,显示CUDA Version: 12.3。

四、下载ChatGLM3_Package

ChatGLM3的github下载地址:GitHub - THUDM/ChatGLM3: ChatGLM3 series: Open Bilingual Chat LLMs | 开源双语对话语言模型

选择下载为zip压缩包,然后解压到你自己指定的目录。

ChatGLM3详细安装部署_第14张图片

五、安装anaconda配置python环境

这里选用清华大学开源软件镜像站:anaconda | 镜像站使用帮助 | 清华大学开源软件镜像站 | Tsinghua Open Source Mirror

下载的速度更快。

ChatGLM3详细安装部署_第15张图片

点击下载链接:Index of /anaconda/archive/ | 清华大学开源软件镜像站 | Tsinghua Open Source Mirror

往下翻,找到最新的.exe进行下载。

ChatGLM3详细安装部署_第16张图片

安装anaconda时,只需要注意一下你存放的路径,其他都直接默认next即可。

ChatGLM3详细安装部署_第17张图片

这里,第二个自动帮你添加环境变量的选项,如果是图个方便的话可以勾选,但环境变量可以后期进行设置,更加明确些;

ChatGLM3详细安装部署_第18张图片

第三个是将anaconda设置为系统的python3.11,python3.11我之前有下载过,所以在勾选的时候会跳出警示框,选择确认即可。

ChatGLM3详细安装部署_第19张图片

安装可能需要花上一段时间,请稍等。这里已经显示安装完成,点击Next。

ChatGLM3详细安装部署_第20张图片

这里的两个选项可以不进行勾选,大多都是推广的软件,勾选了后续也会关闭。

ChatGLM3详细安装部署_第21张图片

在系统环境变量中找到Path,新建以下的目录路径,完成之后点击确定。

E:\Anaconda 
E:\Anaconda\Scripts
E:\Anaconda\Library\bin
E:\Anaconda\Library\mingw-w64\bin
E:\Anaconda\Library\usr\bin 

ChatGLM3详细安装部署_第22张图片

同样,打开命令提示符,输入conda --version或conda info查看当前conda版本信息。

如果提示conda不是内部或外部命令,那一般是,Anaconda的环境变量没配置好。需要好好检查一下。

六、阅读README.md进行环境依赖

打开到README.md的目录,在E:\ChatGLM3-main\composite_demo\README.md,如果安装的文件夹不同,路径可能会发生改变。打开README.md。

执行以下命令新建一个 conda 环境并安装所需依赖

conda create -n chatglm3-demo python=3.10
conda activate chatglm3-demo
pip install -r requirements.txt
conda install -c huggingface huggingface_hub

请注意,本项目需要 Python 3.10 或更高版本。

此外,使用 Code Interpreter 还需要安装 Jupyter 内核:

ipython kernel install --name chatglm3-demo --user

ChatGLM3详细安装部署_第23张图片

七、下载ChatGLM3训练模型

可以在E:\ChatGLM3-main目录下右键打开Git Bash Here,

下面用 Git LFS 从 Hugging Face Hub 将模型下载到本地,

git lfs install
git clone https://huggingface.co/THUDM/chatglm3-6b

如果你从 HuggingFace 下载比较慢,也可以从 ModelScope 中下载。

git lfs install
git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b.git

下载模型需要等待较长时间,毕竟内存比较大。

下载完毕后,打开下载到的目录,目录内容如下。

ChatGLM3详细安装部署_第24张图片

八、配置模型对应的环境变量

复制上面打开的文件夹目录路径,我这里是E:\ChatGLM3-main\chatglm3-6b

同样,打开环境变量,在系统变量中新建变量。

变量名:MODEL_PATH

变量值:E:\ChatGLM3-main\chatglm3-6b

ChatGLM3详细安装部署_第25张图片

再新建一个环境变量,

变量名:IPYKERNEL

变量值:chatglm3-demo

ChatGLM3详细安装部署_第26张图片

九、启动运行ChatGLM3

运行以下命令在本地加载模型并启动 demo:

streamlit run main.py

如果已经在本地下载了模型,可以通过 export MODEL_PATH=/path/to/model 来指定从本地加载模型。如果需要自定义 Jupyter 内核,可以通过 export IPYKERNEL= 来指定。

这里的两步就是对应的上面两步新建环境变量。

输入streamlit run main.py后等待加载完毕。

加载完毕,已经可以顺利的看到我们的ChatGLM3页面了。

ChatGLM3详细安装部署_第27张图片

十、模型量化

默认情况下,模型以 FP16 精度加载,运行上述代码需要大概 13GB 显存。如果你的 GPU 显存有限,可以尝试以量化方式加载模型,使用方法如下:

model = AutoModel.from_pretrained("THUDM/chatglm3-6b",trust_remote_code=True).quantize(4).cuda()

模型量化会带来一定的性能损失,经过测试,ChatGLM3-6B 在 4-bit 量化下仍然能够进行自然流畅的生成。

十一、CPU 部署

如果你没有 GPU 硬件的话,也可以在 CPU 上进行推理,但是推理速度会更慢。使用方法如下(需要大概 32GB 内存)

model = AutoModel.from_pretrained("THUDM/chatglm3-6b", trust_remote_code=True).float()

你可能感兴趣的:(python,github)