chatglm3本地部署(综合Demo版本)教程

1.下载代码

我是在本地c盘中,创建了一个glm3文件夹,然后把代码拉到这个文件夹里,所以在clone之前,需要在cmd中,把路径切换到glm3文件夹下,然后执行如下代码。

git clone https://github.com/THUDM/ChatGLM3

2.模型下载

https://modelscope.cn/models/ZhipuAI/chatglm3-6b/files
chatglm3本地部署(综合Demo版本)教程_第1张图片
所有内容都需要下载,下载完成后,放入如下地址
chatglm3本地部署(综合Demo版本)教程_第2张图片

3.环境配置

首先检查自己gpu的cuda版本,在cmd中使用nvidia-smi命令
chatglm3本地部署(综合Demo版本)教程_第3张图片
我的是12.3,然后到https://pytorch.org/get-started/locally/中,选取适合自己的torch版本,我的选择如下图
chatglm3本地部署(综合Demo版本)教程_第4张图片
接着使用Anaconda Navigator创建一个conda环境
chatglm3本地部署(综合Demo版本)教程_第5张图片
没有Anaconda Navigator 的,可以使用命令行创建一个

conda create -n chatglm3 python==3.10.13

激活conda环境

activate chatglm3

使用上面torch官网图中红框里的代码,安装torch

chatglm3本地部署(综合Demo版本)教程_第6张图片
接下来打开ChatGLM3中的requirements.txt文件,找到里面的torch信息,删除红框中的这一行,因为直接使用这里面的torch,下载的是cpu版本,所以我们上面就自己手动下载了GPU版本。
chatglm3本地部署(综合Demo版本)教程_第7张图片
删除完成后在ChatGLM3目录下,执行

pip install -r requirements.txt

chatglm3本地部署(综合Demo版本)教程_第8张图片
其实到这里,已经可以运行普通的demo了,但是我们的目标是运行综合Demo,所以我们需要进到composite_demo目录下,然后安装里面的包。

pip install -r requirements.txt

chatglm3本地部署(综合Demo版本)教程_第9张图片
然后执行

ipython kernel install --name chatglm3-demo --user

接着需要修改一下client里地址,把地址改成本地模型所在地址,也就是上面下载模型放的位置。
chatglm3本地部署(综合Demo版本)教程_第10张图片
一切都没有问题的话,最后执行

streamlit run main.py

chatglm3本地部署(综合Demo版本)教程_第11张图片
访问控制台中的地址
chatglm3本地部署(综合Demo版本)教程_第12张图片

你可能感兴趣的:(人工智能,深度学习,chatgpt,transformer,lstm,pytorch)