玩转大模型！在GPU云平台部署ChatGLM-6B

大模型技术发展如火如荼，国内外已经出现不少优秀开源项目，其中国内清华大学开源的ChatGLM-6B广受关注。

师出名门，未来可期

ChatGLM-6B是一个基于GLM的生成式对话模型。由清华大学团队开发，旨在改进对话机器人的生成质量和逻辑。ChatGLM-6B采用了全新的训练方法，在其开源的模型中已经在大规模数据集上进行了训练，用户可体验高质量的对话机器人，也可以对其在用户自有数据集上微调，得到自己专属的大模型。

项目链接：https://github.com/THUDM/ChatGLM-6B

对于在做AIGC、大模型应用的用户，ChatGLM-6B是非常值得深入研究的项目。

ChatGLM-6B有何优势

生成质量高：对话更加自然、流畅，提供了更好的用户体验。

对话逻辑强：ChatGLM-6B能更好地理解上下文，生成有逻辑性、连贯的回复。

开源：相对于商业应用ChatGPT，研究者和开发者可以自由地使用、修改和分发模型和代码。推动相关研究和应用。

在趋动云上部署ChatGLM-6B的优势

无需担心下载问题：趋动云上已经有小伙伴将十几G的ChatGLM-6B模型上传了，省却了大家下载的时间，一键勾选，即可使用。

硬件强大，多种型号可选:大模型对于内存、显存的要求比较高，普通用户很难有几十G的内存和显存。趋动云上有多种型号机型可选，内存最高可达几百G，单卡显存从6G到80G，方便根据需要自由选择，同时用户可以很方便的调用多GPU能力。

软件和环境配置简单：无需担心软件安装和版本不兼容，趋动云内置不同框架的多种不同版本的系统镜像，支持用户保存自定义镜像，满足大多数用户使用的同时，也方便大家针对自己的需要进行软件配置。

手把手教程：趋动云部署ChatGLM-6B

创建项目，配置PyTorch 2镜像:

创建一个新项目后，添加PyTorch 2 镜像，

添加ChatGLM-6B模型：

在添加数据这一步，选择chatglm-6b-230726模型，11G的模型文件就可以在项目中直接使用了

请注意添加后，该模型文件，所在的目录为/gemini/data-1,在后续设置中需要使用（在Python代码中填写模型路径）。

此时即可点击创建项目了，选择先不上传代码，待会从github上下载：

创建好之后，进入项目界面，现在我们选择运行代码：

而后系统会要求我们选择机型，算力君选择了s2.large，显存24GB,内存48GB,此时为了支持外网访问，我们开放一个端口（后续设置要使用）：

而后等待系统分配机器：

系统分配完机器后，我们点击进入开发环境，在这里我们可以使用命令行也可以使用JupyterLab进行开发，在命令行依次输入：

pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

python3 -m pip install --upgrade pip

git clone https://github.com/THUDM/ChatGLM2-6B
cd ChatGLM2-6B

pip install -r requirements.txt

然后切换到JuperLab下修改web_demo.py代码，将THUDM/ChatGLM2-6B改为/gemini/data-1：

将最后一行改为

demo.queue().launch(share=True, server_port=15432,inbrowser=True)

server_port 是刚才设置的端口号。

设置完保存就好了，此时一切都已经就绪了。

最后在命令行下输入

python web_demo.py

系统就已经部署成功了。

将上图中圈出来的网址拷贝到浏览器即可体验ChatGLM2-6B大模型的魔力了！

先问两个常识问题看看：

回答的还可以。

再考验一下它的总结能力：

找了一篇论文的摘要，总结结果有稍许不太准确，但大致意思是对的。

再看看它的数学推理怎么样：

对这些简单的问题表现还不错。

欢迎大家到趋动云GPU平台亲自体验一把ChatGLM2-6B的部署，对于熟悉趋动云后台的小伙伴，应该不超过5分钟就能跑起来。

也期待更多从事大模型研究的小伙伴使用趋动云，做出更有影响力的工作！

趋动云

连接算力・连接人

注册即可获得 168 元体验金！https://growthdata.virtaicloud.com/t/Va

更多福利，扫码添加小助手 邀你入群~

扫码注册趋动云账号 并关注趋动云服务号  即可另外额外赠送 10 元算力金

请注册后联系小助手，立即领取

▼HOT

趋动云火热注册中！点击“阅读原文”即可尝鲜~