玩转大模型!在GPU云平台部署ChatGLM-6B

大模型技术发展如火如荼,国内外已经出现不少优秀开源项目,其中国内清华大学开源的ChatGLM-6B广受关注。

师出名门,未来可期

ChatGLM-6B是一个基于GLM的生成式对话模型。由清华大学团队开发,旨在改进对话机器人的生成质量和逻辑。ChatGLM-6B采用了全新的训练方法,在其开源的模型中已经在大规模数据集上进行了训练,用户可体验高质量的对话机器人,也可以对其在用户自有数据集上微调,得到自己专属的大模型。

项目链接:https://github.com/THUDM/ChatGLM-6B

对于在做AIGC、大模型应用的用户,ChatGLM-6B是非常值得深入研究的项目。

ChatGLM-6B有何优势

生成质量高:对话更加自然、流畅,提供了更好的用户体验。

对话逻辑强:ChatGLM-6B能更好地理解上下文,生成有逻辑性、连贯的回复。

开源:相对于商业应用ChatGPT,研究者和开发者可以自由地使用、修改和分发模型和代码。推动相关研究和应用。

在趋动云上部署ChatGLM-6B的优势

无需担心下载问题:趋动云上已经有小伙伴将十几G的ChatGLM-6B模型上传了,省却了大家下载的时间,一键勾选,即可使用。

硬件强大,多种型号可选:大模型对于内存、显存的要求比较高,普通用户很难有几十G的内存和显存。趋动云上有多种型号机型可选,内存最高可达几百G,单卡显存从6G到80G,方便根据需要自由选择,同时用户可以很方便的调用多GPU能力。

软件和环境配置简单:无需担心软件安装和版本不兼容,趋动云内置不同框架的多种不同版本的系统镜像,支持用户保存自定义镜像,满足大多数用户使用的同时,也方便大家针对自己的需要进行软件配置。

手把手教程:趋动云部署ChatGLM-6B

创建项目,配置PyTorch 2镜像:

创建一个新项目后,添加PyTorch 2 镜像,玩转大模型!在GPU云平台部署ChatGLM-6B_第1张图片

添加ChatGLM-6B模型:

在添加数据这一步,选择chatglm-6b-230726模型,11G的模型文件就可以在项目中直接使用了

玩转大模型!在GPU云平台部署ChatGLM-6B_第2张图片

请注意添加后,该模型文件,所在的目录为/gemini/data-1,在后续设置中需要使用(在Python代码中填写模型路径)。

此时即可点击创建项目了,选择先不上传代码,待会从github上下载:

玩转大模型!在GPU云平台部署ChatGLM-6B_第3张图片

创建好之后,进入项目界面,现在我们选择运行代码:

玩转大模型!在GPU云平台部署ChatGLM-6B_第4张图片

而后系统会要求我们选择机型,算力君选择了s2.large,显存24GB,内存48GB,此时为了支持外网访问,我们开放一个端口(后续设置要使用):

玩转大模型!在GPU云平台部署ChatGLM-6B_第5张图片

而后等待系统分配机器:

玩转大模型!在GPU云平台部署ChatGLM-6B_第6张图片

系统分配完机器后,我们点击进入开发环境,在这里我们可以使用命令行也可以使用JupyterLab进行开发,在命令行依次输入:

pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
python3 -m pip install --upgrade pip
git clone https://github.com/THUDM/ChatGLM2-6B
cd ChatGLM2-6B
pip install -r requirements.txt
玩转大模型!在GPU云平台部署ChatGLM-6B_第7张图片

然后切换到JuperLab下修改web_demo.py代码,将THUDM/ChatGLM2-6B改为/gemini/data-1:

玩转大模型!在GPU云平台部署ChatGLM-6B_第8张图片

将最后一行改为

demo.queue().launch(share=True, server_port=15432,inbrowser=True)
玩转大模型!在GPU云平台部署ChatGLM-6B_第9张图片

server_port 是刚才设置的端口号。

设置完保存就好了,此时一切都已经就绪了。

最后在命令行下输入

python web_demo.py
2dcba78fd2509abc3dd52266aae8445a.png

系统就已经部署成功了。

将上图中圈出来的网址拷贝到浏览器即可体验ChatGLM2-6B大模型的魔力了!

先问两个常识问题看看:

玩转大模型!在GPU云平台部署ChatGLM-6B_第10张图片

回答的还可以。

再考验一下它的总结能力:

玩转大模型!在GPU云平台部署ChatGLM-6B_第11张图片

找了一篇论文的摘要,总结结果有稍许不太准确,但大致意思是对的。

再看看它的数学推理怎么样:

玩转大模型!在GPU云平台部署ChatGLM-6B_第12张图片

对这些简单的问题表现还不错。

欢迎大家到趋动云GPU平台亲自体验一把ChatGLM2-6B的部署,对于熟悉趋动云后台的小伙伴,应该不超过5分钟就能跑起来。

也期待更多从事大模型研究的小伙伴使用趋动云,做出更有影响力的工作!

趋动云

连接算力・连接人

注册即可获得 168 元体验金!https://growthdata.virtaicloud.com/t/Va

玩转大模型!在GPU云平台部署ChatGLM-6B_第13张图片

更多福利,扫码添加小助手 邀你入群~

扫码注册趋动云账号 并关注趋动云服务号  即可另外额外赠送 10 元算力金

玩转大模型!在GPU云平台部署ChatGLM-6B_第14张图片

请注册后联系小助手,立即领取

▼HOT

趋动云火热注册中!点击“阅读原文”即可尝鲜~

你可能感兴趣的:(玩转大模型!在GPU云平台部署ChatGLM-6B)