本文作者：啊阿伟啊
前言
ChatGLM-6B 由清华大学知识工程和数据挖掘团队是开源对话语言模型，支持中英双语，具有 62 亿参数。
运行大模型需要一定的计算资源，由于其依赖的矩阵计算的特点，GPU目前是最主要的计算资源。 对于资源有限，但是还想尝试大模型的同学，可以使用百度飞桨的AI Studio。AI Studio 的入门请看：百度飞桨薅羊毛入门教程 。
接下来，我们就来看看如何使用百度飞桨 AI Studio 来使用 ChatGLM 吧。访问飞桨 AI Studio 项目：ChatGLM-6B体验本地化对话（transformers版本）可以查看实例。
一、模型准备文件
薅羊毛是要付出一些代价的，那么使用飞桨 AI Studio 的代价就是，从 Huggingface 下载模型，经常失败，会得到如下异常：
❗ OSError: We couldn't connect to 'https://huggingface.co' to load this file, couldn't find it in the cached files and it looks like THUDM/chatglm-6b is not the path to a directory containing a file named config.json.
Checkout your internet connection or see how to run the library in offline mode at 'https://huggingface.co/docs/transformers/installation#offline-mode'.
不要担心，接下来我们就来解决这个问题。
由于无法直接从 Huggingface 下载，就需要使用 Huggingface 离线模式，手动下载模型了。
- Huggingface 离线模式
- ChatGLM README.md-从本地加载模型
由于 ChatGLM-6B 模型体积较大，建议使用清华大学云盘来下载模型：chatglm-6b，下载速度可以在 20M/s 左右。
方便大家批量下载，整理了下载模型的命令，大家在飞桨 AI Studio 运行环境中用notebook直接执行，可以直接下载到运行环境的磁盘上，模型文件会下载到目录 model。整个模型下载时间在10分钟左右。
!wget -P 'ChatGLM-6B/model' --no-check-certificate --content-disposition 'https://cloud.tsinghua.edu.cn/d/fb9f16d6dc8f482596c2/files/?p=%2Fpytorch_model-00001-of-00008.bin&dl=1'
!wget -P 'ChatGLM-6B/model' --no-check-certificate --content-disposition 'https://cloud.tsinghua.edu.cn/d/fb9f16d6dc8f482596c2/files/?p=%2Fpytorch_model-00002-of-00008.bin&dl=1'
!wget -P 'ChatGLM-6B/model' --no-check-certificate --content-disposition 'https://cloud.tsinghua.edu.cn/d/fb9f16d6dc8f482596c2/files/?p=%2Fpytorch_model-00003-of-00008.bin&dl=1'
!wget -P 'ChatGLM-6B/model' --no-check-certificate --content-disposition 'https://cloud.tsinghua.edu.cn/d/fb9f16d6dc8f482596c2/files/?p=%2Fpytorch_model-00004-of-00008.bin&dl=1'
!wget -P 'ChatGLM-6B/model' --no-check-certificate --content-disposition 'https://cloud.tsinghua.edu.cn/d/fb9f16d6dc8f482596c2/files/?p=%2Fpytorch_model-00005-of-00008.bin&dl=1'
!wget -P 'ChatGLM-6B/model' --no-check-certificate --content-disposition 'https://cloud.tsinghua.edu.cn/d/fb9f16d6dc8f482596c2/files/?p=%2Fpytorch_model-00006-of-00008.bin&dl=1'
!wget -P 'ChatGLM-6B/model' --no-check-certificate --content-disposition 'https://cloud.tsinghua.edu.cn/d/fb9f16d6dc8f482596c2/files/?p=%2Fpytorch_model-00007-of-00008.bin&dl=1'
!wget -P 'ChatGLM-6B/model' --no-check-certificate --content-disposition 'https://cloud.tsinghua.edu.cn/d/fb9f16d6dc8f482596c2/files/?p=%2Fpytorch_model-00008-of-00008.bin&dl=1'
二、下载模型配置
使用 transformers 库加载模型，需要有模型的配置文件。
现在我们先把 ChatGLM-6B 模型的配置文件从 Huggingface 仓库中下载到本地。
- https://huggingface.co/THUDM/chatglm-6b
-
进入模型仓库，点击
Files and versions
-
下载模型的配置文件到本地（蓝色矩形标注文件）
-
上传本地配置文件到飞桨 AI Studio 运行环境
上传到
model目录，和上面模型文件在同一个目录下
这样，我们的模型就准备好了，可以进行加载使用了。
三、体验ChatGLM-6B
-
安装依赖
!pip install protobuf==3.20.0 transformers==4.27.1 icetk cpm_kernels -
导入依赖
from transformers import AutoTokenizer, AutoModel -
实例化 Tokenizer 并加载模型
前面我们把模型和模型配置放到了
model目录下，就需要配置加载路径为modelMODEL_PATH = 'model' # 实例化 tokenizer tokenizer = AutoTokenizer.from_pretrained(MODEL_PATH, trust_remote_code=True) # 加载模型 model = AutoModel.from_pretrained("/home/aistudio/ChatGLM-6B/model", trust_remote_code=True).half().cuda() -
进行对话
response, history = model.chat(tokenizer, "你好", history=[]) print(response) response, history = model.chat(tokenizer, "晚上睡不着应该怎么办", history=history) print(response)
好了，几秒钟后，你就可以看到 ChatGLM 的响应了。
计算资源的使用情况
运行 ChatGLM-6B，使用 V100 16G 的 GPU，进行简单的对话，是完全没有问题的。
在10轮对话内的资源使用情况：
结语
大家可以直接访问飞桨 AI Studio 项目：ChatGLM-6B体验本地化对话（transformers版本）。这个项目有Notebook，可以供大家自由尝试，也有根据飞桨官方课程提供的 Streamlit 界面，供大家使用。
其实，模型的使用不是很难，只需要实例化Tokenizer和加载模型就行，但是，由于访问Huggingface仓库受限，使用飞桨 AI Studio 就需要需要手动获取模型。
只要了解 Huggingface 的离线模式，并知道如何手动准备模型文件，我们就可以在飞桨 AI Studio 上愉快的体验ChatGLM-6B了。