ChatGLM使用记录
ChatGLM
ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。
-
官方网站：https://chatglm.cn/
-
项目地址：https://github.com/THUDM/ChatGLM-6B
-
相关PPT：ChatGLM: 从千亿模型到ChatGPT
-
相关实践：https://www.heywhale.com/mw/project/643977aa446c45f4592a1e59
安装
先clone项目：
git clone https://github.com/THUDM/ChatGLM-6B.git
然后进入项目ChatGLM-6B后，安装需要的环境
pip install -r requirements.txt
其中 transformers 库版本推荐为 4.27.1，但理论上不低于 4.23.1 即可。
此外，如果需要在 cpu 上运行量化后的模型，还需要安装 gcc 与 openmp。多数 Linux 发行版默认已安装。对于 Windows ，可在安装 TDM-GCC 时勾选 openmp。 Windows 测试环境 gcc 版本为 TDM-GCC 10.3.0， Linux 为 gcc 11.3.0。在 MacOS 上请参考 Q1。
下载本地模型
基于自己硬件条件来安排：
| 量化等级 | 最低 GPU 显存（推理） | 最低 GPU 显存（高效参数微调） |
|---|---|---|
| FP16（无量化） | 13 GB | 14 GB |
| INT8 | 8 GB | 9 GB |
| INT4 | 6 GB | 7 GB |
目前模型越大，性能越好，对应的地址有：
- https://huggingface.co/THUDM/chatglm-6b/
- https://huggingface.co/THUDM/chatglm-6b-int8
- https://huggingface.co/THUDM/chatglm-6b-int4
这里以fp16为例，不做量化处理。进入https://huggingface.co/THUDM/chatglm-6b/tree/main
创建chatglm-6b文件夹并进入
将所有的文件都下载到该文件夹下：
如果是已联网的远程服务器，可以直接通过wget下载，下载链接就是那个下载符号对应的链接：
wget https://huggingface.co/THUDM/chatglm-6b/resolve/main/pytorch_model-00001-of-00008.bin
代码调用
可以通过如下代码调用 ChatGLM-6B 模型来生成对话：
>>> from transformers import AutoTokenizer, AutoModel
>>> tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm-6b-fp16", trust_remote_code=True)
>>> model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True).half().cuda()
>>> model = model.eval()
>>> response, history = model.chat(tokenizer, "你好", history=[])
>>> print(response)
你好!我是人工智能助手 ChatGLM-6B,很高兴见到你,欢迎问我任何问题。
>>> response, history = model.chat(tokenizer, "晚上睡不着应该怎么办", history=history)
>>> print(response)
晚上睡不着可能会让你感到焦虑或不舒服,但以下是一些可以帮助你入睡的方法:
1. 制定规律的睡眠时间表:保持规律的睡眠时间表可以帮助你建立健康的睡眠习惯,使你更容易入睡。尽量在每天的相同时间上床,并在同一时间起床。
2. 创造一个舒适的睡眠环境:确保睡眠环境舒适,安静,黑暗且温度适宜。可以使用舒适的床上用品,并保持房间通风。
3. 放松身心:在睡前做些放松的活动,例如泡个热水澡,听些轻柔的音乐,阅读一些有趣的书籍等,有助于缓解紧张和焦虑,使你更容易入睡。
4. 避免饮用含有咖啡因的饮料:咖啡因是一种刺激性物质,会影响你的睡眠质量。尽量避免在睡前饮用含有咖啡因的饮料,例如咖啡,茶和可乐。
5. 避免在床上做与睡眠无关的事情:在床上做些与睡眠无关的事情,例如看电影,玩游戏或工作等,可能会干扰你的睡眠。
6. 尝试呼吸技巧:深呼吸是一种放松技巧,可以帮助你缓解紧张和焦虑,使你更容易入睡。试着慢慢吸气,保持几秒钟,然后缓慢呼气。
如果这些方法无法帮助你入睡,你可以考虑咨询医生或睡眠专家,寻求进一步的建议。
Demo & API
先确认相关代码的模型文件名是否跟自己下载的模型文件名一致，如果不一致先进行修改。
web_demo.py
如果不一致的话，修改文件名为对应的chatglm-6b
api.py
如果不一致的话，修改文件名为对应的chatglm-6b
cli_demo.py
如果不一致的话，修改文件名为对应的chatglm-6b
web_demo
web_demo是基于gradio开发的，这里可以进一步修改，指定ip和port，便于远程访问:
输入python web_demo.py经过一段时间的等待，出现如下图一样的输出就代表运行成功，在浏览器输入地址：http://xxxxxx:xxxxx，就可以愉快地使用chatglm了。
api
在命令行输入python api.py，经过一段时间的运行，出现如下输出，就是运行成功。
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Xn6QRC5i-1689330121452)(C:\Users\DELL-3020\AppData\Roaming\Typora\typora-user-images\image-20230615173532384.png)]
按照官网给的示例,
curl -X POST "http://127.0.0.1:8000"
-H 'Content-Type: application/json'
-d '{"prompt": "你好", "history": []}'
回复：
{"response":"你好！我是人工智能助手 ChatGLM-6B，很高兴见到你，欢迎问我任何问题。",
"history":[["你好","你好！我是人工智能助手 ChatGLM-6B，很高兴见到你，欢迎问我任何问题。"]],
"status":200,
"time":"xxxxx"}
可以使用python中的requests库进行访问，可以把这个代码封装一下实现多轮对话。
import requests
import json
url = 'http://127.0.0.1:8000'
headers = {'Content-Type': 'application/json'}
data = {"prompt": "你好", "history": []}
response = requests.post(url=url, headers=headers, data=json.dumps(data))
response.json()
cli_demo
在命令行输入python cli_demo.py，经过一段时间的运行，出现如下输出，就是运行成功。
然后就可以在终端和它进行对话，就像运行wei_demo.py一样。
其它设备部署
cpu
如果没有 GPU 硬件的话，也可以在 CPU 上进行推理，但是推理速度会更慢（大概需要 32GB 内存）
model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True).float()
如果内存不足，可以直接加载量化后的模型：
# INT8 量化的模型将"THUDM/chatglm-6b-int4"改为"THUDM/chatglm-6b-int8"
model = AutoModel.from_pretrained("THUDM/chatglm-6b-int4",trust_remote_code=True).float()
mac部署
对于搭载了 Apple Silicon 或者 AMD GPU 的Mac，可以使用 MPS 后端来在 GPU 上运行 ChatGLM-6B。需要参考 Apple 的 官方说明 安装 PyTorch-Nightly。
目前在 MacOS 上只支持从本地加载模型。将代码中的模型加载改为从本地加载，并使用 mps 后端：
model = AutoModel.from_pretrained("your local path", trust_remote_code=True).half().to('mps')
加载半精度的 ChatGLM-6B 模型需要大概 13GB 内存。内存较小的机器在空余内存不足的情况下会使用硬盘上的虚拟内存，导致推理速度严重变慢。此时可以使用量化后的模型如 chatglm-6b-int4。因为 GPU 上量化的 kernel 是使用 CUDA 编写的，因此无法在 MacOS 上使用，只能使用 CPU 进行推理。
# INT8 量化的模型将"THUDM/chatglm-6b-int4"改为"THUDM/chatglm-6b-int8"
model = AutoModel.from_pretrained("THUDM/chatglm-6b-int4",trust_remote_code=True).float()
为了充分使用 CPU 并行，还需要单独安装 OpenMP。
多卡部署
如果一台机器有多张 GPU，但是每张 GPU 的显存大小都不足以容纳完整的模型，那么可以将模型切分在多张GPU上。首先安装 accelerate: pip install accelerate，然后通过如下方法加载模型：
from utils import load_model_on_gpus
model = load_model_on_gpus("THUDM/chatglm-6b", num_gpus=2)
即可将模型部署到两张 GPU 上进行推理。可以将 num_gpus 改为你希望使用的 GPU 数。默认是均匀切分的，也可以传入 device_map 参数来自己指定。
参考
- https://github.com/THUDM/ChatGLM-6B
- https://huggingface.co/THUDM/chatglm-6b
- https://github.com/THUDM/P-tuning-v2
- https://github.com/hwchase17/langchain
- https://github.com/imClumsyPanda/langchain-ChatGLM
- https://github.com/openai/openai-cookbook
- https://python.langchain.com/en/latest/getting_started/getting_started.html