NLP（五十九）使用FastChat部署百川大模型
本文将会介绍如何使用FastChat来部署国产大模型——百川模型。
在此之前，我们先来了解两个概念——百川模型和FastChat.
百川模型
2023年6月15日，被称为「中国 ChatGPT 梦之队」的百川智能公司，推出了 70 亿参数量的中英文预训练大模型——baichuan-7B。
baichuan-7B是由百川智能开发的一个开源的大规模预训练模型。基于Transformer结构，在大约1.2万亿tokens上训练的70亿参数模型，支持中英双语，上下文窗口长度为4096。在标准的中文和英文权威benchmark（C-EVAL/MMLU）上均取得同尺寸最好的效果。
在构建预训练语料库方面，百川智能以高质量中文语料为基础，同时融合了优质的英文数据。相较于其他同参数规模的开源中文预训练模型，数据量提高了超过 50%。
- 在数据质量方面，通过质量模型对数据进行打分，对原始数据集进行篇章级和句子级的精确筛选
- 在内容多样性方面，利用自研超大规模局部敏感哈希聚类系统和语义聚类系统，对数据进行了多层次多粒度的聚类
- 最终构建了包含 1.2 万亿 token 的兼顾质量和多样性的预训练数据。
不同于LLaMA完全禁止商业使用，baichuan-7B代码使用更宽松的开源协议——Apache-2.0协议，允许用于商业目的
FastChat
FastChat是用于对话机器人模型训练、部署、评估的开放平台，其核心特性包括：
- 模型权重，训练代码，评估代码可用于SOTA模型（比如Vicuna，FastChat-T5）
- 分布式多模型部署系统，自带Web UI和OpenAI兼容的RESTful APIs
FastChat集成了Vicuna、Koala、alpaca、LLaMA等开源模型，其中Vicuna号称能够达到GPT-4的90%的质量，是开源的chatGPT模型中对答效果比较好的。
FastChat的访问地址是：https://chat.lmsys.org/ , FastChat的安装方式为：pip3 install fschat .
CLI部署
在Huggingface Hub上下载baichuan-7B模型，访问网址为：https://huggingface.co/baichuan-inc/Baichuan-7B ,放在GPU机器上的本地路径。
笔者的GPU机器为4 * RTX6000，每张RTX6000的显存为80G。
FastChat使用CLI部署百川大模型的命令为：
python3 -m fastchat.serve.cli --model-path path_of_Baichuan-7B --num-gpus 2
在CLI部署时，如遇到以下的报错：trust_remote_code=True ,参考issue网址：https://github.com/lm-sys/FastChat/issues/1789 ,则在对应的Python路径下，将FastChat的fastchat/model/model_adapter.py文件中的代码中的第57至61行：
tokenizer = AutoTokenizer.from_pretrained(
model_path,
use_fast=self.use_fast_tokenizer,
revision=revision,
)
和69至71行
model = AutoModelForCausalLM.from_pretrained(
model_path, low_cpu_mem_usage=True, **from_pretrained_kwargs
)
中添加代码：`trust_remote_code=True` ,则可顺利部署。
部署成功后的界面如下：
WEB部署
FastChat还支持WEB部署，可Web UI和OpenAI兼容的RESTful APIs.
这里主要介绍如何实现与OpenAI兼容的具有RESTful APIs的部署方式，参考网址为：https://github.com/lm-sys/FastChat/blob/main/docs/openai_api.md .
部署一共分为三步：
python3 -m fastchat.serve.controllerpython3 -m fastchat.serve.modelworker --model-path path_of_Baichuan-7Bpython3 -m fastchat.serve.openai_api_server --host localhost --port 8000
在部署过程中，如果遇到PydanticImportError ，原因为pydantic版本的问题，只需将pydantic版本降为1.*版本即可。
部署成功后，该服务可提供与OpenAI风格类似的RESTful APIs，如下：
- 查看模型
curl命令为：
curl http://localhost:8000/v1/models
输出结果为：
{
"object": "list",
"data": [
{
"id": "baichun_7b",
"object": "model",
"created": 1689004839,
"owned_by": "fastchat",
"root": "baichun_7b",
"parent": null,
"permission": [
{
"id": "modelperm-UERow2kYwq5B2M8aVQkwdk",
"object": "model_permission",
"created": 1689004839,
"allow_create_engine": false,
"allow_sampling": true,
"allow_logprobs": true,
"allow_search_indices": true,
"allow_view": true,
"allow_fine_tuning": false,
"organization": "*",
"group": null,
"is_blocking": false
}
]
}
]
}
- 文本补充（Text Completions）
curl命令为：
curl http://localhost:8000/v1/completions \
-H "Content-Type: application/json" \
-d '{
"model": "baichun_7b",
"prompt": "Once upon a time",
"max_tokens": 40,
"temperature": 0.5
}' | jq .
输出结果为：
{
"id": "cmpl-izbe3cRRiY4zAbJueBAyxZ",
"object": "text_completion",
"created": 1689004991,
"model": "baichun_7b",
"choices": [
{
"index": 0,
"text": ", you could find a variety of different types of chocolate in stores. But now, many chocolate companies are focusing on creating vegan chocolate that is not only delicious but also cruelty-free. Here are",
"logprobs": null,
"finish_reason": "length"
}
],
"usage": {
"prompt_tokens": 4,
"total_tokens": 43,
"completion_tokens": 39
}
}
- 对话（Chat Completions）
curl命令为：
curl http://localhost:8000/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "baichun_7b",
"messages": [{"role": "user", "content": "请用中文简单介绍三国演义？"}]
}' | jq .
输出结果为：
{
"id": "chatcmpl-3SiRqRgbZR8v6gLnQYo9eJ",
"object": "chat.completion",
"created": 1689005219,
"model": "baichun_7b",
"choices": [
{
"index": 0,
"message": {
"role": "assistant",
"content": " 三国演义是中国古代长篇小说，讲述了东汉末年至晋朝初年的历史故事。主要人物包括曹操、刘备、孙权和关羽等。故事情节曲折复杂，涉及政治、军事、文化等多个方面，被誉为中国古代小说的经典之作。《三国演义》不仅是一部文学作品，也是中国文化的重要组成部分，对中国历史和文化产生了深远的影响。"
},
"finish_reason": "stop"
}
],
"usage": {
"prompt_tokens": 533,
"total_tokens": 629,
"completion_tokens": 96
}
}
- 多轮对话
curl命令为：
curl http://localhost:8000/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "baichun_7b",
"messages": [{"role": "user", "content": "请用中文简单介绍西游记？"}, {"role": "assistant", "content": "三国演义是中国古代长篇小说，讲述了东汉末年至晋朝初年的历史故事。主要人物包括曹操、刘备、孙权和关羽等。故事情节曲折复杂，涉及政治、军事、文化等多个方面，被誉为中国古代小说的经典之作。《三国演义》不仅是一部文学作品，也是中国文化的重要组成部分，对中国历史和文化产生了深远的影响。"}, {"role": "user", "content": "它的作者是谁？"}]
}' | jq .
输出结果为：
{
"id": "chatcmpl-8oE57oXC862wKYyrPLnSGM",
"object": "chat.completion",
"created": 1689005374,
"model": "baichun_7b",
"choices": [
{
"index": 0,
"message": {
"role": "assistant",
"content": " 《三国演义》的作者是明代小说家罗贯中。罗贯中是明代文学家，他的代表作品还有《水浒传》和《西游记》等。他在创作《三国演义》时，参考了大量的历史资料和传说，将这些内容融合在一起，创造了一个虚构的世界，成为了中国文学史上的经典之作。"
},
"finish_reason": "stop"
}
],
"usage": {
"prompt_tokens": 640,
"total_tokens": 724,
"completion_tokens": 84
}
}
- 使用Python代码
import openai
openai.api_key = "EMPTY" # Not support yet
openai.api_base = "http://localhost:8000/v1"
model = "baichun_7b"
prompt = "Once upon a time"
# create a completion
completion = openai.Completion.create(model=model, prompt=prompt, max_tokens=64)
# print the completion
print(prompt + completion.choices[0].text)
# create a chat completion
completion = openai.ChatCompletion.create(
model=model,
messages=[{"role": "user", "content": "Hello! What is your name?"}]
)
# print the completion
print(completion.choices[0].message.content)
以上两种部署方式，都支持流式输出，且模型推理速度较快，笔者在上述测试例子中的推理时间一般为5-7秒，且支持分布式部署，并发量高。
总结
本文主要介绍了如何使用FastChat来部署国产大模型——百川模型，并演示了两种部署方式——WEB部署和CLI部署，以及在部署过程中出现的问题和解决方案，希望能给读者带来启示。
参考文献
- 百川智能发布 70 亿参数量开源中英文大模型: https://www.geekpark.net/news/320721
- baichuan-inc/Baichuan-7B in Huggingface Hub: https://huggingface.co/baichuan-inc/Baichuan-7B
- OpenAI-Compatible RESTful APIs & SDK: https://github.com/lm-sys/FastChat/blob/main/docs/openai_api.md
- report error while i execute
python -m fastchat.serve.openai_api_server --host localhost --port 8000: https://github.com/lm-sys/FastChat/issues/1641 - FastChat in Github: https://github.com/lm-sys/FastChat