总所周知,ChatGPT的训练大致可分为下图中展示的几个阶段,其中,在Pretraining阶段,模型的训练数据是纯文本,目标是根据上文预测下一个token,而在后面的几个阶段中,为了让模型具备对话的能力,相应的就需要使用对话数据进行训练。而对话数据一般包含多个角色的文本,如何将这些文本有效地组织、拼接起来(openAI将其称之为Chat Markup Language,简称ChatML),是本文要聊的内容。
from Microsoft Build 2023 《State of GPT》
根据openAI的介绍[1],ChatML v0会将每个角色(system
、user
、assistant
)的文本进行如下拼接:
<|im_start|>system
You are ChatGPT, a large language model trained by OpenAI. Answer as concisely as possible.
Knowledge cutoff: 2021-09-01
Current date: 2023-03-01<|im_end|>
<|im_start|>user
How are you<|im_end|>
<|im_start|>assistant
I am doing well!<|im_end|>
<|im_start|>user
How are you now?<|im_end|>
其中<|im_start|>
、<|im_end|>
是special token,进行tokenizer encode的时候他们会被编码成对应的单个token id,他们专门用来表示一个角色说话的start
和end
。
那么,如果对话文本中包含了<|im_end|>
岂不是会造成模型的困扰?为了防止这种类型的注入攻击,似乎openAI会将对话文本中的<|im_start|>
、<|im_end|>
过滤掉。
可能是过滤了<|im_start|>,ChatGPT的回复中没有提到<|im_start|>
将<|im_start|>改成
另外,值得注意的是system prompt中的小trick,其中包含了Current date的信息,在响应用户提问的时候进行动态的修改,使模型能够回复一些和当前日期相关的问题。
当这只是ChatML v0的格式,是3月份时候的版本了,最新版的gpt-3.5-turbo-0613
中角色增加了function
,目前ChatGPT的ChatML演进到了什么格式还是未知,一些眼尖的开发者也发现了当前的ChatML已经不是v0了[2]。
ChatML的格式不止openAI一种,StarChat提供了另一种思路[3]:
<|system|>
Below is a dialogue between a human and AI assistant called StarChat.
<|end|>
<|user|>
Is it possible to imagine a society without law?<|end|>
<|assistant|>
It is difficult to imagine ...<|end|>
<|user|>
It seems like you ...<|end|>
<|assistant|>
You are correct ...<|end|>
<|user|>
Yeah, but laws are complicated ...<|end|>
其中<|system|>
、<|assistant|>
、<|user|>
、<|end|>
是special token,[3]中很贴心地提供详细的代码,感兴趣的读者可以进一步了解。
将角色信息用special token表示,可以更好的避免注入攻击,但由于这些special token对应的embedding在预训练阶段是未经过训练的,在SFT过程中需要充分的训练才能有好的表现。
ChatML是训练对话大模型的一个小细节,本文介绍的两种方式都是利用了special token来显式表示对话的边界,同时还能节约上下文的空间,相比于直接使用###user xxx ###assistant xxx
是要更好的。
The devil is in the detail.
[1] openai-python/chatml.md
[2] ChatML update for th gpt-3.5-turbo-0613 and gpt-4
[3] 使用 StarCoder 创建一个编程助手