ChatGPT 原来是这样工作的(下)

大家好,上期我们讲到研发人员正在研究解决语言模型中的一致性问题。ChatGPT 使用了人类反馈来指导学习过程,对其进行训练。所使用的具体技术是 RLHF。

那么ChatGPT 是如何利用人类反馈来解决一致性问题的呢? 今天我们就接着来讲一讲。

从人类的反馈中进行强化学习 Reinforcement Learning from Human Feedback

方法总体包括三个不同的步骤:

有监督的调优

预训练的语言模型在相对少量的已标记数据上进行微调,用以学习给定提示列表生成输出的监督策略(即SFT模型) 也就是基线模型(Baseline Model)。

模拟人类偏好

标注者们对相对大量的 SFT 模型输出进行投票,通过这种方式创建一个由比较数据组成的新数据集。在此数据集上训练新模型,这被称为训练奖励模型(Reward Model,RM);

近端策略优化(PPO)

训练奖励模型用于进一步微调和改进SFT模型。这一步骤的输出结果就是所谓的策略模型(Policy Model).

步骤1只进行一次,而步骤2和步骤3可以重复迭代:在当前最佳策略模型上,收集更多的比较数据,用于训练新的奖励模型,然后训练新的策略。


下面我们分别对每一步进行讲解:

步骤1:监督调优(SFT)模型

第一步是收集数据,用来训练监督策略模型,即SFT模型。

数据收集:标注人员按要求,选择提示列表中预期的输出项。对于 ChatGPT,使用了两种不同的提示来源:一些是直接使用标注人员或研发人员准备的,另一些是从 OpenAI 的 API 请求中(即从 GPT-3 用户那里)获取的。虽然整个过程费时且消耗很大,但得到的结果是相对较小且高质量的数据集(大概有 12-15k 个数据点),可用于调优预训练的语言模型。

模型选择:ChatGPT 的开发人员选择了 GPT-3.5 系列的预训练模型,代替了对原始 GPT-3 模型进行调优。主要是由于其使用的基线模型是最新版的 text-davinci-003,GPT-3模型,主要在编程代码方面进行了调优。

因此,为了创建像ChatGPT这样的通用聊天机器人,开发人员决定在“代码模型”之上进行调优而不是纯文本模型。

由于此步骤的数据量有限,在此过程获得的SFT模型可能输出的文本仍有一定概率不太受用户关注,并且通常会出现不一致的情况。这里的问题是监督调优学习的可扩展性成本很高

为了克服这个问题,使用的策略是让人工标注者对SFT模型的不同输出进行排序,以创建奖励模型,而不是要求人工标注者创建一个更大的精选数据集,这是一个缓慢且代价很高的过程。


步骤2:奖励模型(RM)

这一步的目标是直接从数据中学习目标函数。该函数的目的是根据人类的期望程度,对 SFT 模型输出结果进行评分。这强烈地反映了人类标注者的具体偏好及他们共同遵循的准则。最后,这个过程将从数据中得到一个可以自动模仿人类偏好的系统

它的工作原理是:

选择提示列表,SFT模型为每个提示生成多个输出(介于4和9之间)。

标注者将输出结果从最好到最差排序。结果是一个新的按标签排序的数据集。该数据集的大小大约是SFT模型所用精选数据集的10倍。

新数据用于训练奖励模型(RM)。该模型将SFT模型的输出结果作为输入,并按优先顺序对其进行排序。

对于标注者来说,对输出进行排序要比从头开始打标注要容易得多,这个过程可以更有效地扩展。实际上,这个数据集是从30-40k个提示中,选择生成的,并且在排序阶段会向每个标注者显示不同的数据组合输出。


步骤3:近端策略优化(PPO)

强化学习被应用于通过优化训练奖励模型来调优 SFT 策略。所使用的特定算法称为近端策略优化(PPO),而调优模型称为近端策略优化模型。

什么是 PPO?该算法的主要特点如下:

PPO 是一种用于在强化学习中训练代理 的算法。它被称为「on-policy」算法,因为它直接学习和更新当前策略,而不是像 DQN 的「off-policy」算法那样从过去的经验中学习。这意味着PPO正在根据代理人所采取的行动和所收到的奖励,不断的调整策略;

PPO 使用信任域优化方法来训练策略,这意味着它将策略的变化限制在与前一策略的一定范围内,以确保稳定性。这与其它策略梯度方法不同,后者有时会对策略进行大规模更新,从而破坏学习的稳定性;

PPO 使用价值函数,来估计给定状态或操作的预期返回。价值函数用于计算优势函数,它代表预期回报和当前回报之间的差异。然后,通过比较当前策略采取的操作与前一个策略本应采取的操作,使用优势函数更新策略。这使 PPO 可以根据所采取行动的预估值,对策略进行更智能的更新。

在这一步中,PPO 模型经由 SFT 模型初始化,且价值函数经由奖励模型初始化。该环境是一个「bandit environment」,它会产生随机显示提示, 并期望对提示做出响应。给出提示和响应后,它会产生奖励(由奖励模型决定)。SFT 模型会对每个 token 添加 KL 惩罚因子,以免奖励模型的过度优化。


性能评估 Performance Evaluation

因为模型是根据人工标注的输入进行训练的,所以评估的核心部分也基于人工输入的。也就是说通过让标注者对模型输出的质量评分来实现的。为避免训练阶段标注者判断的过度拟合,测试集使用了未在培训数据中体现的,来自其它 OpenAI 用户的提示。

该模型基于三个标准进行评估:

有用性:判断模型遵循用户指令以及推断指令的能力。

真实性:判断模型在封闭领域任务中有产生虚构不存在事实的倾向。

无害性:标注者评估模型的输出是否适当,是否包含诋毁受保护的类别,或者包含歧视的内容。该模型也有衡量偏见和毒性内容的数据集。

该模型还针对传统 NLP 任务(如问答、阅读理解和摘要)的零样本学习性能进行了评估,开发人员发现,其中有一些比 GPT-3 要差一些,这是一个「Alignment Tax」的例子,其中基于RLHF的校准程序,是以降低某些任务的性能为代价的。

这些数据集的性能回归可以通过称为预训练混合的技巧大大减少:在 PPO 模型培训期间,经由梯度下降训练,通过混合 SFT 模型和 PPO 模型的梯度来更新梯度计算。


方法的缺点 Shortcomings of the methodology

该方法的一个非常明显的局限性是,在使语言模型与人类意图保持一致的过程中,用于调优的模型数据会受到各种复杂的主观因素的影响,主要包括:

生成 demo 数据的人工标注者的偏好;

设计研究并编写标签说明的研究人员

由开发人员编写或由OpenAI客户提供的可选的提示。

在模型评估中,奖励模型培训时所包含的标注者偏差(通过排名输出)

特别是ChatGPT作者指出的一个明显的事实,即参与培训过程的标注人员和研发人员,可能并不代表语言模型的所有潜在最终用户。


除了这一明显的「内生」限制之外,该方法还有的一些其它缺点和需要解决的问题:

缺乏对照研究

比较数据缺乏基本事实

人类的偏好并不一致

奖励模型(RM)的即时稳定性测试

其它问题

好了ChatGPT的原理就讲到这里了,相信随着算法的不断进步,ChatGPT也会发展的更先进,更贴近我们对人工智能的需要,未来会在越来越多的领域实际应用。


--END--

大家如果有想讨论的内容,欢迎留言!关注我,请帮忙点赞分享,您的支持是我们最大的动力!

你可能感兴趣的:(ChatGPT 原来是这样工作的(下))