ETH:通过文本反馈提高LLM对齐能力

ETH:通过文本反馈提高LLM对齐能力_第1张图片

标题:Towards Aligning Language Models with Textual Feedback
来源:arXiv, 2407.16970

️文章简介

研究问题:如何通过文本反馈来调整语言模型,使其生成更符合用户期望的行为。
主要贡献:论文的提出了ALT,一种将语言模型与文本反馈对齐的方法,通过示例反馈来引导语言模型生成更符合用户偏好的内容。

重点思路

相关工作

对齐:此前的研究已成功利用RLHF来增强LLM的指令遵循能力,并提出离线训练、直接优化偏好目标或将问题视为条件序列决策等方案。
奖励条件训练:最近的"逆强化学习"研究表明,强化学习问题是可逆的,即策略模型学会将高奖励映射到行动上。
LLM可控生成:CTRL引入了可用于调节模型生成的控制代码

论文方案

ALT通过训练模型以适应文本反馈来适应奖励条件强化学习框架,包括数据收集和训练两个阶段。
数据收集阶段,从模型中进行多次采样,并将文本反馈分配给采样结果。
训练阶段,模型根据反馈,被训练生成出对应的采样结果。
当模型被训练为以反馈为条件生成时,这些步骤会迭代重复。

分析总结

ALT可以有效地对齐模型以降低毒性,比其他方法更有效。
ALT无论是在领域内还是领域外,均有效地降低模型毒性。
ALT在保持较低困惑度的同时,能够更好地降低毒性。

个人观点

论文使用了文本反馈来引导语言模型生成更符合用户偏好的内容,而不是仅仅依赖数值化的奖励反馈。

附录

ETH:通过文本反馈提高LLM对齐能力_第2张图片
ETH:通过文本反馈提高LLM对齐能力_第3张图片

你可能感兴趣的:(大模型-模型训练,人工智能,自然语言处理,语言模型)