论文笔记--LIMA: Less Is More for Alignment

1. 文章简介

• 标题：LIMA: Less Is More for Alignment
• 作者：Zhou, Chunting, et al.
• 日期：2023
• 期刊：arxiv preprint

2. 文章概括

  文章基于表面对齐假设(superfacial alignment hypothesis)展开了一系列的数值实验，证明了大模型的能力是在与训练过程中学习得到，而对齐过程只是为了教会大模型一种符合人类偏好的风格/格式。在此假设基础上，文章训练了一个6B参数的LLaMA模型：LIMA。LIMA只采用了1000条对齐数据，效果已经追平或超过Alpaca，Davinci003，BARD和ClAUDE大模型。

3 文章重点技术

3.1 表面对齐假设(Superfacial Alignment Hypothesis)

  文章定义了表明对齐假设：大模型的知识和能力几乎全部在预训练阶段获得的，对齐只是教会模型以何种子分布来和用户进行交互。形象一点来说，pretraining阶段就是知识积累、学习阶段，而预训练阶段则是学习如何演讲、教学等技巧。

3.2 对齐数据

• 社区的问答数据：保证样本的多样性
  • stackExchange：stackExchange网站共计179个社区，我们从中选择包括编程、数学、物理等社区在内的75个STEM exchanges(communities)和99个其它的社区，放弃5个社区。我们从每个社区随机抽样几个self-contained问题（即问题包含在标题中），得到不同领域的样本共计200个，并选择每个问题的top 回答。为了保持一致的风格，我们将下述几种情况的答案进行了过滤：1）太短的答案 2）太长的答案 3）第一人称作答的答案 4）参考其它答案的答案(出现关键词as mentioned, stack exchange等）。此外，我们一出了图像、超链接和其它HTML tag，只保留代码和列表。我们随机采用一部分问题的title作为prompt（因为是self-contained，问题包含在title中），另一部分问题用问题描述作为prompt。
  • wikiHow：wikiHow包含了24万how-to文章，比如"How to update Microsoft Edge?", "How to tie a tie?"等问题及回答。我们从该网站的19个不同类别下依此采样1篇文章以保证多样性，最终得到200篇how-to文章。这里直接使用标题"How to …"作为prompt，对应的回答作为response即可。
  • Pushshift Reddit：Reddit是一个类似贴吧的网站，但相比于前两个网站，Reddit里面受欢迎的回答往往是幽默的、讽刺的等。为此，我们选择两类样本：1）r/AskReddit: 70个self-contained标题作为prompt，用作test set（因为top回答不一定可靠） 2）r/WritingPrompts：150个科幻故事的前提，选择每个前提对应的高质量的补全回答作为response，添加到training set。
• 手动编写的示例
  • 我们将作者划分为GroupA和GroupB，每组分别创作250个prompts，从GroupA中选择200个放入training set，50个放入dev set（不参与训练过程）；GroupB中过滤后的230个prompts放入test set。
  • 我们自己编写了200个高质量回答的训练样本。
  • 我们增加了13个有害或恶意的样本到training set，并精心设计了拒绝回答这些样本的答案。增加30个类似样本在test set中
  • 我们从SNI数据集中随机采样50个训练样本放入training set，包括文本摘要、风格转换各种NLP任务。

3.3 训练

  在LLaMA[1]语言模型的基础上，我们用上述prompts对齐数据进行微调，得到我们的LIMA(Less Is More for Alignment)模型。

4 数值实验

  我们采用了两种方法评估LIMA：针对每组prompt，让LIMA与其它语言模型（Alpaca，DaVinci003，Bard，Claude，GPT-4）同时生成回答，人类去评估哪一个更好；针对每组prompt，让LIMA与其它语言模型（Alpaca，DaVinci003）同时生成回答，GPT-4去评估哪一个更好。下图可以看到，无论是人类还是GPT-4，LIMA在50%以上的情况是优于或等于Alpaca和DaVinci003的。值得注意的是，GPT-4有19%的情况下认为LIMA优于GPT-4自己产生的答案。

5. 文章亮点

  文章基于表面对齐假设，给出了一种仅基于1000个对齐样本微调的大模型LIMA。LIMA在人类偏好度/GPT-4偏好度上的表现优于Alpaca 55B和DaVinci003。文章认为对齐样本并非越多越好，对齐的能力可能还与样本的多样性和质量有关，这可能是下一代语言模型对齐可以重点优化的方向。

5. 原文传送门

LIMA: Less Is More for Alignment

6. References

[1] 论文笔记–LLaMA: Open and Efficient Foundation Language Models