Democratizing Reasoning Ability: Tailored Learning from Large Language Model

本文是LLM系列文章，针对《Democratizing Reasoning Ability: Tailored Learning from Large Language Model》的翻译。

摘要

大型语言模型（LLM）在自然语言处理中表现出令人印象深刻的涌现能力，但由于巨大的计算需求和闭源性质，它们的民主化受到阻碍。最近关于通过从黑盒LLM中蒸馏知识来推进开源小型LMs的研究在指令跟随能力方面取得了有希望的结果。然而，培养更具挑战性的推理能力相对较少。在本文中，我们提出了一种量身定制的学习方法，将这种推理能力蒸馏到更小的LMs中，以促进排他性推理能力的民主化。与仅仅使用LLM作为数据注释器不同，我们通过构建交互式多轮学习范式来挖掘LLM作为推理教师的潜力。这种范式使学生能够向黑匣子教师暴露其不足，然后黑匣子教师可以提供定制的训练数据作为回报。此外，为了挖掘较小LM的推理潜力，我们提出了自我反思学习，以激励学生从自制错误中学习。自我反思和LLM的学习都是根据学生的学习状态量身定制的，这要归功于与多轮学习范式的无缝结合。对数学和常识推理任务的综合实验和分析证明了我们方法的有效性。代码将在https://github.com/Raibows/Learn-to-Reason上可用.

1 引言

2 相关工作

3 方法

4 实验

5 分析

6 结论

在本文中，我们提出了一种量身定制的学习方法来培养较小LM的推理能力，旨在使LLM的紧急推理能力民主化。首先，我们提出了一种多轮互动学习范式，使教师LLM能够根据学生的反馈提供定制的训练数据。接下来，我们提出了自我反思学习，以激励学生区分正确的理由和错误的理由。此外，在所提出的多轮学习范式中，从LLM的定制反馈学习和自我反思可以相互补充。数学和常识推理任务的经验结果表明，成功地释放了较小LMs的推理潜力。我们相信，这些发现可以使LLM时代的开源和NLP社区受益。

局限性

在本节中，我们完整地讨论了我们方法的局限性，同时为未来的研究提供了潜在的有用建议。
1） 出于可用性和成本的考虑，我们的实验主要使用ChatGPT和GPT-J分别作为教师LLM和学生LM。尽管在ChatGPT的输出上微调GPT-J提高了它们的推理性能，但它们之间仍然存在很大的差距。使用更强大的LMs来验证我们的发现是有价值的。训练更好的基础LMs应该是开源社区的首要任务，因为模仿专有LLM可能是一个错误的承诺。
2） 我们已经证明了学生反馈在从黑盒LLM中蒸馏知识方面的重要性，但没有对反馈提示模板进行广泛的工程设计（例如，明确指示LLM充当教师）。相互作用（例如，使用强化学习来连接LLM和较小的LM）可以在未来进行探索。
3） 我们的自我反思学习目前被定义为一种简单的三重损失形式。然而，自我反思的核心是从错误中学习。因此，训练目标或形式可以通过各种方式定义，例如排名损失或言语批评，以进一步帮助较小的LMs反思和从错误中学习。
4） 评估生成的基本原理的正确性主要基于最终答案。尽管该领域的大多数现有工作都采用了这个简单的标准，但我们呼吁开发更值得信赖的标准来评估理性的质量。潜在的方法可以使用GPT-4或过程奖励模型进行自动评估。