Textbooks Are All You Need II: phi-1.5 technical report

本文是LLM系列文章，针对《Textbooks Are All You Need II: phi-1.5 technical report》的翻译。

摘要

我们继续调查TinyStories发起的基于Transformer的较小语言模型的威力，TinyStoris是一个1000万参数的模型，可以生成连贯的英语，phi-1是一个13亿参数的模型。后一项工作建议使用现有的大型语言模型（LLM）来生成“教科书质量”的数据，作为与传统网络数据相比增强学习过程的一种方式。我们遵循“教科书就是你所需要的一切”的方法，这次重点关注自然语言中的常识推理，并创建了一个名为phi-1.5的13亿参数的新模型，在自然语言任务上的性能可与5倍大的模型相媲美，在更复杂的推理任务（如小学数学和基本编码）上超过了大多数非前沿LLM。更普遍地说，phi-1.5表现出了大得多的LLM的许多特征，既有好的——比如“一步一步思考”或进行一些基本的上下文学习的能力——也有坏的，包括幻觉和潜在的有毒和有偏见的世代——尽管令人鼓舞的是，由于缺乏网络数据，我们看到了这方面的改进。我们开源了phi-1.5，以促进对这些紧迫主题的进一步研究。

1 引言

2 技术规范

3 基准结果

4 解决毒性和偏见

5 我们的模型的使用

6 讨论

我们引入了phi-1.5，这是一个13亿参数的LLM，主要在专门策划的“textbookquality”合成数据集上进行训练。我们的研究结果表明，该模型的性能与具有数量级以上参数的模型相似，甚至在推理任务（常识或逻辑推理）方面超过了它们。这一结果挑战了LLM的能力完全由其规模决定的主流观点，表明数据质量发挥着比以前认为的更重要的作用。
phi-1.5的开源旨在促进对LLM相关紧急问题的进一步研究，如上下文学习、偏见缓解和幻觉。尽管该模型的能力与最大的LLM相比仍有很大差距，但它表现出了以前只在更大的模型中看到的几个特征，使其成为广泛研究的理想平台。
我们的工作表明，在较小的LLM中实现高水平能力的可行性，可能为更高效和环境可持续的人工智能系统铺平道路。未来的方向包括扩展我们的合成数据集，以涵盖更广泛的主题，并针对更具体的任务微调phi-1.5。也许在10亿参数规模上实现ChatGPT的能力水平实际上是可以实现的？