YaRN: Efficient Context Window Extension of Large Language Models

本文是LLM系列文章，针对《YaRN: Efficient Context Window Extension of Large Language Models》的翻译。

摘要

旋转位置嵌入（RoPE）已被证明可以在基于Transformer的语言模型中有效地编码位置信息。然而，这些模型无法推广到它们所训练的序列长度。我们提出了YaRN（另一种RoPE扩展方法），这是一种扩展此类模型上下文窗口的计算效率高的方法，与以前的方法相比，需要减少10倍的token和2.5倍的训练步骤。使用YaRN，我们表明LLaMA模型可以有效地利用和外推到比其原始预训练所允许的更长的上下文长度，同时也超过了以前最先进的上下文窗口扩展。此外，我们证明了YaRN表现出超越微调数据集的有限上下文进行推断的能力。我们将Llama 2 7B/13B的检查点发布在https://github.com/jquesnelle/yarn.

1 引言

2 背景和相关工作

3 方法

4 实验

5 结论

总之，我们已经证明，YaRN改进了所有现有的RoPE插值方法，可以作为PI的替代品，没有缺点，实现工作量最小。经过微调的模型在多个基准测试上保留了它们的原始能力，同时能够处理非常大的上下文大小。此外，YaRN允许在较短的数据集上进行有效的外推和微调，并可以利用迁移学习实现更快的收敛，这两者在计算受限的情况下都是至关重要的。最后，我们展示了使用YaRN进行外推的有效性，它能够“短时间训练，长时间测试”。