RAVEN: In-Context Learning with Retrieval Augmented Encoder-Decoder Language Models

本文是LLM系列的文章，针对《RAVEN: In-Context Learning with Retrieval
Augmented Encoder

摘要

在本文中，我们研究了检索增强的编码器-解码器语言模型的上下文学习能力。我们首先对最先进的ATLAS模型进行了全面分析，并确定了其在上下文学习中的局限性，主要是由于预训练和测试之间的不匹配，以及上下文长度的限制。为了解决这些问题，我们提出了RAVEN，这是一个结合了检索增强屏蔽语言建模和前缀语言建模的模型。我们进一步引入了上下文学习中的融合，通过使模型能够在不需要额外训练或模型修改的情况下利用更多的上下文示例来增强小样本性能。通过广泛的实验，我们证明了RAVEN显著优于ATLAS，并在某些场景中获得了与最先进的语言模型相当的结果，尽管参数要少得多。我们的工作强调了检索增强的编码器-解码器语言模型在上下文学习中的潜力，并鼓励在这个方向上进行进一步的研究。

1 引言

2 背景和相关工作

3 带有ATLAS的上下文学习

4 方法

5 实验

6 结论

在这项研究中，我们深入研究了检索增强编码器语言模型的上下文学习能力。我们首先对最先进的ATLAS模型进行了全面分析，随后基于分析开发了我们的模型。我们广泛的实验结果表明，我们的模型显著优于ATLAS，即使参数少得多，也能获得与一些最先进的语言模型相当的结果。这些发现突出了检索增强的编码器-解码器语言模型在上下文学习领域的潜力。鼓励未来专注于扩大模型规模并研究其上下文学习能力的工作。

不足

我们工作的一个主要限制来自于我们使用的基本模型（例如T5或ATLAS）固有的受限上下文长度。这种限制对上下文学习的可扩展性提出了挑战，尤其是随着上下文示例数量的增加。虽然我们的上下文融合学习（FiCL）策略确实为这种约束提供了一种缓解方法，但一种替代的、可能更优化的解决方案可能涉及扩展上下文长度。这对于需要大量投入的任务尤其有益。
此外，与一些流行的仅限解码器的语言模型相比，特别是那些超过100B参数的模型，我们研究中部署的模型可能在规模上显得相对较小。我们的努力部分是为了促进对更强大的编码器-解码器模型的进一步研究。利用扩大规模的好处，并将其与我们提出的方法相结合，我们相信未来有潜力开发更强大的检索增强语言模型。