Lost in the Middle: How Language Models Use Long Contexts

本文是LLM系列文章，针对《Lost in the Middle: How Language Models Use Long Contexts》的翻译。

摘要

虽然最近的语言模型能够将长上下文作为输入，但人们对它们使用长上下文的情况知之甚少。我们分析了语言模型在两项任务中的性能，这两项任务需要在输入上下文中识别相关信息：多文档问答和键值检索。我们发现，当相关信息出现在输入上下文的开头或结尾时，性能通常最高，而当模型必须在长上下文的中间访问相关信息时，性能会显著降低。此外，即使对于显式长上下文模型，性能也会随着输入上下文的增长而显著降低。我们的分析提供了对语言模型如何使用其输入上下文的更好理解，并为未来的长上下文模型提供了新的评估协议。

1 引言

2 语言模型

3 多文档问答

4 语言模型如何从输入上下文中检索？

5 为什么语言模型很难使用它们的整个输入上下文？

6 更多的背景总是更好吗？开放领域QA案例研究

7 相关工作

8 结论

我们通过一系列对照实验，实证研究了语言模型如何使用长输入上下文，这两项任务需要在上下文中识别和使用相关信息：多文档问答和键值检索。我们发现，语言模型通常很难在长输入上下文中使用信息，并且随着输入上下文的增长，性能会下降。我们对（i）模型架构、（ii）查询感知上下文化和（iii）指令调整的作用进行了初步调查，以更好地了解这些因素中的每一个可能如何影响语言模型如何使用上下文。最后，我们通过一个开放领域问答的实际案例研究得出结论，发现语言模型读者的表现在检索者回忆之前就已经饱和了。我们的结果和分析提供了对语言模型如何使用其输入上下文的更好理解，并为未来的长上下文模型提供了新的评估协议。