RECOMP: Improving Retrieval-Augmented LMs with Compression and Selective Augmentation

本文是LLM系列文章，针对《RECOMP: Improving Retrieval-Augmented LMs with Compression and Selective Augmentation》的翻译。

摘要

在推理时检索文档并在上下文中为其做准备可以提高语言模型在各种任务中的性能。然而，这些文件往往跨越数百个单词，使推理成本大大增加。我们建议在上下文集成之前将检索到的文档压缩为文本摘要。这不仅降低了计算成本，而且减轻了LM在长时间检索的文档中识别相关信息的负担。我们提出了两个压缩器——一个是提取压缩器，它从检索到的文档中选择有用的句子；另一个是抽象压缩器，它通过合成多个文档中的信息来生成摘要。当生成的摘要被准备到LM的输入中时，两个压缩器都经过了训练，以提高LM在最终任务中的性能，同时保持摘要的简洁性。如果检索到的文档与输入无关，或者没有向LM提供额外信息，我们的压缩器可以返回一个空字符串，从而实现选择性扩充。我们在语言建模任务和开放域问答任务上评估了我们的方法。我们实现了低至6%的压缩率，同时两项任务的性能损失最小，显著优于现成的摘要模型。我们证明，我们为一个LM训练的压缩器可以在语言建模任务中转移到其他LM，并提供在很大程度上忠实于检索到的文档的摘要。

1 引言

2 问题公式化：RECOMP

3 学习压缩器

4 实验设置

5 结果

6 分析与讨论

7 相关工作

8 结论

我们介绍了RECOMP，这是一种在准备文档之前将检索到的文档压缩为文本摘要的方法，以改进上下文检索增强语言模型。我们提出了两种压缩模型——提取式压缩机和抽象式压缩机。我们设计了一种训练方案，该方案利用来自黑盒LM的最终任务信号来生成有用的摘要，并允许压缩模型执行选择性增强。我们的实验表明，我们的压缩器可以在性能下降最小的情况下显著提高检索增强LMs的效率。