检索增强文本生成最新进展

Recent Advances in Retrieval-Augmented Text Generation

ACM 2022 论文链接

检索增强文本生成已经引起了NLP和IR社区的日益关注。任何可能对自然语言生成、信息检索、对话系统、机器翻译等的最新进展感兴趣的观众都会发现参加本教程非常有启发性和价值。

虽然不需要特定的知识，但对信息检索或深度学习有基本概念的受众会发现它更有益于理解本教程中要讨论的技术和分析。为了快速了解本教程的主要内容，我们让参与者参考我们的调查报告[？]。此外，我们还保留了一份供进一步阅读的论文列表1，该列表将动态更新，以包括即将发表的论文。

最近，检索增强文本生成在许多NLP任务中取得了最先进的性能，并引起了NLP和IR社区的日益关注。因此，本教程旨在全面和比较地介绍检索增强文本产生的最新进展。它首先强调了检索增强文本生成的一般范式，然后回顾了不同文本生成任务（包括对话生成、机器翻译和其他生成任务）的显著工作，最后指出了一些局限性和不足，以便于未来的研究。

目标和动机
文本生成是NLP和IR的一个重要领域，具有广泛的应用。检索增强文本生成作为一种融合深度学习和信息检索技术的新文本生成范式，在许多NLP任务中取得了最先进的性能，并在可解释和绿色AI方面取得了进步。本教程应该对董事会NLP和IR社区非常感兴趣。

这一范式的最新发展分布在文本生成的许多子领域，如对话响应生成、机器翻译和文本风格转换。虽然它展示了检索增强文本生成的普遍性，但也增加了新手入门的难度。他们不仅要熟悉NLP和检索技术的最新工作，还要了解下游任务的特点。我们希望本教程将帮助观众更深入地了解检索增强文本生成的发展和亮点。

检索增强文本生成是一个新兴的方向，可以实现更高效、可扩展、可解释和自适应的文本生成，对NLP和IR社区产生了巨大的影响。检索增强文本生成具有广泛的应用场景，如对话系统和机器翻译。本教程旨在全面回顾最近的检索增强文本生成方法，包括对话响应生成[14]、机器翻译[3]和其他[4]中的工作。我们介绍了检索增强文本生成的背景、动机和典型应用，总结了检索增强的文本生成的一般范式，并对检索源、检索度量和集成方法这三个检索增强文本产生的关键组件进行了比较分析。

在本教程的主体部分，我们回顾了有关检索增强文本生成的著名研究论文，并根据不同任务组织内容。具体而言，在对话响应生成任务中，示例/模板检索作为中间步骤已被证明有利于信息响应生成[14，15][？？]和个性化响应生成[？]。此外，人们对探索不同形式的知识（如知识库和外部文档）的知识生成越来越感兴趣[2，9，10，12，16，19，20]。

在机器翻译任务中，我们快速总结了关于如何使用检索到的句子（称为翻译记忆）来改进统计机器翻译（SMT）模型的早期工作[6，7，13][？？]。由于神经机器翻译（NMT）[1]具有端到端建模和足够的训练数据，与SMT相比具有优势，因此我们特别强调了几种将翻译记忆集成到NMT模型中的流行方法[3，17，18][？？？]。我们还回顾了检索增强文本生成在其他生成任务中的应用，代码生成[4]，释义[5][？]，以及知识密集型一代[8]。最后，作为结论，我们还指出了最近方法的一些局限性和缺点，以便参与者更容易推动关于检索增强文本生成的研究。