[论文笔记]Adaptive-RAG: Learning to Adapt Retrieval-Augmented Large Language Models through Question Com

引言

今天带来论文Adaptive-RAG: Learning to Adapt Retrieval-Augmented Large Language Models through Question Complexity的笔记。

检索增强的大型语言模型(LLMs)已经成为一个有希望的方法，将外部知识库的非参数化知识整合到LLMs中，从而提高了几个任务的响应准确性。但并不是所有用户请求都只属于简单或复杂类别中的一个。在这项工作中，作者提出了一个新颖的自适应QA框架，根据查询复杂度动态选择最适合的策略，从最简单的到最复杂的(retrieval-augmented)LLMs。此外，这个选择过程是通过一个分类器实现的，这是一个较小的LM，训练用于预测传入查询的复杂度级别，自动收集标签，从模型的实际预测结果中获得，并具有数据集中固有的归纳偏差。这种方法提供了一种平衡的策略，能够在各种查询复杂度下无缝地在迭代和单步检索增强的LLMs之间进行适应，以及无检索方法。代码可在以下网址找到：https://github.com/starsuzi/Adaptive-RAG。

总体介绍