KNOWLEDGE SOLVER: TEACHING LLMS TO SEARCH FOR DOMAIN KNOWLEDGE FROM KNOWLEDGE GRAPHS

本文是LLM系列文章，针对《KNOWLEDGE SOLVER: TEACHING LLMS TO SEARCH FOR DOMAIN KNOWLEDGE FROM KNOWLEDGE GRAPHS》的翻译。

摘要

大型语言模型（LLM），如ChatGPT和GPT-4，由于其涌现能力和可推广性，是通用的，可以解决不同的任务。然而，LLM有时缺乏特定领域的知识来执行任务，这也会在推理过程中引起幻觉。在之前的一些工作中，图神经网络（GNN）等附加模块是根据从外部知识库中检索到的知识进行训练的，旨在缓解缺乏特定领域知识的问题。然而，合并额外的模块：1）当遇到新的领域时，需要重新训练额外的模块；2） 将成为一个瓶颈，因为LLM的强大能力没有完全用于检索。在本文中，我们提出了一种称为知识求解器（KSL）的范式，教LLM通过利用自身强大的可推广性，从外部知识库中搜索基本知识。具体来说，我们设计了一个简单而有效的提示，将检索转换为多跳决策序列，使LLM能够以零样本的方式搜索知识。此外，KSL能够提供完整的检索路径，从而提高LLM推理过程的可解释性。我们在三个数据集上进行了实验：CommonsenseQA、OpenbookQA和MedQA USMLE，发现我们的方法以相对较大的幅度提高了LLM基线性能。

1 引言

2 相关工作

3 问题定义

4 方法

5 实验

6 结论

在本文中，我们提出了知识求解器（KSL），它可以帮助LLM以零样本和微调的方式更好地执行特定领域的知识需求任务。有了外部知识，LLM可以利用自己的能力搜索必要的知识和信息来执行相关任务，而无需额外的训练或模块。我们的交互式推理方法不仅可以显式地将知识注入LLM，还可以指导LLM解决任务。我们还证明，性能改进主要来自于我们专门设计的推理方法（用于零样本）和任务（用于微调），而不是指令调整。目前，我们的交互式推理方法的初始问题实体是随机选择的。我们将如何选择第一个实体来初始化执行任务留给进一步研究。