REASONING ON GRAPHS: FAITHFUL AND INTERPRETABLE LARGE LANGUAGE MODEL REASONING

本文是LLM系列文章，针对《REASONING ON GRAPHS: FAITHFUL AND INTERPRETABLE LARGE LANGUAGE MODEL REASONING》的翻译。

摘要

大型语言模型(llm)在复杂任务中表现出令人印象深刻的推理能力。然而，他们在推理过程中缺乏最新的知识和经验幻觉，这可能导致不正确的推理过程，降低他们的表现和可信度。知识图谱(Knowledge graphs, KGs)以结构化的形式捕获了大量的事实，为推理提供了可靠的知识来源。然而，现有的基于kg的LLM推理方法只将kg作为事实知识库，忽略了其结构信息对推理的重要性。在本文中，我们提出了一种称为图上推理(RoG)的新方法，该方法将llm与KGs协同使用，以实现忠实和可解释的推理。具体来说，我们提出了一个计划检索-推理框架，其中RoG首先生成以KGs为基础的关系路径作为忠实计划。然后使用这些计划从KGs中检索有效的推理路径，以便llm进行忠实的推理。此外，RoG不仅可以从KGs中提取知识，通过训练提高llm的推理能力，还可以在推理过程中与任意llm无缝集成。在两个基准KGQA数据集上进行的大量实验表明，RoG在KG推理任务上达到了最先进的性能，并产生了忠实且可解释的推理结果。

1 引言

2 相关工作

3 前言

4 方法

5 实验

6 结论

在本文中，我们提出了一种称为图上推理(RoG)的新方法，该方法将llm与KGs协同进行忠实和可解释的推理。为了解决幻觉和缺乏知识的问题，我们提出了一个计划-检索-推理框架，该框架允许LLM在基于图上的忠实计划进行推理时访问最新知识。RoG不仅通过训练从KGs中提取知识来增强llm的推理能力，而且还可以在推理过程中与任何llm无缝集成。在两个基准KGQA数据集上的大量实验证明了RoG在推理能力和可解释性方面的优势。