KnowledgeNavigator: Leveraging Large Language Models for Enhanced Reasoning over Knowledge Graph

本文是LLM系列文章，针对《KnowledgeNavigator: Leveraging Large Language Models for Enhanced Reasoning over Knowledge Graph》的翻译。

摘要

大型语言模型（LLM）凭借其对自然语言的高级理解和零样本能力，在各种下游任务中取得了出色的性能。然而，他们在知识约束方面很吃力，尤其是在需要复杂推理或扩展逻辑序列的任务中。这些限制可能会导致不准确和幻觉，从而影响他们在问答（QA）中的表现。在本文中，我们介绍了一个名为KnowledgeNavigator的新框架，旨在克服这些挑战。它通过从知识图谱中高效准确地检索外部知识来改进LLM推理。KnowledgeNavigator从细化问题所隐含的约束开始，这有助于引导推理过程。然后，它通过迭代地结合LLM的见解和问题的要求的过程，从知识图谱中选择性地收集支持信息。最后，KnowledgeNavigator将这些结构化信息准备为LLM友好提示，从而增强其推理能力。我们在几个公共的KGQA基准上对KnowledgeNavigator进行了评估，结果证明了其有效性和通用性。它超越了以前将知识图谱与LLM相结合的方法，并且与全监督模型具有竞争力。

1 引言

2 相关工作

3 方法

4 实验

5 结论

在本文中，我们研究了LLM中知识限制的挑战，并引入了一个框架KnowledgeNavigator来提高LLM在知识图谱上的推理和问答能力。KnowledgeNavigator由三个阶段组成：问题分析、知识检索和推理。在问题分析过程中，KnowledgeNavigator首先对问题进行预分析，并为其生成变体以帮助推理。然后，依靠LLM的指导，迭代地检索和过滤知识图谱中的候选实体和关系，以提取相关的外部知识。最后，将这些知识转化为有效的提示，以提高LLM在知识密集型任务中的性能。我们使用KGQA度量对KnowledgeNavigator进行了评估，结果表明，从知识图谱中引入外部知识有利于LLM处理复杂任务。KnowledgeNavigator的性能优于在增强的KGQA上部署LLM的其他框架，并实现了与以前的完全监督模型相当的性能。我们还进行了消融研究，以确认KnowledgeNavigator中每个组件的有效性，并分析错误以确定进一步的研究方向。

6 局限性