MindMap: Knowledge Graph Prompting Sparks Graph of Thoughts in Large Language Models

本文是LLM系列文章，针对《MindMap: Knowledge Graph Prompting Sparks Graph of Thoughts in Large Language Models》的翻译。

摘要

LLM通常在吸收新知识的能力、幻觉的产生以及决策过程的透明度方面表现出局限性。在本文中，我们探讨了如何用知识图谱（KG）提示LLM，作为一种补救措施，让LLM了解最新知识，并从LLM中引出推理途径。具体来说，我们构建了一个提示管道，赋予LLM理解KG输入的能力，并使用组合的内隐知识和检索到的外部知识进行推断。此外，我们还研究了启发思维导图，LLM在思维导图上进行推理并生成答案。研究表明，生成的思维导图展示了基于知识本体的LLM推理路径，从而为在生产中探究和衡量LLM推理带来了前景。在三个问答数据集上的实验也表明，MindMap提示带来了显著的经验增益。例如，使用MindMap提示GPT-3.5会持续产生超过GPT-4的压倒性性能。我们还证明，通过从KG中检索结构化事实，MindMap可以优于一系列使用文档检索方法的提示，受益于KG中更准确、简洁和全面的知识。为了重现我们的结果并进一步扩展框架，我们在https://github.com/wylwilling/MindMap上开源了代码。

1 引言

2 相关工作

3 方法

4 实验

5 结论

本文引入了知识图谱（KG）提示1）赋予LLM理解KG输入的能力，2）利用隐式知识和检索到的外部知识相结合来促进LLM的推理。然后，我们研究了启发思维导图，LLM在其中进行推理并用图表表示的理由生成答案。通过在三个问答数据集上进行广泛的实验，我们证明了我们的方法MindMap比普通LLM和检索增强生成方法取得了显著的经验收益。我们设想这项工作为在生产中实现可靠和透明的LLM推理打开了大门。