Enhancing Large Language Models with Knowledge Graphs for Fact-aware Language Modeling

本文是LLM系列文章，针对《ChatGPT is not Enough: Enhancing Large Language Models with Knowledge Graphs for Fact-aware Language Modeling》的翻译。

摘要

近年来，具有代表性的大型语言模型（LLM）ChatGPT由于其强大的涌现能力而备受关注。一些研究人员认为，LLM有可能取代知识图谱等结构化知识库，并作为参数化知识库发挥作用。然而，尽管LLM精通基于大型语料库的概率语言模式学习和与人类的对话，但与以前较小的预训练语言模型（PLM）一样，它们在生成基于知识的内容时，仍然难以回忆事实。为了克服这些限制，研究人员提出用基于知识的KGs增强数据驱动的PLM，将明确的事实知识纳入PLM中，从而提高其生成需要事实知识的文本的性能，并为用户查询提供更明智的响应。本文综述了用知识图谱增强预训练语言模型（KGPLM）的研究，详细介绍了现有的知识图谱增强预训练语言模型及其应用。受现有KGPLM研究的启发，本文提出通过开发知识图谱增强的大型语言模型（KGLLM）来增强KGs的LLM。KGLLM为提高LLM的事实推理能力提供了一种解决方案，为LLM研究开辟了新的途径。

1 引言

2 PLM的历史

3 KGPLMs

4 KGPLMs的应用

E 问答

问答系统需要为给定的问题选择正确的答案，必须能够访问相关知识并对此进行推理。近年来，尽管PLM在许多问答任务上取得了显著成就，但从经验上看，它们在结构化推理方面表现不佳。另一方面，KGs更适合于结构化推理，并能够进行可解释的预测。因此，一些研究提出将PLM与KGs相结合，以进行结构化推理并实现可解释的预测。一些方法在训练PLM的同时将来自KGs的知识融入到PLM中，如QAGNN和WKLM。另一项研究在答案推理过程中使用KGs来增强PLM。例如，OreoLM将一个新的知识交互层集成到PLM中，该层与可微知识图谱推理模块交互，用于协同推理。在这里，PLM引导KG走向想要的答案，而检索到的知识增强了PLM。在TriviaQA、searchQA和Web Questions等常用问答数据集上的实验表明，在KG合并后，KGPLM优于传统PLM。

5 LLM能否取代KGs？

6 用KG增强LLM

7 结论

ChatGPT的巨大成功推动了LLM的快速发展。鉴于LLM在各种NLP任务中的出色表现，一些研究人员认为，LLM可以被视为一种隐含的参数化知识库，可以取代KGs。然而，LLM在生成知识挖掘文本的同时，在回忆和正确使用事实知识方面仍然存在不足。为了阐明KGs在LLM时代的价值，本文对KGPLM进行了全面的调查。我们首先研究了PLM的演变以及将KGs纳入PLM的动机。接下来，我们将现有的KGPLM分为三类，并提供了每个类别的详细信息。我们还审查了KGPLM的申请。之后，我们根据现有研究分析了PLM和最近的LLM是否可以取代KGs。最后，我们建议用KGs来增强LLM，以进行事实感知语言建模，从而提高他们对事实知识的学习。本文解决了三个问题：（1）在LLM时代，KG的价值是什么？（2） 如何将KGs纳入LLM以提高其绩效？（3） 我们需要为KGLLM的未来发展做些什么？我们希望这项工作将促进LLM和KGs领域的进一步研究进展。