Knowledge-Augmented Language Model Prompting for Zero-Shot Knowledge Graph Question Answering

本文是LLM系列的文章，针对《Knowledge-Augmented Language Model Prompting for Zero-Shot Knowledge Graph Question Answering》的翻译。

摘要

大型语言模型（LLM）能够根据预先训练过程中存储在参数中的内部知识，执行零样本封闭式问答任务。然而，这种内化的知识可能是不充分和不正确的，这可能导致LLM产生事实上错误的答案。此外，微调LLM以更新其知识是昂贵的。为此，我们建议在LLM的输入中直接增加知识。具体来说，我们首先根据问题及其相关事实之间的语义相似性，从知识图谱中检索输入问题的相关事实。之后，我们以提示的形式将检索到的事实预先添加到输入问题中，然后将其转发给LLM以生成答案。我们的框架，知识增强语言模型提示（KAPING），不需要模型训练，因此完全是零样本。我们验证了我们的KAPING框架在知识图问答任务中的性能，该任务旨在根据知识图谱上的事实回答用户的问题，在不同大小的多个LLM中，我们的知识图谱平均比相关的零样本基线高出48%。

1 引言

2 相关工作

3 方法

4 实验设置

5 实验结果和分析

6 结论

在这项工作中，我们重点关注了现有LM提示方案的局限性，这些方案依赖于内化在参数中的静态知识；因此，当这些知识不完整、不准确和过时时，LLM可能会产生事实上不正确的答案。为了应对这一挑战，我们引入了一种新的知识增强语言模型PrompTING（KAPING）框架，该框架在LLM的输入提示中直接增强来自KGs的输入问题的知识，事实检索器只注入相关知识。所提出的框架完全是零样本的，并且适用于任何LMs，无需额外的参数更新和训练数据集。我们验证了我们的KAPING在KGQA任务上依赖于LM提示模型的内部知识，特别是在较小的LM的情况下，与LM提示模型相比产生了巨大的性能差距。我们相信，我们将事实从KGs扩充到LM提示的新机制将在生成基于知识的答案方面带来实质性的实际影响。

不足

在本节中，我们忠实地讨论了当前的局限性和未来研究的潜在途径。
首先，我们的知识增强框架的生成性能在很大程度上取决于检索器的功效。换句话说，如果检索器未能检索到输入问题的相关事实，则以不相关事实为条件的提示LLM可能会生成错误的答案（见图3）。类似地，如果检索器不被设计为检索问题实体的2-跳邻域中的事实，LLM不太可能生成需要2-跳知识的答案。请注意，对于Mintaka数据集，具有1跳事实的可回答问题的数量仅占总样本的40%。然而，当我们包括2-跳三元组时，可回答问题的数量变为62%，这表明2-跳检索的必要性，这仍然具有挑战性（见表2）。因此，未来的工作可以改进检索方案本身，以向LLM提供更准确的事实，包括多跳，或者可以开发防止LLM被无关事实误导的机制。
另一方面，可以进一步改进提示LLM的生成性能的评估度量。具体来说，关于我们的目标KGQA任务，问题的答案是KGs中的实体。然而，没有额外训练的提示LLM（即零样本）倾向于将答案生成为句子。例如，表4中问题（例如，Alex Chilton死在哪里？）的标签实体是“新奥尔良”，然而，LLM通常会产生句子级别的输出：“Alex Chi尔顿于2010年3月17日因心肌梗死在路易斯安那州新奥尔良去世”。我们目前通过测量生成的token是否包含答案实体来评估模型性能；然而，开发额外的度量标准，以更有效的方式将LLM的句子级输出与KGs的单词级答案进行比较，是值得的。请注意，我们还尝试了其他可用的指标（见附录B.3），如F1和精确匹配（EM）分数，然而，它们在很大程度上惩罚了较长的句子（例如，表4中正确示例的EM为0），因此可能不适合评估LM提示方案。
最后，由于我们专注于LM提示中知识注入的改进，我们在评估模型时使用KGQA数据集中的标记实体，遵循现有的KGQA评估设置。然而，在现实世界中的应用中，问题中的实体大多没有提供，我们首先需要使用现有的实体链接技术提取问题中的主体；因此，我们的模型性能取决于实体链接的有效性。特别是，关于表5中实体链接的结果，来自数据集中标记实体的可回答问题的比例为40%，然而，来自实体链接模型的实体可回答问题比例为22%。因此，由于改进的实体链接性能将有助于我们的KAPING框架的性能增益，对于KGQA任务，未来的工作可能会推进这种实体链接方案。