Using Large Language Models for Zero-Shot Natural Language Generation from Knowledge Graphs

本文是LLM系列文章，针对《Using Large Language Models for Zero-Shot
Natural Language Generation from Knowledge Graphs》的翻译。

摘要

在任何使用结构化知识图谱（KG）数据作为其底层知识表示的系统中，KG到文本生成都是一种有用的工具，可以将图数据的一部分转化为人类可以理解的文本。最近的工作表明，即使在特定的图到文本任务上的训练数据相对较少，利用对大量文本数据进行预训练的模型也可以在KG到文本任务中表现良好。在本文中，我们在这个概念的基础上，使用大型语言模型来执行零样本生成，只基于模型从它所能读取的内容对三重结构的理解。我们表明，ChatGPT在WebNLG 2020挑战的某些指标上实现了接近最先进的性能，但在其他指标上落后了。此外，我们比较了事实陈述、反事实陈述和虚构陈述，并表明LLM对其正在解析的数据的了解与输出文本的质量之间存在显著联系。

1 引言

2 背景

3 将LLM应用于WebNLG 2020挑战

4 评估KG真实性的效果

5 讨论

6 结论

在本文中，我们已经证明了LLM可以执行任意域零样本知识图谱到文本的任务。模型对其生成文本的信息的了解会影响其误报或遗漏信息的可能性。这一点，再加上所表达的文本包含一些信息的可能性很高，这些信息不是模型被要求表达的三元组的一部分，在部署LLM驱动的系统用于在任意域上对看不见的知识图谱数据进行文本合成时，需要谨慎。对于封闭的comains，在可见的知识图数据中，意外遗漏或误报事实的后果较小，LLM方法可能比Castro Ferreira等人的模型更容易实现，特别是如果生成的文本主题不在典型的KG到文本数据集的范围内。
随着未来训练具有更高数量参数的LLM，本文中提到的一些问题——尤其是俄罗斯数据的低性能——可能会得到解决，但该模型能够将其参数中编码的信息与被要求表达的信息进行比较，这意味着三重覆盖和幻觉的问题可能不会以同样的方式彻底消失。因此，我们相信，专门处理KG到文本任务的预训练模型将保留其价值。