PKGC Do Pre-trained Models Benefit Knowledge Graph Completion?A Reliable Evaluation and

摘要

近年来，预训练语言模型(PLMs)已被证明可以从大量文本中捕获事实知识，这鼓励了基于PLM的知识图完成(KGC)模型的建议。然而，这些模型在性能方面仍然远远落后于SOTA KGC模型。在这项工作中，我们发现了造成绩效不佳的两个主要原因:(1)评估设置不准确。封闭世界假设下的评价设置可能会低估基于plm的KGC模型，因为它们引入了更多的外部知识;(2) PLMs使用不当。大多数基于plm的KGC模型只是简单地拼接实体和关系的标签作为输入，导致不连贯的句子，不能充分利用PLM中的隐性知识。为了缓解这些问题，我们在开放世界假设(OWA)下强调了一个更准确的评估设置，它手动检查非KG的知识的正确性。此外，在提示调优的激励下，我们提出了一个新的基于plm的KGC模型，名为PKGC。其基本思想是将每个三元组及其支持信息转换为自然的提示句，并进一步输入PLMs进行分类。在两个KGC数据集上的实验结果表明，OW A在评估KGC方面更可靠，特别是在链路预测方面，以及我们的PKCG模型在CW A和OW A设置上的有效性。

2) plm使用不当。现有的基于plm的KGC模型只是简单地拼接三元组中实体和关系的标签作为plm的输入。这会导致句子不连贯，这与预先训练的任务有差距，因此不能充分利用PLMs中的知识。

为了使KGC评估更加可信，我们强调了一种基于开放世界假设(OW a)的新的评估设置——不在KGs中的知识不是假的，而是未知的。因此，只要我们从未知中识别出准确的真假三元组，就可以去除CW A下的假阳性。对于这些未知的三元组，我们执行人工注释来检查它们是否有效。

我们进一步提出了一种新的基于PLM的KGC模型PKGC，以更好地归纳隐藏在PLM参数中的隐性知识。受到基于提示的模型的激励(Petroni等人，2019;Shin等人，2020)࿰