MLMLM: Link Prediction with Mean Likelihood Masked LanguageModel

摘要

知识库(KBs)易于查询、验证和解释。然而，它们可以通过人工时间和高质量的数据进行扩展。屏蔽语言模型(MLMs)，比如BERT，可以根据计算能力和非结构化的原始文本数据进行扩展。然而，这些模型中包含的知识是不能直接解释的。我们建议使用MLMs进行链接预测，以解决KBs可伸缩性问题和MLMs可解释性问题。为此，我们引入了MLMLM(平均似然掩盖语言模型)，这一种通过比较生成不同实体的平均可能性来进行链接预测的方法。我们在WN18RR数据集上获得了最新的SotA结果，在FB15k237数据集上获得了最佳的基于非实体嵌入的结果。我们还在之前未见的实体的链接预测方面获得了令人信服的结果，使MLMLM成为向KB中引入新实体的合适方法。

1.介绍

1.1文本

经过训练的大型MLMs已被证明可以很好地扩展大量非结构化文本数据和计算能力。他们还展示了一些有趣的涌现能力，如执行零样本问题回答的能力(Radford等人，2019年)。这种能力意味着模型参数包含大量的事实知识，它可以利用这些知识回答各种各样的问题。然而，这些知识很难被人类理解，因为它们隐藏在语言模型的数亿甚至数百亿个参数中。

在本文中，我们感兴趣的是利用MLMs进行链路预测。许多利用语言模型来补全KBs的尝试已经存在。然而，它们要么依赖于手工制作的模板来查询模型(Petroni等人，2019)，限制了解决方案的通用性，要么对于任何适当大小的KB都是难以处理的(Yao等人，2019)。它们通常也不能向KB引入新的、以前未看到的实体，因此需要人工干预来保持KB的最新状态。

1.2动力

通过使用MLMs来补全KBs，我