KNN-KG Reasoning Through Memorization:Nearest Neighbor Knowledge Graph Embeddings

摘要

以往的知识图嵌入方法通常将实体映射到表示，并利用分数函数来预测目标实体，但它们难以推理罕见或新出现的不可见实体。在本文中，我们提出了一种新的知识图嵌入方法kNN-KGE，该方法使用预先训练的语言模型，通过k近邻对实体分布进行线性插值。我们根据实体嵌入空间中到知识存储的距离来计算最近的邻居。我们的方法可以允许显式地记忆罕见的或新兴的实体，而不是隐式地记忆模型参数。实验结果表明，我们的方法可以改善归纳和转导链接预测结果，并在只有几个三元组的低资源设置下产生更好的性能，这可能更容易通过显式记忆进行推理

1.介绍

 受此启发，我们提出kNN - KGE，一种通过k近邻( kNN )模型线性插值其实体分布来扩展知识图谱嵌入的方法。如图1所示，我们使用预训练的语言模型(PLMs)构建实体知识库，并根据实体嵌入空间中的距离检索最近的邻居。给定一个头部或尾部实体缺失的三元组，我们利用[MASK]输出的表示作为预测的锚实体嵌入，在知识存储中找到最近的邻居，并用屏蔽实体预测插值最近的邻居分布。因此，可以显式地记忆稀有实体或新出现的三元组，从而通过记忆进行推理，而不是隐式地在模型参数中进行推理。

据我们所知，这是第一个用于知识图嵌入的半参数方法。我们的工作可能会为通过外显记忆改进知识图推理开辟新的途径。

我们引入了kNN - KGE，它可以显式地记忆罕见的或新兴的实体，这在实际中是必不可少的，因为KG正在进化。

在两个基准数据集上的实验结果表明，我们的模型可以产生比基线更好的性能，尤其有利于低资源