VN Network: Embedding Newly Emerging Entities with VirtualNeighbors

摘要

近年来，将实体和关系嵌入连续向量空间引起了人们的极大兴趣。大多数嵌入方法假设在训练过程中所有测试实体都是可用的，这使得为新出现的实体重新训练嵌入非常耗时。为了解决这一问题，最近的研究将图神经网络应用于不可见实体的现有邻居。在本文中，我们提出了一个新的框架，即虚拟邻居(VN)网络，以解决三个关键挑战。首先，为了减少邻居稀疏性问题，我们引入了规则推断虚拟邻居的概念。并且我们通过解决一个规则约束的问题来为这些邻居分配软标签，而不是简单地将它们视为不容置疑的真实。其次，现有的许多方法只使用一跳或两跳邻居进行聚合，而忽略了可能有用的远端信息。相反，我们识别逻辑和对称路径规则来捕获复杂的模式。最后，我们不是一次性注入规则，而是在嵌入方法和虚拟邻居预测之间使用迭代学习方案来捕获彼此之间的交互。在两个知识图完成任务上的实验结果表明，我们的VN网络显著优于最先进的基线。此外，在Subject/Object-R上的实验结果表明，我们提出的VN网络对邻居稀疏性问题具有很强的鲁棒性。

规则推理与嵌入学习的交互作用:LAN将逻辑规则的置信度作为聚合器的常量权重，而用丰富语义编码的嵌入可以对规则推断的结果进行优化。正如RUGE[6]和IterE[33]所提到的，规则通过精细化的嵌入可以更准确地推断出新的事实，新推断出的事实也可以帮助学习更高质量的嵌入。

在这项工作中，我们提出了一种新的归纳学习框架，VN网络，以嵌入新出现的实体。虚拟网络主要由虚拟邻居预测、编码器和解码器三个部分组成。为了减少稀疏性问题，我们引入了虚拟邻居的概念，并采用基于规则的虚拟邻居预测算法。同时，为了在K