Relational Message Passing for Fully Inductive Knowledge Graph Completion

摘要

在知识图补全(KGC)中，预测涉及新兴实体和/或关系的三元组成为一项关键挑战，而这些三元组在学习KG嵌入时是看不见的。带消息传递的子图推理是一种很有前途和流行的解决方案。最近的一些方法已经取得了良好的性能，但它们(i)通常只能预测单独包含未见实体的三元组，无法解决更现实的同时包含未见实体和未见关系的完全归纳情况，(ii)经常在未充分利用关系模式的实体上进行消息传递。在本研究中，我们提出了一种新的RMPI方法，它使用一种新的关系消息传递网络来实现完全归纳的KGC。它在关系之间直接传递消息，利用图变换、图修剪、关系感知邻域注意、寻址空子图等新技术，充分利用关系模式进行子图推理，并可以利用KG的本体模式中定义的关系语义。在多个基准上的广泛评估表明了RMPI技术的有效性，与支持全归纳KGC的现有方法相比，其性能更好。RMPI也可与目前最先进的部分归纳KGC方法相媲美，取得了非常有前景的结果。

Our codes, data and partial experiment results are available at https://github.com/zjukg/RMPI

1.介绍

知识图(KGs)经常存在不完整性[13]。因此，人们开发了许多KG补全(KGC)方法来发现缺失的事实(三元组)，特别是通过使用语义嵌入技术，将KG实体和关系编码到相关的向量空间中，从而通过计算这些向量表示(嵌入)[10]，[36]来推断缺失的事实。然而，大多数这些基于嵌入的方法只能在换向设置中工作，在这种设置中，要预测的三元组只涉及嵌入训练三元组中已经出现的实体和关系。当在测试过程中新添加一些实体或关系(也就是不可见的实体或关系)时，他们通常必须重新训练整个KG嵌入，这在实践中是不可实现的，因为许多现实世界中的KG具有快速发展的特性和较大的规模。

最近，有越来越多的归纳KGC研究，旨在完成包含不可见实体或不可见关系的三元组，而无需从头训练KG嵌入。在所有这些作品中，有些尝试使用外部资源(如文本描述)[14]、[23]、[26]、[33]、[38]或辅助三元组(将不可见实体与可见实体[4]、[16]、[35]关联起来)来获取不可见实体或不可见关系的嵌入。虽然这些方法可以工作，但它们严重依赖的附加资源往往不可用或质量较低，而且额外的计算成本(如文本嵌入)有时相对较高。

外部资源（文本描述）

Ontozsl: Ontology-enhanced zero-shot learning

Generative adversarial zero-shot relational learning for knowledge graphs.

An open-world extension to knowledge graph completion models.  2019

Structure-augmented text representation learning for efficient knowledge graph completion.2021

Representation learning of knowledge graphs with entity descriptions. 2016

辅助三元组

Explainable link prediction for emerging entities in knowledge graphs

Knowledge transfer for out-of-knowledge-base entities : A graph neural network approach

Logic attention based neighborhood aggregation for inductive knowledge graph embedding

在处理带有不可见实体的归纳KGC时，一个很有前途且被广泛研究的方向是仅仅从图结构中获取高级语义。相关的方法通常从KG以统计[20]或端到端可微的方式引出关系之间的实体独立逻辑规则[21]，[24]，[42]。

For example, we can induce the logical rule father_of∧son_of → husband_of from the training graph in Fig. 1a, and apply it to infer new triples in a testing graph with unseen entities, e.g., (H,
husband_of, K) in Fig. 1b.GraIL[28]是一种典型的、最新的方法，通过通用图拓扑特征和关系图神经网络(用于在局部子图上进行消息传递和学习)提高了可伸缩性和规则表达性(请参阅第II-B节)。GraIL及其后续方法[6]、[19]显示了使用消息传递子图进行归纳KGC的可行性，并在几个基准测试中取得了有前景的结果。

然而，这些方法大多假设测试阶段的所有关系都与学习到的嵌入有关，这在现实世界的进化KGs中经常被违反，特别是那些通过开放信息提取系统构建的KGs，例如NELL[22]和那些可公开编辑的例如wikidata[32]。此外，它们经常直接在实体之间传递消息，而关系上的模式没有得到充分利用。虽然已经制定了一些加强关系作用的战略，但仍有很大的探索空间。为方便起见，我们将这些著作中所研究的在测试过程中只有不可见实体的归纳KGC情况称为部分归纳KGC，将那些在测试过程中既存在不可见实体又存在不可见关系的更现实、更具挑战性的情况称为完全归纳KGC。图1为这两种情况提供了清晰的例子。目前，很少有专门为后者开发的方法。我们唯一知道的MaKEr[9]，它也依赖于图结构进行预测。

Meta-learning based knowledge extrapolation for knowledge graphs in the federated setting.

在本研究中，我们的目标是用一种名为RMPI的方法来解决完全归纳的KGC问题，该方法包括一个用于子图推理的面向关系的消息传递网络。该方法首先将原KG中的三元周围子图转换为更直观地表示相互关系特征的新关系视图图，然后通过关系消息传递网络学习从关系子图中嵌入不可见的关系，开发了新的图修剪和邻域注意技术，提高了效率和有效性，并使用新的邻域聚集对空子图进行寻址。此外，RMPI允许注入KG的本体模式，这是非常常见的(参见DBpedia[2]和NELL[22]等KG)，并包含互补关系语义，以便在完全归纳的KGC上进行更健壮的推理。综上所述，我们的主要贡献如下:

1. 我们是最早研究完全归纳KGC的学者之一，考虑了子图结构和本体论模式。
2. 我们提出了一个名为RMPI的健壮KGC模型，该模型具有有效的关系消息传递和子图推理的新技术，支持部分和完全归纳KGC。
3. 对4个新构造的基准和14个来自不同KGs的公共基准进行了大量的实验，RMPI及其变体的性能通常优于包括最先进方法在内的基准。

2.初步准备

我们首先正式定义任务和符号，然后简要介绍现有工作中使用的基于子图的归纳推理的背景。

2.1问题公式化

2.2基于子图的部分归纳推理

为了预测一个目标三元组(h, r, t)，其中，且h和t的嵌入都不可用，GraIL[28]等方法以实体无关的方式从这个三元组周围的子图学习并利用结构语义。为了更好地理解，我们使用GNN中广泛使用的表示法，将这样的三重函数重新表示为，其中u和v分别被称为目标头实体和目标尾实体，rt是目标关系。GraIL的基本工作流程包括三个步骤：它首先提取目标三元组周围的K-hop封闭子图，记为，然后根据它们到u和v的最短距离对提取的子图中的实体进行注释。

最后通过GNN编码器对子图进行总结，并利用编码后的子图表示和目标关系的嵌入对目标三元的可能性进行评分。基于gnn的编码器采用通用的消息传递方案，将节点表示与相邻表示的聚合相结合迭代更新，并考虑了子图的多关系特性。

 其中是子图中的实体集。然后通过所有输出实体嵌入的平均池来表示子图，并通过带有子图表示、目标关系rt的嵌入和目标实体对的输出嵌入的线性层对目标三三元组的可能性进行打分，并将其连接和馈送。

所提取的封闭子图包含一些逻辑证据(如路径)，可以帮助推断所包含的两个实体之间的关系。而距离感知实体的初始特征表示实体的相对位置，目标三元组在子图中的头部和尾部实体，从而捕获结构语义，而不需要从整个KG学习特定的嵌入。最后，应用的GNN层在实体之间迭代传递消息以更新实体特征，并使用生成的表示与可学习关系嵌入一起对三元组进行评分。

3.方法

3.1回顾

在本文中，我们充分利用关系反映的推理线索，提出直接从关系向关系迭代传递消息(特征)来推断目标三元的可能性，在此过程中不使用实体特征，而可以推断不可见关系的嵌入，并可选择从KG的本体图式中进一步通过关系语义进行增强。为了实现这一目标，我们提出了如图2所示的关系消息传递网络。

简单地说，给定一个目标三元组，它(i)提取一个封闭子图G，并将其转换为一个新的图，该图可以通过它们在G中的共现直接表示关系之间的关系，(ii)通过多个消息传递层传播关系之间的特征，该消息传递层通过图修剪策略进行优化，以提高计算效率和邻域注意机制，以提高精度，(iii)计算目标三元组的得分。利用目标关系的输出表示，在此过程中，通过相同的消息传递层获得不可见关系的归纳嵌入，并进一步允许本体模式以先验方式增强它们。

第一步和第二步的技术细节分别在下面两个小节中介绍——子图提取和转换和关系消息传递，而第三步的细节主要在下面的不可见关系推理和三元组评分和模型训练中介绍。考虑到封闭的子图有时是空的，而关系消息传递不能被应用，我们还建议从目标三元组的公开子图中探索判别特征来进行增强，这将在最后一小节-处理空子图中介绍。

3.2Subgraph Extraction and Transformation

G实际上是实体视图中的一个图，作为原始的KG，其中图节点对应于实体，边用关系标记。更直接地表示关系之间的有向邻接，我们根据线形图[18]的思想进行变换，也就是说，生成关系视图中的新图，在此过程中，原图中的所有边(由标记的关系及其连接的实体对)都转换为节点，且当且仅当两个新节点的对应关系与原始图中的至少一个公共实体相关联时，它们才被连接。我们将G的这种关系视图子图称为R(G)。图3 (A)和(b)给出了一个运行的例子。

 

 

 3.3Relational Message Passing

接下来我们将展示如何在R(G)上执行消息传递。由于R(G)比原始图G要大得多，密度也大得多，使得消息在所有关系节点上传递，计算效率更低，Wang等[34]从理论上证明了这一点。受GraphSAGE[17](一个用于大规模图的GNN模型)中使用的邻域采样策略的激励，该模型首先对每个图节点的邻域子集进行采样(直到深度K)，然后在采样图上执行消息传递，以生成其嵌入，而不是考虑整个邻域。我们还考虑在一次迭代中不更新所有的图节点。考虑到我们的最终目标是迭代传递(聚合)来自目标关系rt的K-hop邻居的信息，我们建议(i)根据图上的节点是否属于目标关系rt的K-hop邻域，对图上的节点进行采样，生成以目标关系为根节点的树状图，即目标关系引导的图修剪策略，以及(ii)只聚合和更新满足每个深度递归所需的表示。

我们首先从目标关系节点开始，在1-3步中向前采样其完整的邻域设置到深度K。鉴于消息传递的方向，我们对每个节点的所有传入邻居进行采样。然后，在步骤4-8中逐层进行消息传递。特别是在k∈{1,2，…的第k个GNN层。， K}时，我们只计算(K−k)跳范围内的邻居节点的潜在表示形式，方法是聚合有向邻居节点的特征(步骤6)，并结合自身的特征进行更新(步骤7)，因为这些节点将在未来的消息传递中将其特征贡献给目标关系节点的表示学习。例如，当K = 3时，第一层计算2跳内节点的潜在特征;而最后一层仅为根节点聚合邻域特征。最后，我们将目标关系输出嵌入到最后一层，该层已经融合了来自其K-hop邻居的消息，并进行预测。通过这种方式，我们极大地降低了计算成本，减少了参与聚合并在每次迭代中更新的节点数量。

 由此产生的消息传递体系结构提供了插入不同AGGREGATE和COMBINE函数的灵活性。考虑到不同的边类型所表示的关系节点之间的不同连接，我们采用R-GCN[25]的思想在聚合中对它们进行建模。此外，我们还应用了目标关系感知的邻域注意机制来突出显示与目标关系高度相关的邻域。形式上，GNN第k层的AGGREGATE函数定义如下:

 

3.4Reasoning with Unseen Relations

3.4.1利用图结构

上面的模型成功地展示了消息是如何在图中的关系节点之间传递的，其中给定关系节点的特征是从其相邻关系的表示中获得的。在测试中，对于第一次出现的看不见的关系，我们使用之前定义的训练良好的聚合函数，通过聚合它在训练中已经学习到的相邻可见关系的嵌入直接生成它的嵌入，而不修改或重新训练模型。

3.4.2利用本体模式

KG通常伴随着本体作为其模式，以获得更丰富的语义和更高的质量。例如，基于RDF模式(RDF Schema, RDFS)的本体模式定义了实体(又称概念)、属性(包括对象属性，即关系和数据属性)、概念和关系层次结构、约束(例如，关系域和范围，以及概念脱节)的类型。在这些本体中构建的许多词汇表在可见关系和不可见关系之间带来了更丰富的语义关系(连接)。因此，除了图结构外，我们还研究了利用来自给定KG本体的信息进行具有不可见关系的三重预测。

在RDFS的词汇集中，我们选择了与推理相关的、可以用来建模KG关系之间相关性的词汇，最后选择了4种关系语义分离的词汇。它们是rdfs:subPropertyOf，用于定义关系之间的包容关系;rdfs:domain和rdfs:range，用于定义关系的头和尾实体的各自类型;rdfs:subClassOf，用于定义类型之间的包容关系。它们所反映的所有语义都可以用RDF三元组表示。例如，(r1, rdfs:subPropertyOf, r2)表明r1是r2的子关系。这些三元组构成一个模式图，其节点是关系或实体类型，边是词汇表。在图2的左上角可以找到这部分。

接下来，我们将这些语义以先验的方式注入到关系消息传递网络中。具体来说，我们首先使用KG嵌入技术(例如TransE[5]方法)预先训练已经覆盖了所有目标可见和不可见关系的模式图，该方法可以学习可见或不可见关系的向量表示，它们的语义关系保持在向量空间中。然后，我们映射这些关系向量参与关系消息传递，预测目标三元组。即，将投影的向量作为节点的初始表示形式。在测试过程中，还对未见关系的语义向量进行投影，与已见关系的语义向量一起进行更鲁棒的子图推理。

3.5Triple Scoring and Model Training

3.6 处理空子图

在实践中，相当多的三元组，特别是随机抽样的负三元组，其围合子图为空，即跳k下的子图中不存在有效边。在这种情况下，捕捉图结构语义来推断一对实体之间的关系或区分正三元组和负三元组几乎是不可能的。

针对这一点，我们试图探索来自目标三元组的k跳披露子图 disclosing subgraph的额外输入。具体来说，我们首先取目标头实体u和尾实体v的邻居集并集，生成K-hop披露子图，然后按照第三- 2节所述的相同转换步骤将其转换为关系视图子图，最后对其进行消息传递，学习目标三元组的补充判别特征。鉴于公开子图的尺寸比相应的封闭子图要大，我们对目标关系节点的单跳邻居进行采样，并通过一种注意机制对其特征进行聚合，该机制根据不同邻居对中心目标关系节点的重要性赋予不同的权重。聚合函数由:

4.实验

在我们的实验中，我们首先验证了我们提出的框架能够单独利用图结构或同时利用图结构和本体模式处理完全归纳KGC。然后，与现有的子图推理方法相比，我们提出的关系消息传递在只包含不可见实体的部分归纳KGC情况下具有优越性。最后，我们进行消融研究和案例研究，以进行更详细的模型分析。我们首先为评估设置背景。

4.1Datasets and Ontologies

对包含不可见实体的部分归纳KGC的研究，采用GraIL[28]中提出的一系列基准进行评估，这些基准来自三个著名的KGC转导数据集:WN18RR[11]、FB15k-237[29]和NELL-995[40]。为了实现鲁棒性评估，从每个不同大小的数据集中提取四个版本的归纳基准。每个基准测试由一个训练图和一个具有不相交实体集的测试图组成。在训练图中，80%的三元组用于训练模型，10%的三元组用作验证集;而在测试图中，将其中10%的三元组作为最终预测目标。然后从相应的训练和测试图中提取每个训练、验证或测试三元组的子图。统计数字列于表Ia。

为了支持对全归纳KGC的评估，当测试图中存在不可见的关系时，我们通过重新组合以上12个归纳基准来开发新的基准。具体来说，对于一个原始的基准测试，我们保留训练图，但用另一个测试图有更多关系的基准测试替换测试图。例如，用于从NELL-995 (NELL995.v2 in short)其中包含88个关系，我们结合NELL-995.v3的测试图。v3共有122个关系，其中51个没有包含在NELL-995-v2，生成名为NELL-995.v2.v3的新基准测试。这些重新组合的数据集使用“XXX.vi.vj”模式表示。”，其中XXX为源转换数据集，i为指示训练图来自哪个版本的归纳基准的指标，j为测试图的源版本指标。显然，对于每个数据集，我们都会过滤测试图，以确保它的所有实体都没有出现在相应的训练图中。由于在某些组合下没有足够的不可见关系或测试三元组，我们最终生成4个新的数据集进行评估，如表Ib所示。值得注意的是，通过上述步骤构建的数据集实际上属于半不可见关系测试的设置，即测试图中的一部分关系已经在训练图中看到，而其余的关系则不可见。因此，我们进一步从测试图中提取子集，通过过滤包含可见关系的三元组，用于完全不可见关系的测试设置，这是完全新的图，只有不可见的实体和不可见的关系。结果是，对于每个数据集，我们得到了两种分别标有TE(semi) and TE (fully)的测试图，如表Ib所示。

为了更好地处理不可见的关系，我们还利用KGs的本体引入了更丰富的关系语义。对于一些具有公共本体的知识库，我们可以通过从这些本体中提取和重新组织语义来生成关系感知模式图;而对于一些没有本体的KGs，则可以通过邀请专家建立关系层次结构，关联关系的域和范围约束等方法，从零开始构建模式图。在我们的工作中，我们对NELL-995进行了实验，采用了[15]中发布的包含1186个节点和3055个三组的模式图，涵盖了所有的关系及其语义，并将本体装备设置在没有本体的WN18RR和FB15k-237上的评估作为后续工作。TransE[5]在模式图上进行训练，为可见和不可见的关系生成有意义的语义向量

4.2评估及实施细则

为了更全面的评价，我们测试了三重分类和实体预测的补全任务。三重分类使用广泛使用的二元分类度量AUC-PR(即，精度-召回率曲线下的面积)预测输入三重是真还是假，在此期间，测试集中的每个三重通常为正，对每个三重采样一个负三重。而对于不完全三元(h, r， ?)或(?，r, t)，实体预测的目标是根据一组候选实体作为尾部(或头部)实体的预测得分对其进行排序，并查看rank of the ground truth基础真理的秩——秩越小，性能越好。因此，性能由广泛使用的Mean Reciprocal Ranking (MRR)和Hits@n(即，在前n个位置排名的基础事实的测试三元组的比率)[36]进行评估。对于部分归纳KGC，我们按照前人的工作报告了Hits@10，而对于完全归纳KGC，我们用Hits@10和MRR做了综合报告。三重分类和实体预测中的负三元组都是用随机实体替换头(或尾)得到的。不同于三级分类中的一对一比较，我们在实体预测中遵循前人的工作，将ground truth与另外49个随机抽样的候选对象进行排序。我们运行每个实验5次，并报告平均结果进行稳健比较。

我们使用PyTorch实现我们的模型，并使用Adam作为优化器，学习率为0.001，批次大小为16，边际值为10，这是验证集的最佳配置。对于每个三元组，我们对2跳封闭和公开子图进行抽样，并在封闭子图上应用两个消息传递层。对于每个关系，将其嵌入大小设置为32，从模式图中学习到的语义向量维数为300。此外，我们执行的边缘退出率为0.5。详情请参阅我们的代码。

4.3Baselines and Model Variants

Baselines

除了GraIL作为一种具有不可见实体的基于子图的部分归纳KGC的开创性方法外，我们还对不同设置下的两个重要的最先进基线进行了比较。第一个是TACT[6]。它由一个基于实体的消息传递模块GraIL和一个关系相关模块组成，该模块对目标关系及其相邻关系之间的拓扑关联进行建模，并应用关系相关网络来丰富GraIL所忽略的目标关系表示。这两个模块集成起来计算目标三组的得分。此外，单个关系相关模块可以单独用于三重评分，它被报告为一个名为TACT-base的基本模型。

我们报告了TACT和TACT基地的结果，以进行综合评价。注意，原来的TACT在训练和测试中通过替换三元关系产生负样本，并对关系进行预测和排序，用于性能测量。我们用实体替换和实体预测等方法对其进行了重新实现。第二个基线是CoMPILE[19]，该模型在消息传递期间同步更新关系和实体嵌入，以加强实体和关系之间的交互。与传统的基于规则学习的方法的比较被省略了，因为结果比GraIL差，正如[28]所报道的。

对于完全归纳的KGC，除TACT-base外，上述方法都假设测试图中的所有关系都已经在训练图中看到，因此不能应用。对于TACT-base，通过聚合相邻关系的嵌入，关系相关模块可以推断出目标三元组中不可见关系的嵌入。因此，可以基于完全归纳的KGC基准与TACT进行比较。

对于完全归纳KGC，我们考虑的另一个重要基线是MaKEr[9]，它也利用局部图结构来处理不可见的实体和不可见的关系。在MaKEr中，不可见关系的初始嵌入由关系之间一些预先定义的拓扑关系表示，而不可见实体的初始嵌入由其相邻关系的嵌入表示。它采用元学习框架，通过制定一组训练任务来模拟测试图，并构造验证图来优化模型参数。为了方便和公平的比较，我们在[9]中提供的基准上运行我们的模型，即FB-Ext和NELL-Ext——分别来自FB15k-237和NELL-995的两个数据集，并使用新的验证集，这些验证集是通过清理原始验证图生成的，以确保所有实体和关系都可以在我们设置的训练图中看到。从统计学上看，FB-Ext和NELL-Ext中筛选的验证三元组分别为336和137个。有关这两个基准的更多细节，请参阅[9]。值得注意的是，MaKEr属于半不可见关系测试的全归纳KGC设置，即其测试图既包括可见关系，也包括不可见关系。

RMPI Variants

为了评估两种技术的有效性——在公开子图中处理空封闭子图(NE)的单跳邻域聚合和消息聚合(TA)中的目标关系感知邻域注意，

4.4Main Results of Fully Inductive KGC 

我们有两个设置来初始表示测试图中不可见的关系:i)随机初始化，ii)从从本体论模式学习到的关系的语义向量投影。这两个设置分别表示为随机初始化和模式增强。它们都用TACT-base、RMPI-base和RMPI-NE进行了测试，而RMPI-TA和RMPI-NE- TA在这里不适用。

用半不可见的关系进行测试

半不可见关系测试设置下的全归纳KGC结果如表II所示。从表IIa可以看出，在随机初始化的设置下，我们的模型总是优于TACT-base。这表明了我们所提出的关系消息传递网络的有效性，它在具有多个聚合层的关系之间传递消息，通过该网络，可以通过聚合其相邻的可见关系来学习无形关系的归纳嵌入。相比之下，TACT-base中的关系关联模块实际上只对中心目标关系进行单层邻域聚合，而对于邻域中存在的不可见关系，则无法提供有意义的表示。在 FB15k-237.v1.v4中引发的唯一异常。可能是因为1)其测试图中未见关系的比例相对较低(174个已见关系vs. 26个未见关系)，随机初始化的未见关系的负面影响相对有限;2)单跳邻接关系具有足够的信息量，可用于预测三跳关系。

当不可见关系的表示由本体论模式增强时，我们的模型和TACT-base的性能都得到了极大的提高，如表IIb所示。这验证了我们用本体论图式来丰富可见关系和不可见关系之间的邻里联系的洞见。同时，RMPI-base和RMPI-NE的性能都优于或接近TACT-base，这与随机初始化下的结果一致。

使用完全不可见的关系进行测试

在完全不可见关系的测试设置下，全归纳KGC的结果如表III所示。可以看到，在执行随机初始化时，由于周围没有可见的关系来提供有意义的信息来更新不可见关系的表示，性能急剧下降。推理的唯一线索可能存在于高级图模式中，例如关系的共现模式，而我们提出的模型比TACT-base更好地捕获这些模式，这可以通过较小的性能退化来验证，特别是在NELL-995.v1.v3和NELL-995.v2.v3。

Comparison with MaKEr 

随机初始化的结果见表IV，模式增强的结果见表v。在u_rel和u_both的测试集上，即使随机初始化不可见的关系，我们的模型也始终比MaKEr取得更好的结果，并且在本体模式的增强下性能得到进一步提高。而在u_ent的测试集上，我们的模型在NELL-Ext上获得略好的Hits@10和相当的MRR，但在FB-Ext上获得较差的MRR和Hits@10。这可能归因于i)在MaKEr的测试图中所见关系的高覆盖率，即有6103(对应关系)。FB-Ext (resp. 2160)测试图中的三元组。用于提供局部图结构，5713 (resp.1923)，其中包含可见关系，因此对u_ent的测试实际上是一个接近部分归纳KGC的设置;以及ii) FB15k-237中关系的性质，即有向近邻的信息量足以预测三重。总体而言，与基于度量学习的MaKEr相比，我们提出的消息网络在完全归纳的情况下取得了良好的效果。

 

 

部分归纳KGC的主要结果

我们的方法RMPI是专门为全归纳KGC开发的，但也兼容部分归纳KGC。因此，我们还通过与最先进的基于子图推理的方法GraIL、TACT、TACT-base和CoMPILE进行比较，来评估RMPI用于部分归纳KGC的变体。实体预测结果如表VIa所示。我们可以看到我们的模型总是优于基线。特别是，我们的模型在WN18RR和NELL-995.v4系列数据集的基础上取得了很大的改进。三重分类的结果见表VIb。虽然我们的模型不是被主导的，但它们仍然是次优的或与次优相当的。这些结果表明了我们的关系消息传递网络相对于这些主要依赖实体进行消息传递的基线的优越性。此外，考虑到在三重分类任务中改进空间较小(即AUC-PR值在大多数情况下大于90%，接近100%)，我们更倾向于在更具挑战性的实体预测任务中声明我们的优势

Ablation Studies 

不同的组件:

通过比较RMPI的变体，我们研究了单跳邻域聚合在披露子图(NE)和目标关系感知邻域注意在消息传递(TA)中的贡献。首先，对于NE，我们发现RMPI-NE在完全归纳KGC情况下的大多数情况下改进了RMPI-base，特别是在与Random Initialized完全不可见关系的测试中，说明来自公开图的额外输入为预测提供了更多的图模式。

不同情况下的改进是不同的，这可以归因于数据集及其预测三元组。来自外围子图的信息有时足以做出合理的预测。在部分归纳的情况下，在大多数情况下，无论是实体预测还是三重分类，RMPI-NE和RMPI-NE- TA分别优于RMPI-base和RMPI-TA，如表VIa和表VIb所示。特别是对于WN18RR派生基准的实体预测，当许多负三元组和相当一部分正三元组的封闭子图为空时，NE发挥了显著的积极作用，例如RMPI-NE- TA(RMPI-NE resp.)比RMPI-TA (RMPI-base resp.)平均提高7.85% (7.40% resp.)。综上所述，通过NE，disclosing graph能够在封闭子图不存在时提供判别特征，在封闭子图存在时提供互补语义。

其次，我们通过比较RMPI-base和RMPI-TA、RMPI-NE和RMPINE-TA来验证TA的有效性。从表VIa和表VIb中，我们可以观察到，带有TA的变体在大多数情况下表现更好。例如，在FB15k-237基准上，RMPI-TA对实体预测的平均改进为1.41%，RMPI-NE- TA对RMPI-NE的平均改进为1.81%。在三级分类上，相应的改进分别为0.84%和0.89%。这些结果表明，与目标关系相比，有必要考虑不同相邻关系的重要性，特别是对于那些超过一跳的关系。然而，这种机制可能不适用于某些数据集，如NELL-995.v4。这可能是因为一些对推理很重要的远距离关系被过滤掉了，因为它们与目标关系的相关度较低。未来，我们将研究更稳健的TA机制。

Different Fusion Functions

为了整合来自封闭子图和公开子图的信息，我们设计了基于和的融合函数(15)和基于拼接的融合函数(16)。这两个函数都可以改进我们的模型以获得更好的性能(参见RMPI-NE的分析)。表七给出了这两个函数在不同情况下的结果，以供比较。我们可以发现，更好的函数会因数据集、设置和任务的不同而不同。在未来，我们将研究更健壮的融合函数，可以推广到不同的情况。

Ontological Schemas

在完全归纳的KGC中，来自本体模式的额外关系语义一致地提高了RMPI的性能。在部分归纳KGC中，我们还研究了使用本体论模式的影响。在从NELL-995派生的两个基准测试上，我们的模型和基线TACT-base(包含或不包含模式)的结果如表VIII所示。我们可以观察到，在大多数情况下性能都得到了增强，特别是对于基于NELL-995.v4的TACT-base。这是对NELL-995的巨大改进。V4可能是由于关系的紧密相关性。TACT-base仅对关系关联部分进行建模，而本体模式为其提供了相对重要的互补关系语义。这些结果都说明了从本体图式出发利用外部关系语义的重要意义。

Case Studies

在图4中，我们给出了两个要预测的正目标三元组，以及它们的包围子图，它们的邻域关系，以及不同模型预测的它们的得分。第一个例子包括coach won trophy。基于RMPI-based的预测比TACT-base的预测更高的分数，基于模式增强的基于RMPI的预测最高的分数。我们可以看到，在邻居中既有可见的关系，也有不可见的关系，而我们的模型在进行推理时更加稳健。当参考本体图式，将可见关系和不可见关系通过域关系和范围关系等连接到一些共享的概念上时，可以找出不可见关系的真正含义，并暴露出更多的空间进行推理，从而提高了TACT-base和RMPI-base的预测得分。 

从第二个例子中，我们可以看到一跳相邻关系/music/genre/parent_genre和/music/genre/artists的信息足够多，可以做出决定，即属于子音乐类型的艺术家也被父音乐类型标记，而两跳相邻关系是吵闹的，以便协作。因此，TACT-base在预测它方面比RMPIbase表现得更好。然而，应用于RMPI-TA的目标关系感知注意机制通过突出显示远程邻域的关系并过滤那些有噪声的关系来提高第二个三元组的得分。

5.相关工作

5.1Transductive Knowledge Graph Completion

现有的KG补全方法通常为每个实体和关系分配一个唯一的向量，并使用观察到的三重事实训练它。在评估过程中，在测试三元组中查找实体和关系的嵌入来对其合理性进行评分。根据评分方式，这些方法可以分为三类:基于翻译的方法，如TransE[5]、TransH[37]和RotatE[27]，基于语义匹配的方法，如DistMult[41]和ComplEx[30]，以及基于神经网络的方法，如ConvE[12]。最近，受图神经网络(gnn)在处理图结构化数据方面的巨大成功的启发，一些研究采用关系感知的gnn作为强大的编码器来编码KGs中包含的结构信息。典型的实践包括RGCN [25]， CompGCN[31]等。所有这些模型都显示了它们捕获KGs中复杂语义模式的能力，并在转导设置中实现了最先进的完成结果。然而，它们无法完成包含不可见实体和/或从未在用于训练的三元组中出现过的关系的三元组.

5.2Inducitve Knowledge Graph Completion

5.2.1Partially Inductive

部分归纳KGC设置处理不可见的实体或不可见的关系。已经提出了几种归纳KGC方法来学习不同设置[8]下不可见实体的嵌入。

其中一方面使用实体的侧信息，如文本和图像作为附加输入[7]，[26]，[38]，[39]。例如，为了与文本信息结合，早期的工作首先学习每个实体的连续文本嵌入，例如，对预训练的单词嵌入[26]进行平均，或对其名称或描述中的标记应用深度卷积神经模型[38]，然后映射文本嵌入，与传统的转换KGC方法学习的几何嵌入一起计算三重得分。因此，利用学习到的映射，可以得到不可见实体的嵌入。最近的一些研究直接利用文本侧信息来预测三元组，而不是学习两种表示。例如，KG-BERT[43]和StAR[33]建立在预先训练的语言模型(如BERT)之上，将KGC建模为下游序列分类任务，主要利用实体的文字标签或描述。

另一行作品考虑了一个新兴实体的几个辅助三元组。这些三元组将新出现的实体链接到KG已知的已见实体，并作为计算其嵌入的上下文。例如，Hamaguchi等人[16]应用了一个强大的GNN，通过聚合所有邻近的已知实体来生成一个新实体的嵌入。后续的[3]，[4]，[35]提出了不同的邻域聚合函数来优化这一过程。

与上述依赖实体侧信息或辅助三元组的工作不同，通过从KG中推导概率逻辑规则，仅基于现有的图结构处理不可见实体，这些规则捕获实体无关的关系语义，归纳为[20]，[21]，[24]，[42]。特别是Teru等人[28]提出了GraIL，其目的是以实体无关的方式对候选三元组周围的封闭子图进行推理，隐式推导出逻辑规则。后续工作通过引入关系[6]之间的拓扑相关性或以节点-边缘交互方式优化消息传递[19]来改进这一过程。而在本文中，我们关注关系的信息，通过关系消息传递来预测三元组。

但上述方法主要针对不可见的实体，要求所有测试关系在训练阶段已被看到。也有一些作品是针对看不见的关系。例如，ZSGAN[23]和OntoZSL[14]利用生成对抗网络(GANs)对以其侧信息为条件的不可见关系(如文本描述和本体模式)合成有效的归纳嵌入。然而，它们也是部分归纳的约束条件，即每个出现在测试集中的实体都在训练期间出现过(即，所有的实体都被看到)。

5.2.2Fully Inductive

完全归纳的KGC设置旨在同时处理不可见的实体和不可见的关系。这样的设置在涉及到kg时非常常见，但更具有挑战性，而且相对来说开发不足。其中一种是对基于文本的部分归纳方法的简单扩展，它为不可见的关系提供文本信息，就像对不可见的实体[33]一样。然而，大量文本资源的额外计算成本，特别是使用大规模预先训练的语言模型，实际上是一个严重的关闭。

另一个与我们更相关的工作是MaKEr[9]，这是一种同样依靠局部图结构来处理不可见实体和不可见关系的方法。与MaKEr中使用的基于元学习的框架相比，本文使用消息传递网络对候选三元组的封闭子图进行推理。此外，MaKEr实际上要求局部邻域中的一部分关系是可见的，并且只支持半不可见关系的测试设置。相反，我们的方法可以支持这种设置以及另一种更具挑战性的设置，即使用完全不可见的关系进行测试，其中局部子图中的所有关系都是不可见的。

6.结论与展望

在本文中，我们提出了一种用于基于子图的归纳推理的关系消息传递网络RMPI，它关注局部子图中的关系，直接在关系之间迭代传递消息来推断KG中缺失的三元组。它不仅支持只包含不可见实体的部分归纳KGC，还支持同时包含不可见实体和不可见关系的更具挑战性的完全归纳KGC。为了实现RMPI，我们提出了一种有效的图修剪策略来提高推理效率;Ii)应用目标关系感知的邻域注意机制，利用关系图的边缘类型更好地聚合邻域特征;Iii)利用周围公开子图的判别特征来处理空的封闭子图;(4)注入KG的本体图式，使关系语义更加丰富。在评估中，我们在许多不同的基准上进行了大量的实验，这些基准采用最先进的或典型的部分归纳和完全归纳KGC方法，包括TACT、MaKEr、GraIL、CoMPILE等。RMPI通常能取得比基线更好的性能，其技术组件的有效性，如本体模式的注入、目标关系感知的邻域注意机制、对公开子图的聚合等都得到了充分的验证。

未来，我们计划在以下几个方面进行研究:1)开发更健壮的解决方案来集成归纳KGC的本体模式;2)从实体中收集不可忽略的推理线索，用于传递关系消息;3)使用可见和不可见实体对完全归纳KGC进行更全面的评价。