论文阅读《2022ICLR:Are Message Passing Neural Networks Really Helpful for Knowledge Graph Completion? 》

论文链接

工作简介

最近有关知识图谱补全的工作都集中在使用图神经网络来学习实体、关系的嵌入。

基于 GNN 的模型带来的改进归因于增强的信息聚合过程。因此目前关于为 KGs 开发更好的 GNN 的研究仍然主要集中在推进信息聚合过程。

作者发现:基于 GNN 的模型中的信息聚合过程并不是所报告的KGC性能改进的最关键原因

具体来说,作者用简单的多层感知器(MLPs)替换了几个最先进的以 KGC 为重点的GNN模型中的信息聚合过程,并在各种数据集和实现中实现了与其相应的基于 GNN 的模型相当的性能。

结果表明,评分损失函数确实有更强的影响,而信息聚合过程几乎没有贡献

与基于GNN的模型相比,基于MLP的方法在训练和推理过程中具有更高效的优势,因为它们不涉及昂贵的聚合操作。

论文阅读《2022ICLR:Are Message Passing Neural Networks Really Helpful for Knowledge Graph Completion? 》_第1张图片

 相关工作 – KGC中的聚合过程与评分函数

本文研究了三种具有代表性的基于 GNN KGC 模型,即 CompGCN[1]RGCN[2]KBGAT[3]

与传统 GNN 模型一样,这些模型堆叠多层以迭代地聚合整个 KG 中的信息。每个中间层将前一层的输出作为输入,最后一层的最终输出作为学习到的嵌入。除了实体嵌入,一些基于 GNN 的模型也学习关系嵌入。

RGCN 用特定关系的转换矩阵聚合邻域信息。

CompGCN 定义了基于方向的变换矩阵,并引入关系嵌入来聚合邻域信息。引入组合算子来组合嵌入以利用实体-关系信息。

KBGAT 通过同时考虑实体嵌入和关系嵌入,提出了基于注意力的聚合过程。

GNN聚合层获得最终的嵌入后,相应的实体关系嵌入被用作评分函数的输入。可以采用各种评分函数。

两种广泛使用的评分函数是 DistMult[4] ConvE[5]

论文阅读《2022ICLR:Are Message Passing Neural Networks Really Helpful for Knowledge Graph Completion? 》_第2张图片

DistMultf_"DistMult" 中的Rr是关系R的对角阵。

ConvE将头嵌入与关系嵌入馈送到卷积层中,然后他们被重塑回一个向量,该向量用尾部嵌入来生成一个分数。

相关工作 – KGC中的损失函数

为了训练GNN模型,KGC任务通常被认为是一个二分类任务。损失函数使用二进制交叉熵(Binary cross-entropy, BCE)

论文阅读《2022ICLR:Are Message Passing Neural Networks Really Helpful for Knowledge Graph Completion? 》_第3张图片

RGCNCompGCNKBGAT之间在三个主要组件方面的主要差异如下:

1.聚合。它们的信息聚合过程是不同的。

2.得分函数。他们采用不同的评分功能。RGCN采用DistMult评分函数,而CompGCNKBGAT采用ConvE取得了最好的性能。

3.损失函数CompGCN利用KG中的所有实体作为负样本进行训练,而RGCN采用负采样策略,仅选择一部分实体作为真负样本进行训练。对于KBGAT,我们也利用所有实体来构造负样本,类似于CompGCN

实验-聚合真的对KGC有帮助吗

实验一:保持其他组件不动,用一个简单的MLP替换它们的聚合组件(?),该MLP与相应的基于GCN的模型具有相同的层数和隐藏维度。

论文阅读《2022ICLR:Are Message Passing Neural Networks Really Helpful for Knowledge Graph Completion? 》_第4张图片

 论文阅读《2022ICLR:Are Message Passing Neural Networks Really Helpful for Knowledge Graph Completion? 》_第5张图片

 实验-评分函数的影响

实验二:在原始设置中,CompGCNKBGAT使用ConvE作为评分函数,而RGCN采用DistMult。在表1中,我们进一步展示了CompGCNKBGAT使用DistMultRGCN使用ConvE的结果。(不更改其他设置)

论文阅读《2022ICLR:Are Message Passing Neural Networks Really Helpful for Knowledge Graph Completion? 》_第6张图片

评分函数的选择对模型性能有很强的影响。此外,这种影响取决于这些方法应用到的特定数据集。

评分函数并不是影响模型性能的唯一因素。

实验-损失函数的影响

实验三:在原始设置中,CompGCN, RGCNKBGAT采用了BCE损失。损失函数的主要区别在于,CompGCNKBGAT利用了所有负样本,而RGCN采用了抽样策略,随机选择10个负样本进行训练。为了方便起见,我们使用w/o采样和with采样来表示这两种设置,并研究这两种设置如何影响模型性能。

论文阅读《2022ICLR:Are Message Passing Neural Networks Really Helpful for Knowledge Graph Completion? 》_第7张图片

 不可否认,仅使用10个负样本被证明是不够的。

实验-损失函数的影响

实验四:研究负样本数量如何影响模型性能。

论文阅读《2022ICLR:Are Message Passing Neural Networks Really Helpful for Knowledge Graph Completion? 》_第8张图片

将负样本的数量从10增加到一个更大的数字,对所有方法都是有帮助的。

为了获得强大的性能,没有必要利用尽可能多的负样本。

实验- MLP-ensemble模型

实验五:研究了具有不同评分和损失函数组合的基于mlp的模型的性能。具体来说,采用DistMultConvE作为评分函数。对于每个评分函数,尝试了损失函数的with采样和w/o采样设置。

论文阅读《2022ICLR:Are Message Passing Neural Networks Really Helpful for Knowledge Graph Completion? 》_第9张图片

结果:

1.聚合组件对于KGC来说可能是不 必要的。基于mlp的模型可以达到与GNN模型相当甚至更强的性能。

2.评分和损失函数在基于mlp的方法的KGC性能中发挥着至关重要的作用。同时,它们的影响因数据而异。

3.表中的MLP-best表示表4中基于mlp的单个方法的最佳性能。从表中,可以清楚地观察到,MLP-best可以取得与基于GNN的方法相当甚至略好的性能。此外MLP-ensemble可以获得比基于MLP的最佳个体方法和基于GNN的模型更好的性能。这表明,这些评分和损失函数是潜在互补的,因此,即使是简单的集成方法也可以产生更好的性能。

引用:

[1] Vashishth S, Sanyal S, Nitin V, et al. Composition-based multi-relational graph convolutional networks[J]. arXiv preprint arXiv:1911.03082, 2019.

[2] Schlichtkrull M, Kipf T N, Bloem P, et al. Modeling relational data with graph convolutional networks[C]//The Semantic Web: 15th International Conference, ESWC 2018, Heraklion, Crete, Greece, June 3–7, 2018, Proceedings 15. Springer International Publishing, 2018: 593-607.

[3] Nathani D, Chauhan J, Sharma C, et al. Learning attention-based embeddings for relation prediction in knowledge graphs[J]. arXiv preprint arXiv:1906.01195, 2019.

[4]Yang B, Yih W, He X, et al. Embedding entities and relations for learning and inference in knowledge bases[J]. arXiv preprint arXiv:1412.6575, 2014.

[5] Dettmers T, Minervini P, Stenetorp P, et al.Convolutional 2d knowledge graph embeddings[C]//Pro -ceedings of the AAAI conference on artificial intelligence. 2018, 32(1).

你可能感兴趣的:(#,知识图谱,深度学习,人工智能,机器学习,python,知识图谱,论文阅读,算法)