Meta-Learning Based Knowledge Extrapolation for Knowledge Graphs in theFederated Setting

摘要

我们研究了知识外推问题，以便在联合设置中嵌入新的组件(即实体和关系)，这些组件伴随着新出现的知识图(kg)。在这个问题中，在现有KG上训练的模型需要嵌入一个具有不可见实体和关系的新兴KG。为了解决这个问题，我们引入了元学习设置，其中在现有KG上采样一组任务，以模拟新兴KG上的链接预测任务。基于采样任务，我们元训练了一个图神经网络框架，该框架可以基于结构信息和输出嵌入为不可见组件构建特征。实验结果表明，我们提出的方法可以有效地嵌入不可见的组件，并且优于直接使用传统KG嵌入方法的KG和基线考虑感应设置的模型。

通常情况下，一个新兴KG的链接预测任务可以看作是基于另一组支持三元组预测一组查询三元组的可信度，如图1所示。为了处理新兴KG中不可见的组件，受到元学习带来的“学会学习”能力的启发[Santoro et al, 2016]，我们制定了一组由现有KG上的支持三元组和查询三元组组成的任务来模拟新兴KG中的链接预测任务，并学习在每个任务中嵌入不可见的组件。此外，我们提出了一个图形神经网络(GNN)框架，可以基于任务的支持三元组嵌入可见和不可见的组件。该模型主要包含三个模块:1)关系特征表示模块，由三元组构造关系位置图(RPG)，揭示关系之间的相对位置，并在此基础上构造关系特征;2)实体特征表示模块，我们使用实体及其邻居之间的连接来表示它们的特征;3)对可见和不可见组件进行特征编码并输出嵌入的GNN，以实现知识外推。

该模型在从现有KG采样的任务上进行元训练，并学习为任务嵌入不可见组件的能力;因此，学习的模型可以推广到一个新兴的有不可见成分的KG。为了评估我们的方法，我们在联邦设置中引入了用于知识外推的数据集，这些数据集是从KG基准测试中采样的。评估结果表明，我们的方法优于仅考虑KGs归纳设置下的不可见实体的模型，以及基于传统