Mask and Reason: Pre-Training Knowledge Graph Transformers for Complex Logical Queries

Mask and Reason: Pre-Training Knowledge Graph Transformers for Complex Logical Queries

KGE缺点：由于其固有的浅层和静态架构的限制，他们很难处理日益增长的复杂逻辑查询，这些逻辑查询包括逻辑运算符，计算边缘，多个源实体和未知的中间实体。

EPFO逻辑查询

与KGE相比，它是多跳的，其面对如下两个挑战：
1，随着跳数的增加，其查询的复杂度也是呈指数级增加的。
2，现有的EPFO推理器以一个监督方式被限制在少数类型查询和有限数量的样本上直接训练，因此推理器被禁止掌握超出现有类型所能表达的各种形式和更大范围的知识，从而损害了普遍性。
kgTransformer——是一个基于Transformer的GNN——解决知识图谱上的EPFO查询。

将transformer用于知识图谱中有两个问题：

1，如何在图结构中对节点邻接进行编码。
解决方法：通常将图视为具有位置编码的标记序列，忽略领接矩阵。
2，如何建模实体和关系。
解决方法：Triple Transformer，将关系转换为关系节点，最终将知识图谱转换为没有边属性的有方向图。
该方法的具体操作如下：

kgTransformer的结构详解

在第K层的kgTransformer中


通过MOE策略来利用kgTransformer的稀疏性，MOE首先将大的FFN分解成小的块，然后利用light gating network来选择参与计算的experts.

为了进一步提高kgTransformer的可扩展性，作者提出了掩码预训练和微调策略。
掩码预训练分为两步：
1，Dense Initialization: 通过在密集和任意形状的上下文中进行训练来丰富模型。该阶段的目标是通过在密集和大样本子图上进行掩码预训练，使kgTransformer具备KGs中的一般知识。该阶段使用两个基于随机游走的策略在原始的知识图谱训练集上采样，一个是RWR，一个是基于树的RWR。密集初始化阶段寻求优化：

2，Sparse Refinement: 在稀疏和干净的元图上进行训练，以减轻预训练和下游查询之间的差距。该阶段的目标是通过对通常稀疏且较小的EPFO查询使用元图采样来进一步增强模型的容量。

微调
每个查询的微调损失函数公式为：

我们首先在所有可能的下游训练集上联合微调kgTransformer,然后针对每个任务对其进行微调。

本篇论文核心思想概括图：