Learning Hierarchy-Aware Knowledge Graph Embeddings for Link Prediction论文阅读

摘要

知识图嵌入旨在将实体和关系表示为低维向量，已被证明是一种预测知识图中缺失链接的强大技术。现有的知识图谱嵌入模型主要侧重于对对称/反对称、反转和组合等关系模式进行建模。然而，许多现有的方法无法对语义结构层次进行建模。为了应对这一挑战，这篇文章提出了层次感知知识图嵌入HAKE，它将实体映射到极坐标系中。HAKE的灵感来自于极坐标系中的同心圆可以自然地反映层次结构这一事实。径向坐标旨在对层次结构中不同级别的实体进行建模，半径较小的实体预计位于较高级别；角坐标旨在区分层次结构中同一级别的实体，这些实体预计具有大致相同的半径但不同的角度。

介绍

尽管常用的知识图谱包含数十亿个三元组，但仍存在许多有效三元组缺失的不完整性问题，因为手动找到所有有效三元组是不切实际的。因此，知识图谱补全，也称为知识图谱中的链接预测备受关注。链接预测旨在根据已知链接自动预测实体之间的缺失链接。受词嵌入能够很好地捕捉单词的语义含义的启发，研究人员转向知识图的分布式表示（又叫知识图嵌入）来处理链接预测问题。知识图嵌入将实体和关系视为低维向量。知识图嵌入可以保留实体和关系的语义和固有结构。除了链接预测任务外，知识图嵌入还可以用于各种下游任务。现有的知识图嵌入模型的成功很大程度上依赖于它们对关系的连接模式进行建模的能力，例如对称、反对称、反转和组合。为了对语义层次结构进行建模，HAKE有望区分两类实体：（a）在层次结构的不同级别；（b）在同一级别。受具有层次属性的实体可以被视为一棵树这一事实的启发，可以使用节点（实体）的深度来对层次结构的不同级别进行建模。因此，使用模数对类别（a）中的实体进行建模，因为模数的大小可以反映深度。在上述设置下，类别（b）中的实体将具有大致相同的模数，难以区分。受同一圆上的点可以具有不同相位（角度）这一事实的启发，使用相位信息对类别（b）中的实体进行建模。结合模和相位信息，HAKE将实体映射到极坐标系中。

模型

首先采用了如下运算：（实际上就是对应元素相乘）

符合说明：$e_m$和$r_m$表示在模数部分的实体嵌入和关系嵌入，$e$可以是$h$或者$t$。$e_p$和$r_p$表示在相位部分的实体嵌入和关系嵌入，$e$可以是$h$或者$t$。

modulus part 模数部分

相应的距离函数如下：

作者提到允许实体嵌入的每一项可以为负，但限制关系嵌入的每一项为正。这是因为实体嵌入的符号可以帮助我们预测两个实体之间是否存在关系。例如：如果h和t1之间存在关系r，h和t2之间没有关系，则(h,r,t1)是一个正样本，(h,r,t2)是一个负样本。目标是要最小化$d_r(h_m,t_{1,m})$最大化$d_r(h_m,t_{2,m})$，从而明确区分正样本和负样本。对于正样本$[h{]}_i$、$[t_1{]}_i$倾向于共享相同的符合，因为$[r_m{]}_i>0$。对于负样本，如果任意初始化$[h_m{]}_i$、$[t_{2,m}{]}_i$的符号，它们的符合是不同的。用这种方式，$d_r(h_m,t_{2,m})>d_r(h_m,t_{1,m})$。

phase part 相位部分

旨在对同一层级中的实体的语义层次进行建模。
相应的距离函数如下：

由于相位具有周期性，因此采用sin函数建模距离函数。

模数与相位的结合

HAKE将实体映射到极坐标系，半径和角度对应模数和相位。实体h可以表示为$[h_m;h_p]$，$[;]$代表拼接。将HAKE公式化为：

相应的距离函数为：

相应的评分函数为：
$$f_r(h,t)=-d_r(h,t)$$

改进

作者发现对$dr,m(h,t)$添加一个混合偏差会提高模型的表现。因此距离的计算更新为：

损失函数

为了训练模型，采用负采样损失函数和自我对抗训练：

其中$(h_i^{\prime },r,t_i^{\prime })$是负样本。它们的权重计算如下：（总的来说就是得分越高的权重越大）