huihui冲啊
huihui冲啊

论文阅读2 Learning Hierarchy-Aware Knowledge Graph Embeddings for Link Prediction

目录

问题

创新

1、Introduction

2、相关工作

3、HAKE模型

原文：[1911.09419] Learning Hierarchy-Aware Knowledge Graph Embeddings for Link Prediction (arxiv.org)

问题

现有的知识图嵌入模型主要关注对称/反对称、反转和复合symmetry/antisymmetry, inversion, and composition等关系模式的建模。然而，许多现有的方法无法对语义层次结构建模。

创新

提出HAKE——将实体映射到极坐标系统中。径向坐标的目的是在层次结构的不同层次上建模实体，而半径较小的实体被期望在更高的层次上;角坐标的目的是区分处于同一层次的实体，这些实体应该具有大致相同的半径，但角度不同。

1、Introduction

知识图通常是事实三元组(头实体、关系、尾实体)的集合，它们以结构化的方式表示人类知识，在NLP、知识问答、推荐系统上很成功

尽管KG包含许多三元组，但存在不完整问题，手动查询有效三元组不切实际，知识图补全，也就是知识图中的链接预测，近年来备受关注。链接预测的目的是根据已知的链接自动预测实体之间缺失的链接，不仅需要预测两个实体之间是否存在关系，还需要确定是哪种关系。

受词汇嵌入启发，研究人员转向知识图嵌入处理链接预测问题，嵌入低维，可以有效存储和计算，可以保留实体和关系的语义和固有结构，知识图嵌入还可以用于各种下游任务，如三重分类、关系推理和搜索个性化。

知识图嵌入模型的成功在很大程度上依赖于它们对关系的连通性模式建模的能力，如对称/反对称、反转和组合。TransE 可以对反转和组合模式建模。DistMult对头部实体、关系和尾部实体之间的三方交互进行了建模，可以对对称模式进行建模。RotatE将实体表示为复杂空间中的点，将关系表示为旋转，可以建模包括对称/反对称、反转和组合在内的关系模式。然而，现有的许多模型无法对知识图中的语义层次结构进行建模。

语义层次信息普遍存在。有一些方法考虑到了等级结构，但仍需要额外的数据或过程来获取层次结构信息，因此如何能够自动和有效地对语义层次结构建模。

本文工作：

提出了一种新的知识图谱嵌入模型——层次感知知识图嵌入HAKE，为了建模层次结构模型，要区分两类实体：(a)层次结构的不同level。使用模信息对此类实体建模 (b)同一level下的不同entity。这种实体模是相同的，使用相位信息建模区分

2、相关工作

在模型类别和在知识图中建模层次结构进行区分

(1）模型类别

(a)平移距离模型:将关系描述为从源实体到目标实体的转换

(b)双线性模型:基于乘积的评分函数，以匹配实体的潜在语义和在它们的向量空间表示中体现的关系

RESCAL(关系矩阵满秩容易过拟合)；DistMult假设Mr是一个对角矩阵、ANALOGY假设Mr是归一化的(表达能力不足)；ComplEx通过引入复值嵌入来扩展DistMul，提高表达能力

(c)基于神经网络的模型

MLP、NTN、ConvE、GCN

HAKE属于平移距离模型。更具体地说，HAKE与RotatE有相似之处，但目标不同，对模信息的使用也不同

(2）知识图中建模层次结构。

本文(a)考虑了链接预测任务，这是知识图嵌入中更常见的任务;(b)可以不使用聚类算法自动学习知识图的语义层次;(c)不需要知识图中除了三元组以外的任何附加信息。

3、HAKE模型

HAKE模型由两部分组成——模量部分和相位部分

论文阅读2 Learning Hierarchy-Aware Knowledge Graph Embeddings for Link Prediction_第1张图片

用e_{m} (e可为h或t)和r_{m}表示模部分的实体嵌入和关系嵌入，用e_{p} (e可为h或t)和r_{p}表示相位部分的实体嵌入和关系嵌入

1、模量部分

把h_{m}和t_{m}的每一项，即[h_{m}]_{i}和[t_{m}]_{i}，看作一个模数，把r_{m}的每一项，即[r_{m}]_{i}，看作两个模数之间的尺度变换。可以将模部分表示为:

论文阅读2 Learning Hierarchy-Aware Knowledge Graph Embeddings for Link Prediction_第2张图片

2、相位部分

具体来说，我们把h_{p}和t_{p}的每一个入口，即[h_{p}]_{i}和[t_{p}]_{i}看成一个相位，把r_{p}的每一个入口，即[r_{p}]_{i}看成一个相位变换。可以将相位部分表述如下：

结合模量部分与相位部分可以得出得分函数：

论文阅读2 Learning Hierarchy-Aware Knowledge Graph Embeddings for Link Prediction_第3张图片

发现加入混合偏差项有利于提高模型性能：

论文阅读2 Learning Hierarchy-Aware Knowledge Graph Embeddings for Link Prediction_第4张图片

损失函数为带有自对抗训练的负采样损失函数：

论文阅读2 Learning Hierarchy-Aware Knowledge Graph Embeddings for Link Prediction_第5张图片

你可能感兴趣的:(论文阅读,论文阅读)

按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他