【论文精读】Knowledge Graph Embedding by Translating on Hyperplanes

年份	2014
第一作者单位	中山大学
benchmark datasets	WordNet and Freebase
task	link prediction, triplet classification and fact extraction
梯度下降方式	SGD
three tasks	link prediction,triplets classification,relational fact extraction
评价指标	MR Hits@10

专属名词

the normal vector	法向量

0 摘要

我们处理了将一个由实体和关系组成的大规模知识图嵌入到一个连续的向量空间中。TransE是最近提出的一种很有前途的方法，它非常高效，同时实现了最先进的预测性能。讨论了嵌入中需要考虑的关系的映射性质，如自反、一对多、多对一和多对多。我们注意到TransE在处理这些属性方面表现不佳。一些复杂的模型能够保留这些映射属性，但在这个过程中牺牲了效率。为了在模型性能和效率之间进行良好的权衡，本文提出了TransH，它将一个关系建模为一个超平面，并对其进行平移操作。这样，我们就可以很好地保持上述关系的TransE的映射性质。此外，由于实用知识图往往远未完成，如何构建阴性例子来减少训练中的假阴性标签是非常重要的。利用一个关系的一对多/多对一的映射特性，我们提出了一个简单的技巧来减少假阴性标记的可能性。我们在WordNet和Freebase等基准数据集上进行了链接预测、三重分类和事实提取的广泛实验。实验表明，TransH比TransE在预测精度上有了显著的改进，并且具有相当的扩展能力。

1 Introduction

在过去的十年中，在构建大规模的知识图方面取得了很大的成就，然而，支持计算的一般范式仍然不清楚。两个主要的困难是：（1）知识图是一个符号和逻辑系统，然而应用通常涉及到连续空间中的数值计算；（2）很难在一个图上聚合全局知识。

这促使我们提出一种方法，在模型的复杂性和效率之间进行良好的权衡，从而在继承效率的同时克服TransE的缺陷。
在本文中，我们首先分析了自反/一对多/多对一/多多关系的变换问题。因此，我们提出了一种超平面平移(TransH)方法，该方法将关系解释为超平面上的平移操作。

3 Embedding by Translating on Hyperplanes

3.2 Translating on Hyperplanes (TransH)

为了克服TransE在reflexive/one-to-many/many-to-one/many-to-many关系建模中的问题，我们提出了一个模型，使一个实体在涉及不同关系时具有分布式表示。
如图1所示，对于一个关系r，我们将具有特定关系的平移向量dr定位在具有特定关系的超平面wr（法向量）中，而不是定位在实体嵌入的同一空间中。
具体来说，对于一个三元组(h，r，t)，嵌入的h和t首先被投影到超平面wr上。投影分别记为h⊥和t⊥。如果(h，r，t)是一个正确的三元组，我们期望h⊥和t⊥可以在超平面上通过一个平移向量dr连接，且误差较小。因此，我们定义了一个评分函数||h⊥+dr−⊥k||22来衡量三元组不正确的合理性。

3.3 Reducing False Negative Labels

当破坏三元组时，我们设置了不同的概率来替换头或尾实体，这取决于关系的映射属性，即一对多、多对一或多对多。

• 如果关系是一对多的，我们往往有更多的机会替换头部实体
• 如果关系是一对多的，我们往往有更多的机会替换尾部实体
  首先，统计每个头部实体的尾部实体的平均数，记作tph
  尾部实体的头部实体的平均数量，记作hpt

4 Experiments

4.1 Link Prediction

该任务是完成一个缺少h或t的三重组（h、r、t），即，给定的（h、r）预测t 或给定的h预测（r、t）。这个任务不需要一个最佳答案，而是更强调从知识图中对一组候选实体进行排序。
使用的数据集：WN18 FB15K
评估协议
我们遵循TransE(Bordesetal.2013b)中遵循的相同协议：对于每个测试三元组(h，r，t)，我们将尾部t替换为知识图中的每个实体e，并计算在已损坏的三元组(h，r，e)上的不同分数(根据评分函数fr)。将分数按升序排序，然后得到原始正确的三元组的排名。类似地，我们可以通过破坏头部h来得到(h，r，t)的另一个排名分数。在所有的测试三元组中，报告了两个指标：平均排名(表示为Mean)和排名不大于10的比例(表示为Hits@10)。这被称为“raw原始”设置。
请注意，如果知识图中存在一个损坏的三元组，因为它也是正确的，那么将它放在原始三元组之前并不是错误的。为了消除这个因素，我们在得到每个测试三元组的排名之前，去除那些存在于训练、有效或测试集中的已损坏的三联体。这个设置被称为“filt”。在这两种设置下，较低的平均值越好，而较高的Hits@10越好。
实现
由于数据集是相同的，我们直接从(Bordesetal.2013b)中复制了几个基线的实验结果。

α	{0.001, 0.005, 0.01}
margin γ	{0.25, 0.5, 1, 2}
embedding dimension k	{50, 75, 100}
weight C	{0.015625, 0.0625, 0.25, 1.0}
batch size B	{20, 75, 300, 1200, 4800}

最优参数由验证集确定。

• 用“unif”表示用等概率替换头或尾的传统方法
• 用“bern”表示通过用不同的概率替换头部或尾部来减少假阴性标签

4.2 Triplets Classification

这个任务是确认一个给定的三元组(h，r，t)是否正确，即对一个三元组的二进制分类。它在(Socheretal.2013)中被用于评价NTN模型。

4.3 Relational Fact Extraction from Text

略

5 结论

在本文中，我们引入了一种在连续向量空间中嵌入知识图的Transh模型。TransH在继承其效率的同时，克服了TransE存在的reflexive/one-to-many/many-to-one/many-to-many关系的缺陷。对链接预测、三元组分类和关系事实提取等任务的大量实验表明，TransH对TransE带来了良好的改进。本文提出的减少假阴性标签的技巧也被证明是有效的。