TransE 论文笔记

- Abstract

在低位向量空间中，嵌入多关系数据的实体与关系。提出一个规范模型，易于训练，包含较少的参数，并且可以扩展到非常大的数据库。TransE就是在低维嵌入中，一种通过对实体进行翻译来建模关系的方法。

- Background

聚类算法和矩阵分解算法在单一关系模型上有着非凡的共性，基于这两种方法，因此现有的多种关系模型方法，也是在设计在隐藏参数的关系学习的框架中。例如隐变量模型、能力模型、张量分解模型、矩阵分解模型等。

许多最新的方法都集中在提高模型的表达性和通用性，以学习在低维空间中嵌入实体。这些模型的更大的表达性是以模型复杂性的大幅增加为代价的，这导致了难以解释的建模假设和更高的计算成本。此外，这种方法可能会受到过度拟合的影响，因为这种高容量模型的适当正则化很难设计。

事实上，[A semantic matching energy function for learning with multi-relational data]显示了一个更简单的模型(线性而不是双线性)在几个具有相对大量不同关系的多关系数据集上取得了几乎与最有表达能力的模型一样好的性能。这表明，即使在复杂和异构的多关系领域中，简单而适当的建模假设也可以在准确性和可伸缩性之间做出更好的权衡。

- ALgorithm

得分函数：
f(h,t)=||h+r-l||^2

损失函数：


the set of corrupted triplets, constructed according to Equation 2, is composed of training triplets with either the head or tail replaced by a random entity (but not both at the same time).

- Experiment

Wordnet知识库中选取部分数据WN，Freebase知识库中抽取两部分数据集（实验集FB15k，测试集FB1M）
关于知识表示学习中链接预测的评测指标的说明（Mean Rank 和 Hits@10，Raw和Filter）【https://blog.pcninja.cn/2020/08/evaluation-indices-of-link-prediction/】
Mean Rank: 排名的平均值（越小越好）
Hit@10: 排名在前10所占的比例（越大越好）

实验分析：
所有关系分为一对一、一对多、多对一、多对多四大类，分别统计Hit@10。

结果显示：
1.SME多对一的关系在预测尾实体时性能最好，一对多的关系在预测头实体时性能最好；
2.Unstructured模型只在一对一的情况下表现良好；
3.SME模型在某些情况下性能比TransE更好，这是因为训练数据更多。
预测结果展现：
作者展现了用头实体都能预测出哪些尾实体（斜体表示正确的预测）。
泛化能力：
实验表明，TransE泛化效果最好。

- Conclusion

TransE模型最大的优势在于其简单、容易扩展。

但缺点也很明显，比如存在多个实体在embedding空间中竞争一个点的情况，不适合处理一对多或多对多的关系，并且完全没有考虑语义信息，因而后来产生了一系列模型对TransE进行改进。
代码解释：
https://blog.csdn.net/qq_34687559/article/details/108361989