知识表示学习（三）：TransR

一.摘要

知识图谱补全旨在执行实体之间的链接预测。 在本文中，我们考虑了知识图嵌入的方法。 最近，诸如 TransE 和 TransH 等模型通过将关系视为从头实体到尾实体的翻译来构建实体和关系嵌入。 我们注意到这些模型只是将实体和关系放在同一个语义空间中。 事实上，一个实体可能有多个方面，各种关系可能集中在实体的不同方面，这使得公共空间不足以进行建模。在本文中，我们提出的TransR 在单独的实体空间和关系空间中构建实体和关系嵌入。 之后，我们通过首先将实体从实体空间投影到相应的关系空间，然后在投影实体之间建立翻译来学习嵌入。 在实验中，我们在三个任务上评估我们的模型，包括链接预测、三重分类和关系事实提取。 与包括 TransE 和 TransH 在内的最新基线相比，实验结果显示出显着且一致的改进。

二.背景介绍

知识图谱对实体的结构化信息及其丰富的关系进行编码。 尽管一个典型的知识图谱可能包含数百万个实体和数十亿个关系事实，但它通常还很不完整。 知识图谱补全旨在在现有知识图谱的监督下预测实体之间的关系。 知识图谱补全可以发现新的关系事实，是对纯文本关系抽取的重要补充。
知识图谱补全类似于社交网络分析中的链接预测，但由于以下原因更具挑战性：（1）知识图谱中的节点是具有不同类型和属性的实体； (2) 知识图中的边是不同类型的关系。 对于知识图谱补全，我们不仅要判断两个实体之间是否存在关系，还要预测关系的具体类型。
因此，传统的链接预测方法无法完成知识图谱。 最近，该任务的一种有前途的方法是将知识图嵌入到连续向量空间中，同时保留图的某些信息。 按照这种方法，已经探索了许多方法。在这些方法中，TransE 和 TransH 简单有效，实现了最先进的预测性能。TransE 背后的基本思想是，两个实体之间的关系对应于实体嵌入之间的转换，即当 (h, r, t) 成立时，h + r ≈ t。 由于 TransE 在建模 1-to-N、Nto-1 和 N-to-N 关系时存在问题，因此提出 TransH 以使实体在涉及各种关系时具有不同的表示。TransE 和 TransH 都假设实体和关系的嵌入在同一个空间中。 然而，一个实体可能有多个方面，各种关系集中在实体的不同方面。 因此，可以直观地看出，一些实体在实体空间中相似，因此彼此接近，但在某些特定方面却相对不同，因此在相应的关系空间中彼此相距甚远。 为了解决这个问题，我们提出了一种新方法，它在不同的空间，即实体空间和多个关系空间（即特定关系的实体空间）中对实体和关系进行建模，并在相应的关系空间中进行翻译，因此命名为TransR。
TransR 的基本思想如图 1 所示。对于每个三元组 (h, r, t)，实体空间中的实体首先通过操作 Mr 投影到 r 关系空间中作为 hr 和 tr，然后 hr + r ≈ tr。 特定关系投影可以使实际有关系的头/尾实体（表示为彩色圆圈）彼此靠近，也可以使那些没有关系的头/尾实体（表示为彩色三角形）彼此远离。

此外，在特定关系下，头尾实体对通常表现出不同的模式。 仅构建单个关系向量来执行从头到尾实体的所有翻译是不够的。例如，(location, contains, location)关系的头尾实体有多种模式，如国家-城市、国家-大学、大陆-国家等。 遵循分段线性回归的思想，我们通过将不同的头尾实体对聚类成组并为每个组学习不同的关系向量来扩展 TransR，称为基于聚类的 TransR（CTransR）。

三.TransR

为了解决 TransE 和 TransH 的表示问题，我们提出了 TransR，它表示由关系特定矩阵桥接的不同语义空间中的实体和关系。
TransE 和 TransH 都假设在同一空间内嵌入实体和关系。 但是关系和实体是完全不同的对象，它可能无法在一个共同的语义空间中表示它们。 尽管 TransH 通过使用关系超平面扩展了建模的灵活性，但它并没有完美地打破这个假设的限制。 为了解决这个问题，我们提出了一种新方法，它在不同的空间（即实体空间和关系空间）中对实体和关系进行建模，并在关系空间中进行翻译，因此被命名为 TransR。
在 TransR 中，对于每个三元组 (h, r, t)，实体嵌入设置为 h，t ∈ R^k，关系嵌入设置为 r ∈ R^d。注意，实体嵌入和关系嵌入的维度为 不一定相同，即 k != d。 对于每个关系 r，我们设置一个投影矩阵 Mr ∈R^k×d，它可以将实体从实体空间投影到关系空间。 使用映射矩阵，我们将实体的投影向量定义为:

对应的评分函数被定义为：

四.CTransR

上述模型，包括 TransE、TransH 和 TransR，为每个关系学习了一个唯一的向量，这可能不足以代表该关系下的所有实体对，因为这些关系通常是相当多样化的。 为了更好地模拟这些关系，我们结合了分段线性回归的思想（Ritzema 等 1994）来扩展 TransR。
基本思想是，我们首先将输入实例分成几组。 形式上，对于特定的关系 r，训练数据中的所有实体对 (h, t) 被聚类到多个组中，并且每个组中的实体对都期望表现出相似的 r 关系。 所有实体对 (h, t) 都用它们的向量偏移量 (h - t) 表示，用于聚类，其中 h 和 t 是通过 TransE 获得的。 之后，我们分别为每个聚类集群学习一个单独的关系向量 rc 和每个关系的矩阵 Mr 。 我们将实体的投影向量定义为 hr,c = hMr 和 tr,c = tMr，得分函数定义为：

其中 ||rc -rk||项旨在确保特定于聚类集群的关系向量 rc 不会离原始关系向量 r 太远，并且 α 控制该约束的效果。 此外，与 TransR 一样，CTransR 还对嵌入 h、r、t 和映射矩阵的范数施加约束。

训练目标函数：

五.总结

在本文中，我们提出了一种新的知识图嵌入模型 TransR。 TransR 将实体和关系嵌入到不同的实体空间和关系空间中，并通过投影实体之间的翻译来学习嵌入。 此外，我们还提出了 CTransR，旨在基于分段线性回归的思想对每种关系类型内的内部复杂相关性进行建模。