基于翻译的模型-TransE,TransH,TransR,TransD

基于翻译的模型

TransE模型

• TransE认为在知识库中，三元组可以看成头实体h到尾实体t利用关系r所进行的翻译。

• 比如，<柏拉图，老师，苏格拉底>头实体“柏拉图”的向量加上关系“老师”的向量，应该尽可能和尾实体“苏格拉底”的向量接近，也就是h+r≈t

$$\begin{gathered} f_r(\text{h},\text{t})=||\text{h}+\text{r}-\text{t}|{|}_{l_1/l_2} \\ L=\sum _{(h,r,t)\in S}\sum _{(h^{{}^{\prime }},r^{{}^{\prime }},t^{{}^{\prime }})\in S^{{}^{\prime }}}[\gamma +f_{\gamma }(\text{h},\text{t})-f_r({\text{h}}^{{}^{\prime }},{\text{t}}^{{}^{\prime }}){]}_{+} \end{gathered}$$

• γ是间隔参数，S是正例集合（知识库中已有的三元组），S’是负例集合（关系r的三元组头尾实体进行随机构造）。

• $[X{]}_{+}$表示正值函数，即X>0,时，$[X{]}_{+}$=x；当X<=0时，$[X{]}_{+}$=0

• 但是这个模型只能处理一对一的关系，不适合一对多/多对一关系

  • 比如多对一关系，比如<帕拉图，性别，男> <特朗普,性别，男>，两个三元组有着相同的关系和尾实体，导致帕拉图跟特朗普的向量相近。两者除了性别相同，在其他方面显然完全不同。

TransH模型

• 放宽了h+r≈t这一严格约束，只要求头尾实体在关系r相对应的超平面上的投影彼此接近即可。

• 头实体向量h和尾实体向量t在超平面上利用法向量$W_r$映射为

$$h_{\perp }=h-W_r^{T}h{W}_r和t_{\perp }=t-W_r^{T}t{W}_r$$

• 关系r在超平面上的向量表示为$d_r$
• $f_r(h,t)=||(h-W_r^{T}h{W}_r)+d_r-(t-W_r^{T}t{W}_r)|{|}_{l_1/l_2}$

TransR模型

• 在TransE模型和TransH模型中，实体和关系都在相同的空间进行表示。这种做法无法区分两个语义相近的实体在某些特定方向（关系）上的不同。

• 比如，“马克思”和“恩格斯”可以认为是两个相似的实体，但是<马克思，民族，犹太民族>和<恩格斯，民族，德意志民族>不同。

• 因此TransR提出为每个关系构造相应的向量空间。（注意，TransH模型下是超平面）

• 具体地说，TransR模型将头实体向量h和尾实体向量t映射为$h_r=M_{r}h$和$t_r=M_{r}t$。因此，TransR模型的损失函数为:$f_r(h,t)=||h_r+r-t_r|{|}_{l_1,l2}$

TransR缺点

• 模型利用了复杂的矩阵计算，将头尾实体映射到关系向量空间中，增加了计算复杂度。

• 其次，对于一个三元组来说，头实体和尾实体很可能不是一个实体。

  • 比如，<帕拉图，出生地，希腊>。“柏拉图”，“希腊”是两个不同的实体，使用相同的映射矩阵 $M_r$很明显不合理。

• 最后，Trans模型中实体的映射关系仅由关系决定，但显然实体本身对映射也有影响。

TransD模型

• TransD模型认为映射函数应该与实体、关系同时相关。

• TransD模型修改了映射函数。对于头尾实体向量h和t，它们的映射函数分别是

$M_{rh}=r_p{h}_P^T+I^{m\times n},M_{rt}=r_p{t}_p^T+I^{m\times n}$

• 其中，$I^{m\times n}$是单位矩阵。在这里，头实体和尾实体分别用两个不同的映射矩阵$M_{rh}$和$M_{rt}$进行投影。头实体的映射矩阵由关系向量$r_p$与头实体映射向量$h_p^T$ 共同决定；尾实体的映射矩阵由关系向量$r_p$与尾实体映射向量$t_p^T$共同决定。那么映射后得到的头实体和尾实体向量分别为：

$f_r(h+t)=||h_{\perp }+r-t_{\perp }|{|}_{l_1/l_2}$

• 下表p表示投影向量，h,$h_p$,t,$t_p\in {\mathbb{R}}^n$,r,$r_p\in \mathbb{R}$
• 映射矩阵的每一个元素都包含了实体和关系信息。