KG2E 论文笔记

Shizhu He, Kang Liu, Jun Zhao.
ACM (2015).

- 预备知识

多元高斯分布
https://www.cnblogs.com/bingjianing/p/9117330.html

KL散度（相对熵）
https://baike.baidu.com/item/%E7%9B%B8%E5%AF%B9%E7%86%B5/4233536?fr=aladdin

数学期望：
https://baike.baidu.com/item/%E6%95%B0%E5%AD%A6%E6%9C%9F%E6%9C%9B/5362790?fr=aladdin

还可见：
深度学习花书的第二章（概率论）

- Abstract

高斯分布
the representations of KGs in the space of multi-dimensional Gaussian distributions.

- background

将实体/关系的不确定性定义为置信度，实体所被包含的三元组少、关系连接很多或者有复杂内容的视为低确定性。

图片说明：实体和关系在知识图谱中，其的不确定性变化很大。

1. 考虑不确定性
2. 置于高斯分布中，其基于密度，之前的基于点。平均值向量表示位置，协方差矩阵表示不确定性。
3. 两种方法计算打分函数，不对称法（在高斯分布中计算相对熵）、对称法（计算数学期望），其中不对称表现更好。
4. 有效模拟了不确定性。

- Algorithm

KG2E_KL：
打分函数：

梯度下降：

KG2E_EL：
打分函数：

梯度下降：

损失函数：

- Experiment

密度越大的知识图谱，协方差就越小。

1. 高斯分布的协方差能有效表现出关系的不确定性
2. 复杂的语义关系有更大不确定性
3. 头尾实体数量不平衡的有更大不确定性。

Link Prediction：

1. Gaussian embedding can learn valid representa- tions of KGs for link prediction.
2. KG2E is superior to other base- line methods.
3. KG2E_KL performs better than KG2E_EL, which indicates that the asymmetric energy function is more suitable for learning the representation of KGs with Gaussian embedding.
4. The “bern” sampling strategy works well for most approaches, es- pecially on FB15k, which has many more relation types.
   

CTransR在多对多的关系中表现更好的原因是细化关系。

Triplet Classification：

- Conclusion

打破现有方法的局限：

1. 关系之间的关系（children - parent）
2. 知识库的融合（NELL和Freebase）
3. 实体也具有多样性。【已在TransD中实现】