知识图谱嵌入技术浅析

@知识图谱嵌入技术浅析

知识图谱嵌入技术（knowledge graph embedding）

随着技术的进步，信息与知识的获取与保存技术越来越成熟，如何将庞杂的知识与信息整合并进行运用是一个相当重要的问题。所以近年来，对于知识图谱的构建以及应用快速增长，大量的知识图谱如Freebase，DBpedia,YAGO，和NELL被成功创建并被应用到现实数据中。

模型分类

知识图谱嵌入的方法主要分为两类

1. 平移距离模型
2. 语义匹配模型

平移距离模型

平移距离模型主要是运用基于距离的评分函数来对关系进行打分，该模型将事实的合理性视为在经过关系的解释之后头实体和尾实体在向量空间的距离。主要是TransE模型及其扩展方法。
TransE模型
TransE模型由Antoine Bordes等人提出，他们将知识图谱中的关系看作实体间的某种平移向量，即对于每个事实三元组（h,r,t），TransE模型首先将实体和关系表示在同一个向量空间中，然后把关系向量r看作是头实体向量h和尾实体向量t之间的平移，即h+r≈t。即比如冯小刚+导演≈私人定制。其中，也可将关系向量r看作是从h到t的翻译，所以TransE模型也被称作翻译模型。如下图所示。

模型的打分函数为：

,如果事实（h,r,t）存在，打分应该趋于大。
TransE模型的参数较少，计算的复杂度较低，并且其在大规模稀疏知识库上也依然具有较好的性能和可扩展性，但是TransE模型在处理复杂关系上效果欠佳，复杂关系通常是指一对多、多对一，多对多三种关系模型。举个例子给定两个事实（冯小刚，导演，芳华），（冯小刚，导演，私人定制），那么网络的目的便是优化嵌入表达使得：冯小刚+导演≈芳华，冯小刚+导演≈私人定制，这样一来会使得芳华≈私人定制，但这两部电影是不同的实体，应该用不同的向量表示。

TransE模型的扩展
为了解决TransE模型在处理复杂关系时的局限性，许多TransE模型的变体以及扩展被提出。Z. Wang等人提出了TransH,该模型提出让同一个实体在不同的关系下有不一样的表达。模型思想大致如下图。

TransH首先将头实体向量h和尾实体向量r沿超平面的法线投影到r对应的超平面上与TransE类似，打分函数定义为,

如果事实（h,r,t）存在，打分应该趋于大。
类似于TransH，Y. Lin等人提出了TransR模型，该模型指出，虽然TransH模型使不同的实体在同一种关联下有了不一样的表示，但是还是假设实体和关系处于相同的语义空间，这限制了TransH对于实体和关系的表示能力。于是TransR提出，不同的关系应该拥有不同的语义空间。对每个事实三元组，头实体和尾实体会先通过定义的投影矩阵投影到对应关系r的向量空间中，然后再建立从头实体到尾实体的翻译关系。模型如下图所示。

打分函数为

当事实（h,r,t）存在时，打分趋于大。
还有许多TransE模型的变体与扩展，例如TransD,TransSparse等等，这里不一一介绍了。

语义匹配模型

语义匹配模型是利用基于相似性的评分函数。他们主要是通过匹配实体的潜在语义和向量空间表示中包含的关系来度量事实的可信度。

Rescal模型
M. Nickel等人提出了Rescal模型，Rescal模型又称为双线性模型，该模型使用向量来表示每个实体，从而获得他的潜在语义，而每个关系使用一个矩阵来表示，来对实体间的潜在关系来建模。模型如下图。

事实（h,r,t）的打分被Rescal模型表示为

其中h和t都是d维的向量，表示实体，关系矩阵是一个d*d的矩阵。

Rescal模型的扩展
B. Yang等人提出了DistMult模型，该模型一种简化版的Rescal模型，它限制了关系矩阵为对角矩阵，达到了减少参数的目的，模型如下图。

它的打分函数为：

但是由于这种方法的特性，导致这种简化版的法只能处理对称关系，但显然这对于一般的知识图谱来说并不是十分适用。
M. Nickel等人提出了HolE模型，该模型结合了Rescal模型的表达能力以及DistMult模型的简单性和高效性。模型如下图。

HolE模型将实体和关联都表示为d维的向量。然后给定一个事实（h,r,t）,实体的表达首先通过计算得到，运用T. A. Plate提出的计算方法。即得到，然后其结果与关系的表达结合起来计算出打分函数为：

由于其计算的不对称性，所以他能在削减参数量的同时，保持处理不对称关系的能力。
还有一些Rescal模型的变体和扩展的模型例如ComplEx，ANALOGY等方法，就不一一列举了。

这是一个基本的对于知识图谱嵌入技术的铺垫内容