【论文笔记】Relation Embedding with Dihedral Group in Knowledge Graph

摘要

提出了一个新的模型称为二面体,以二面体对称群命名。这种新模型学习知识图嵌入,可以自然地捕获关系组合。此外,我们的方法对离散值参数化的关系嵌入进行建模,从而大大减少了解空间。

背景

关系组合的一个关键特性是,在许多情况下,它可以是非交换的。例如,在的父母和配偶之间交换顺序将导致完全不同的关系(父母与法律中的父母)。我们认为,为了在链接预测任务中学习关系组合,这种非交换属性应该被显式地建模。
在本文中,提出用二面体群的表示来模拟KG中的关系。二面体组中的元素通过在二维对称多边形上的旋转和反射操作构造。由于二面体群的矩阵表示可以是对称的,也可以是斜对称的,而且群元素的乘法可以是交换的或非交换的,因此可以用所需的所有相应属性来建模关系。
这是第一次尝试在KG嵌入中使用有限非交换群来解释关系组合。
此外,使用二面体群的另一个优点是,即使参数是量化的,甚至是二值化的,由于量化带来的隐式正则化,链接预测任务中的性能也可以比现有的双线性形式的方法得到改善。

预先知识

群与二面体群

群的性质:封闭性、结合律、单位元素、逆元素
有限群、阿贝尔群(交换律成立时)
二面体群是在二维空间中支持正多边形对称运算的有限群。这里的对称操作指的是保留多边形的操作符。
对于K面(K∈ Z+)多边形,对应的二面体群表示为DK,由2K个元素组成,其中有K个旋转算子和K个反射算子。旋转算子Ok围绕中心逆时针旋转多边形(2πm/K),反射算子Fk垂直镜像旋转Ok
【论文笔记】Relation Embedding with Dihedral Group in Knowledge Graph_第1张图片【论文笔记】Relation Embedding with Dihedral Group in Knowledge Graph_第2张图片
二面体群的群运算可以表示为表示矩阵的乘法。
当K被4等分时,旋转矩阵OK(K/4)和OK(3K/4)是斜对称的,所有反射矩阵FK(m)和旋转矩阵OK(0),OK(K/2)是对称的。

二面体群与表达性的关系建模

引理1:DihEdral的关系矩阵R是正交的
引理2:
【论文笔记】Relation Embedding with Dihedral Group in Knowledge Graph_第3张图片定理1:二面体中的关系矩阵在矩阵乘法下形成一个群。
然后接下来是一些可能会出现的关系对应的二面体群性质,如对称性、反对称性、逆、构成(含阿贝尔和非阿贝尔)

训练

损失函数
【论文笔记】Relation Embedding with Dihedral Group in Knowledge Graph_第4张图片Θ是参数,T+和T− 是一个小批量中的正三元组和采样负三元组,σ是定义为σ(x)=1/(1+exp(-x))

需要对关系表示R进行特殊处理,因为它们采用离散值。在接下来的小节中,我们将描述一种针对一般K的重新参数化方法,然后是当K取小整数值时的一种简单方法。通过这些处理,二面体可以在标准框架内进行训练

Gumbel-Softmax方法

每一个关系分量R(l)都可以用c(l)参数化,c(l)是一个one-hot变量,取值为-1,+1.
c(l)可以利用s(l)用 Gumbel trick参数化。步骤:

  1. 取Gumbel distribution的独立同分布样本qi = − log(− log ui), ui ∼ U(0, 1)是均匀分布的样本。
  2. 使用log-softmax参数化c
    【论文笔记】Relation Embedding with Dihedral Group in Knowledge Graph_第5张图片
用二进制变量重新参数化

另一种参数化技术。
【有点困,这部分没看,我会重新看一下的(((m -__-)m】
【论文笔记】Relation Embedding with Dihedral Group in Knowledge Graph_第6张图片

实验

【论文笔记】Relation Embedding with Dihedral Group in Knowledge Graph_第7张图片
结果表明,即使是二面体在关系表示中也需要离散化的值,使用DK对关系的底层结构进行适当的建模是必要的。

案例研究

就是分析了一下就那些关系类型(什么对称反对称什么的。。。)可以从二面体中学习,比其他的算法厉害很多,大大提高了现有模型的可解释性。

你可能感兴趣的:(人工智能,机器学习,知识图谱)