【论文笔记】Relation Embedding with Dihedral Group in Knowledge Graph

摘要

提出了一个新的模型称为二面体，以二面体对称群命名。这种新模型学习知识图嵌入，可以自然地捕获关系组合。此外，我们的方法对离散值参数化的关系嵌入进行建模，从而大大减少了解空间。

背景

关系组合的一个关键特性是，在许多情况下，它可以是非交换的。例如，在的父母和配偶之间交换顺序将导致完全不同的关系（父母与法律中的父母）。我们认为，为了在链接预测任务中学习关系组合，这种非交换属性应该被显式地建模。
在本文中，提出用二面体群的表示来模拟KG中的关系。二面体组中的元素通过在二维对称多边形上的旋转和反射操作构造。由于二面体群的矩阵表示可以是对称的，也可以是斜对称的，而且群元素的乘法可以是交换的或非交换的，因此可以用所需的所有相应属性来建模关系。
这是第一次尝试在KG嵌入中使用有限非交换群来解释关系组合。
此外，使用二面体群的另一个优点是，即使参数是量化的，甚至是二值化的，由于量化带来的隐式正则化，链接预测任务中的性能也可以比现有的双线性形式的方法得到改善。

预先知识

群与二面体群

群的性质：封闭性、结合律、单位元素、逆元素
有限群、阿贝尔群（交换律成立时）
二面体群是在二维空间中支持正多边形对称运算的有限群。这里的对称操作指的是保留多边形的操作符。
对于K面（K∈ Z⁺）多边形，对应的二面体群表示为D_K，由2K个元素组成，其中有K个旋转算子和K个反射算子。旋转算子O_k围绕中心逆时针旋转多边形（2πm/K），反射算子F_k垂直镜像旋转O_k。

二面体群的群运算可以表示为表示矩阵的乘法。
当K被4等分时，旋转矩阵O_K^（K/4）和O_K^（3K/4）是斜对称的，所有反射矩阵F_K^（m）和旋转矩阵O_K^（0），O_K^（K/2）是对称的。

二面体群与表达性的关系建模

引理1：DihEdral的关系矩阵R是正交的
引理2：
定理1：二面体中的关系矩阵在矩阵乘法下形成一个群。
然后接下来是一些可能会出现的关系对应的二面体群性质，如对称性、反对称性、逆、构成（含阿贝尔和非阿贝尔）

训练

损失函数
Θ是参数，T+和T− 是一个小批量中的正三元组和采样负三元组，σ是定义为σ（x）=1/(1+exp(-x))

需要对关系表示R进行特殊处理，因为它们采用离散值。在接下来的小节中，我们将描述一种针对一般K的重新参数化方法，然后是当K取小整数值时的一种简单方法。通过这些处理，二面体可以在标准框架内进行训练

Gumbel-Softmax方法

每一个关系分量R^(l)都可以用c^(l)参数化，c^(l)是一个one-hot变量，取值为-1，+1.
c^(l)可以利用s^(l)用 Gumbel trick参数化。步骤：

1. 取Gumbel distribution的独立同分布样本q_i = − log(− log u_i), u_i ∼ U(0, 1)是均匀分布的样本。
2. 使用log-softmax参数化c
   

用二进制变量重新参数化

另一种参数化技术。
【有点困，这部分没看，我会重新看一下的(((m -__-)m】

实验

结果表明，即使是二面体在关系表示中也需要离散化的值，使用DK对关系的底层结构进行适当的建模是必要的。

案例研究

就是分析了一下就那些关系类型（什么对称反对称什么的。。。）可以从二面体中学习，比其他的算法厉害很多，大大提高了现有模型的可解释性。