基于关系交互的块分解,来完成时序知识图谱的补全

目录

摘要部分

逆联系

核心张量

引言部分

相关工作

静态知识图谱模型

时序知识图谱模型

符号和定义

张量分解方法

CP分解

Tucker分解

Block Term分解

TBDRI用于TKGC

训练

充分的表现能力


摘要部分

提出基于关系交互的块分解来完成时序知识图谱的补全。块分解可以看做是CP分解和Tucker分解一个变形。TBDRI以一种增强的方式学习逆联系,以加强正向联系和逆关系的结合。另外TBDRI使用了核心张量作为时间信息来更充分的绑定时间戳。

逆联系

在知识图谱(Knowledge Graph)中,逆联系(Inverse Relationship)是一种特殊的关系,表示了两个实体之间关系的反方向。

知识图谱中的实体通常通过关系连接在一起,形成了一个复杂的网络结构。这些关系可以是单向的,也可以是双向的。当一个关系有明确的反方向时,这个反方向就称为逆联系。

例如,考虑两个实体“A”和“B”,以及一个关系“父母”。如果“A”是“B”的父母,那么可以说“B”与“A”之间存在一个逆联系,即“子女”。

逆联系在知识图谱的查询和推理中非常有用。通过定义逆联系,可以更容易地从不同方向查询和分析实体之间的关系。在某些逻辑推理和语义分析任务中,逆联系也可以用来推断新的信息。

核心张量

核心张量(Core Tensor)是张量分解(Tensor Decomposition)中的一个概念,特别是在一些特定类型的张量分解,如PARAFAC(Parallel Factors)和Tucker分解中。

张量是一个多维数组,可以看作是矩阵的高维推广。在张量分解中,目标是将一个给定的张量分解为一些更简单、更容易处理的组成部分。

  • 在PARAFAC分解中,核心张量是一个对角张量,其对角线上的元素与分解中的因子矩阵有关。
  • 在Tucker分解中,核心张量是一个多维数组,其形状与原始张量的秩有关。Tucker分解将原始张量分解为核心张量和一组因子矩阵。核心张量捕获了原始张量中的主要多线性结构,而因子矩阵描述了各个模式(维度)上的变化。

核心张量的概念有助于捕捉原始张量的关键特性,并允许通过与因子矩阵的组合来近似重构原始张量。

引言部分

时序知识图谱最大的难题是不同的事件和行动会导致关系和实体随着时间的推移而演变。

基于关系交互的块分解,来完成时序知识图谱的补全_第1张图片 从ICEWS14知识图中提取的事件的时间轴

这一系列事件表明,实体之间的关系随着时间不断变化。

对于一个实体是在主体出现还是客体出现我们对于它的四元组进行了区分。

将实体嵌入矩阵和关系嵌入矩阵分为主体矩阵、关系矩阵、逆关系矩阵和对象矩阵。

在之前的知识图补全模型中,还没有关于将核心张量嵌入到有用信息中的研究,而只是使用它来确定矩阵之间的交互水平。

相关工作

静态知识图谱模型

现在大部分的工作促进了静态知识图谱的发展。比如TransE、TransH和TransR等。

受启发于Tucker分解,Balazevic等人应用Tucker分解进行链接预测任务。

TuckER将知识图的三阶二进制张量分解为一个核心张量乘以三个矩阵,每个核心张量分别表示头实体、关系实体和尾实体。

TuckER评分函数定义为:

$\emptyset\left(e_{s}, r, e_{o}\right)=\mathcal{W} \times{ }_{1} e_{s} \times_{2} w_{r} \times_{3} e_{o}$

时序知识图谱模型

  • TTransE
  • ASALSAN
  • TComplEx
  • CyGNet
  • RE-GCN
  • TeLM
  • ChronoR

符号和定义

张量分解方法

CP、Tucker分解的解释

CP分解

Tucker分解

Block Term分解

Block Term Decomposition(块项分解,简称BTD)是一种用于张量分解的方法。与其他张量分解方法相比,BTD更为一般和灵活。BTD可以看作是CP分解的扩展,它允许在同一张量中表示多个不同的低秩结构。

具体来说,给定一个三维张量 \mathcal{X},BTD的目标是将其分解为一系列“块项”(block terms)的和,每个块项都是一个低秩张量。数学上,这可以表示为:

\mathcal{X} = \sum_{r=1}^{R} \mathcal{A}_r \circ \mathcal{B}_r \circ \mathcal{C}_r

其中 \mathcal{A}_r, \mathcal{B}_r, \mathcal{C}_r是低秩张量,\circ 表示外积运算,R 是块项的数量。

每个块项 \mathcal{A}_r \circ \mathcal{B}_r \circ \mathcal{C}_r 本身可以是一个秩一张量,或者是一个更复杂的低秩结构。这使得BTD能够捕捉到数据中更为复杂和多样的模式。

基于关系交互的块分解,来完成时序知识图谱的补全_第2张图片 块分解的可视化

TBDRI用于TKGC

基于关系交互的块分解,来完成时序知识图谱的补全_第3张图片

将实体嵌入矩阵和关系嵌入矩阵分别分为主题矩阵、关系矩阵、逆关系矩阵和对象矩阵。该模型将一个核心张量分解为两项。每一项都包含一个较小的成员张量和相应的三个因子矩阵。

在每个因子矩阵中,主体矩阵、关系矩阵、逆关系矩阵和对象矩阵以特定的方式和比例混合。

训练

评分函数为:

$\begin{aligned} \varphi(s, r, o, \text { time }) & =\mathcal{K}_{1} \times_{1} \mathcal{H}_{F} \times_{2} \mathcal{R}_{F} \times_{3} \mathcal{T}_{F} \\ & +\mathcal{K}_{2} \times_{1} \mathcal{H}_{I} \times_{2} \mathcal{R}_{I} \times_{3} \mathcal{T}_{I}\end{aligned}$

损失函数:

\begin{aligned} L(p, y)= & L(p, y)_{\left(f_{1} s+f_{2} o, r, f_{1} o+f_{2} s, t i m e\right)} \\ & +L(p, y)_{\left(f_{1} o+f_{2} s, r^{-1}, f_{2} o+f_{1} s, t i m e\right)}\end{aligned}$ \\\\$\begin{aligned} L(p, y)= & -\frac{1}{n_{e}} \sum_{i=1}^{n_{e}}\left[y^{(i)} \log \left(p_{\left(f_{1} s+f_{2} o, r, f_{1} o+f_{2} s, \text { time }\right)}^{(i)}\right)\right. \\ & \left.+\left(1-y^{(i)}\right) \log \left(1-p_{\left(f_{1} s+f_{2} o, r, f_{1} o+f_{2} s, \text { time }\right)}^{(i)}\right)\right]\end{aligned}

                    \begin{array}{l}-\frac{1}{n_{e}} \sum_{i=1}^{n_{e}}\left[y^{(i)} \log \left(p_{\left(f_{1} o+f_{2} s, r^{-1}, f_{2} o+f_{1} s, \text { time }\right)}^{(i)}\right)\right. \\ \left.+\left(1-y^{(i)}\right) \log \left(1-p_{\left(f_{1} o+f_{2} s, r^{-1}, f_{2} o+f_{1} s, \text { time }\right)}^{(i)}\right)\right]\end{array}

$\begin{array}{l}p_{\left(f_{1} s+f_{2} o, r, f_{1} o+f_{2} s, t i m e\right)}=\sigma\left(\mathcal{K}_{1} \times{ }_{1} \mathcal{H}_{F} \times{ }_{2} \mathcal{R}_{F} \times{ }_{3} \mathcal{T}_{F}\right) \\ p_{\left(f_{1} o+f_{2} s, r^{-1}, f_{2} o+f_{1} s, \text { time }\right)}=\sigma\left(\mathcal{K}_{2} \times{ }_{1} \mathcal{H}_{I} \times{ }_{2} \mathcal{R}_{I} \times{ }_{3} \mathcal{T}_{I}\right)\end{array}$

充分的表现能力

对于所有由实体、关系和时间戳构造的事实,这些事实都是通过将实体、关系和时间戳转换为嵌入的向量值来构造的。存在实体和关系嵌入,正确区分真四元组和假四元组。详细证明见原论文。

你可能感兴趣的:(时序知识图谱补全,知识图谱,人工智能)