Document-Level Relation Extraction with Reconstruction

http://arxiv.org/abs/2012.11384 aaai 2021

目录

1 摘要

2 动机

3 亮点

4 原先的模型

4.1 Heterogeneous Graph Construction

4.1.1 目的

4.1.2 步骤

4.2 Encoder

4.2.1 目的

4.2.2 步骤

4.3 Classifier

4.3.1 目的

4.3.2 步骤

5 Methodology 新提出的方法

5.1 Meta Path of Entity Pair

5.1.1 目的

5.2 Path Reconstruction

5.2.1 目的

5.2.2 步骤

5.3 Training with Reconstruction Loss

5.3.1 目的

5.3.2 步骤

5.4 Inference with Path Reconstruction

5.4.1 目的

5.4.2 步骤

6 模型的结果

---

1 摘要

图结构在过去几年中在文档级关系抽取任务有极大的成就。然而，目前的graph representation通常会对所有的实体对进行关系信息的建模，而不管这些实体对是否真正地存在关系。因此，这些没有关系的实体对会分散encoder-classifier DocRE对有关系的实体对的注意力。

为了缓解这个问题，我们提出一个新型的encoder-classifier-reconstructor model。这重构器reconstructor设法从graph representation中重构路径依赖关系，以确保所提出的DocRE模型更加关注在训练中对具有关系的实体对进行编码。此外，重构器被视为一个关系指示器，在推理(测试)过程中辅助关系分类，这可以进一步提高DocRE模型的性能。

在训练阶段，将Classifier的损失和Reconstructor的损失联合训练

在推理(测试)阶段，将Classifier的概率和Reconstructior的概率联合考虑，作为最终的实体对的关系r 的概率

---

2 动机

传统的图结构模型是对所有的实体对进行信息的建模，而不管这些实体对有没有关系，因此这样会分散模型对有关系的实体对的注意。因此，我们在原有的模型基础上，提出了重构器，重构器的目的是使存在关系的实体对之间的路径依赖更强，最终通过定义的损失函数，可以得到实体对之间的路径存在的可能性，若路径存在可能性越大，说明该实体对之间存在关系的概率越大，损失越小。这样设计，我们就可以使重构器通过学习得来的权重参数来重构实体对之间的路径依赖强度，存在关系的强度大，从而来更加关注存在关系的实体对。因此，重构器被视为一个关系指示器，在推理过程中辅助关系分类。

---

3 亮点

在原有模型的基础上添加了重构器，对实体对之间的路径进行重建，使存在关系的实体对之间的路径概率值大，使模型更加关注存在关系的实体对，提高模型的关系分类的性能。

---

4 原先的模型

4.1 Heterogeneous Graph Construction

4.1.1 目的

构造异构图；得到结点的embedding

4.1.2 步骤

1. 用BiLSTM对输入的文档进行编码，得到文档的上下文表示
2. 结点：三种结点：提及结点，实体结点，句子结点 ，每个结点的embedding是它所包含的token的embedding的平均值 ， 总共N个结点 V = 
3. 边：六种边：MM,MS,ME,SS,ES,CO ,用N*N的矩阵E表示边
4. Heterogeneous Graph G={V, E}

4.2 Encoder

4.2.1 目的

对异构图的结点进行encode，通过原先结点的embedding得到最终的结点的embedding

4.2.2 步骤

1.  每个结点都要经过L层的推理，得到最终的结点表示

   

2. 最终的N个结点的embedding表示为：

4.3 Classifier

4.3.1 目的

计算实体对的存在关系 r 的概率，然后通过定义的损失函数，计算损失值

4.3.2 步骤

1.  将每个实体对的两个结点的embedding放入多层感知机中，然后通过sigmoid函数计算实体对是否有关系 r 概率值
2. 根据下面定义的损失函数，计算损失值

---

5 Methodology 新提出的方法

这部分是对原有的模型加入一个重构器的部分，就是对路径进行重建

在训练阶段，将Classifier的损失和Reconstructor的损失联合训练

在推理(测试)阶段，将Classifier的概率和Reconstructior的概率联合考虑，作为最终的实体对的关系r 的概率

5.1 Meta Path of Entity Pair

5.1.1 目的

介绍实体对之间存在的路径种类，总共有三种：

1. Meta Path1 of Pattern Recognition:EM◦M M◦EM, for example node sequence{7,3,4,8} in Figure 1
2. Meta Path2 of Logical Reasoning:EM◦M M◦CO◦M M◦EM, for example node sequence
   {7,3,4,5,6,9} in Figure 1
3. Meta Path3 of Coreference Reasoning:ES◦SS◦ES,for example node sequence{7,1,2,9} in Figure 1

实际上，所有实体对都至少有三个元路径中的一个。我们根据优先级选择一种元路径类型，meta-path1>meta-path2>meta-path3。通常，元路径对应的实例路径可能存在多个，我们选择文档中首先出现的实例路径。

5.2 Path Reconstruction

5.2.1 目的

去构造每个实体对之间的路径依赖的概率公式，使存在关系的实体对之间的路径的存在可能性大，通过该方法来学习构造器的权重参数。去计算实体对之间路径存在的可能性

5.2.2 步骤

1.  对于每个实体对，选择一个实例路径作为路径依赖关系重建的监督。换句话说，也就是说每个目标对之间只有一条监督路径φn={vb1,vb2,· · ·,vbC}，vbC是路径结点的数量
2. 为了去构造每个实体对的路径依赖，我们将构造器当作序列生成模型，我们利用LSTM去对我们所选择的监督路径中每个结点进行编码，得到结点的隐藏状态（其中为Encoder模块中的结点的embedding，为路径中上一个结点的隐藏状态），Note that pb0 is initialized as the transform of  oij, since it plays a key role in classification.
3. 将传入softmax层中，去计算结点在这条路径上的概率
4. 此外，还计算路径上各个结点在这条路径上的概率
5. 最后，这条路径存在的概率就等于各个结点的概率相乘

5.3 Training with Reconstruction Loss

5.3.1 目的

在训练阶段，我们把重建路径的概率作为对实体对之间是否有关系的判断，概率越大，说明实体对之间有关系的可能性越大，根据此定义出损失函数，并计算损失值

5.3.2 步骤

1.  将上一步获得的实体对的重建路径概率值放入损失函数中
2. 最后，我们将重建器损失和现有的分类损失添加到一起，作为整个模型的损失

5.4 Inference with Path Reconstruction

5.4.1 目的

因为重构器的重建路径的概率越大，也说明实体对之间存在的可能性越大，自然地，我们将此路径概率视为一个关系指标，以帮助在推理中进行关系分类。因此，在推理阶段(即测试阶段) ，我们也应该结合Classifier中关系分类概率值R(r)和重构器的重建路径的概率值

结合这两个概率，来计算实体对是否存在关系r的概率

5.4.2 步骤

1.  获得Classifier中关系分类概率值R(r)和重构器的重建路径的概率值
2. 利用下面公式，计算最终的实体对的关系r的概率值 S(r)。其中λ是一个超参数，用于控制推理中重建概率的重要性

---

6 模型的结果