【论文阅读】Document-Level Relation Extraction with Reconstruction（AAAI2021）

作者提供的代码
2021 AAAI

提出，没有关系的实体对会影响编码器的attention效果。

创新：

将更多的注意力放在有关系的实体对上，对路径重构。
重构方法最常用在神经机器翻译NMT上，解决翻译不够充分的问题。作者证明了用在DocRE效果也很好。

1. 异构图构建

假设一个文档有L个句子，每个句子有J个词。使用BILSTM对其进行编码。如上图所示，异构图包含提及结点、实体结点、句子结点。作者在指向相同实体的不同提及之间，还加了Mention-Coreference边。

2.编码器

使用图注意力网络对异构图的每个节点编码。
给定前$l-1$个跳推理的输入，将它们拼接起来，转化成固定维度的第$l$跳推理的输入。
这个输入进入self-attention，得到第$l$跳推理的输出。
将这总共$l$跳推理的输出，整合起来，经过非线性层，用Relu激活，得到异构图的表示{q1,q2,…,qn}

3. 分类

给定异构图的表示{q1,q2,…,qn}，每对实体对的2个结点的表示，作为分类器的输入，判别他们的关系。
分类器是个多层感知器，最后用sigmoid激活一下，作为关系的概率值。

bce做损失函数。

模型架构：

4. 重构

当两个实体存在关系，他们在图结构表示中，应该有很强的依赖关系。因此，探索从学习的图中，重建每个实体对的路径依赖。为每个实体对生成重构路径，并计算重构路径的概率来指示如何进行重构。
首先根据数据集的元路径信息，将实体间的3种路径，来作为重构的候选路径。

1. 提及结点和实体结点
   EM-MM-EM
   比如上图中的｛7 3 4 8｝
2. 逻辑推理
   EM-MM-CO-MM-EM
   {7 3 4 5 6 9}
3. 关联推理
   ES-SS-ES
   {7 1 2 9}

上面介绍的第一个路径的优先级最高。
选择上面三种之一，作为重构路径的监督。
使用LSTM计算每个结点的隐藏状态。计算完了，把他们扔到softmax计算每个结点的可能性。
如果一个实体对之间确实存在关系， 那就把这个路径概率最大化。否则，概率最小化。换而言之，出现路径的可能性越高，实体对之间存在关系的可能性越大。因此，把路径出现的概率作为关系分类的辅助指标。
重构的Loss和 relation Loss简单相加，得到最终的Loss。