【论文阅读】Document-Level Relation Extraction with Reconstruction

【论文阅读】Document-Level Relation Extraction with Reconstruction

1. motivation

• when a human understands a document with relationships, he or she pays more attention to learn entity pairs with relationships rather than ones without relationships.

• however, the graph representation universally encodes relation information between all entity pairs regardless of whether there are relationships between these entity pairs

2. contribution

• propose a novel encoder-classifier-reconstructor model. the model pays more attention to encode entity pairs with relationship.
• the reconstructor is regarded as a relationship indicator to assist relation classification in the reference.
• the model improves the accuracy of relation extraction on a strong heterogeneous graph-based baseline.

上图中 mention node: 3：Chris Carter, 4,5: X-Files 6:Fox Mulder

​ entity node : 7: Chris Carter 8: X-Files 9: Fox Mulder

问题1： 文章中说{8和7} {9和8} 不存在关系，为什么 ？ 8和7存在written的关系呀 9和8存在work的关系
可能意思是不存在推理关系？

3. model

3.1 异构图的构建

首先根据Christopoulou的EOG相关论文， 先把sentence encode成为每个word的上下文表示，用到的是BiLSTM， 然后生成3个结点，分别为 mention node, entity node, sentence node., 形成5种类型的边，分别是MM、ME、MS、 ES、SS。除此之外，作者还加了一种类型的边叫做 Mention-Coreference ， MC是指向相同entity的2个mention。然后用N*N的邻接矩阵表示这些边的连接。 这种异构图用G={V,E}来表示。

为什么要增加CO的边的类型？，

因为MM表示在一个句子中出现的不同的mention对，而CO表示相同entity的Mention对

3.2 编码

s是多跳推理的结果，v表示节点， z表示l层多跳推理的结果

K，V表示节点vn的直接相邻节点，计算自注意力机制，从而得到节点vn的特征信息

因此，异构图表示为G={q1,q2… qn}

这3个公式的意思？为什么要进行多跳推理，复习之前相关论文

3.3 分类

关系为r的概率：

损失函数：

Nt是文档中关系的数量，

3.4 重构

根据meta-path 信息， 构建3种类型的路径去重构图表示

1. 模式识别： 如下图{7,3,4,8}
2. 逻辑推理： 如下图{7,3,4,5,6,9}
3. 共指推理： 如下图{7,1,2,9}

优先级：1》2》3

上图中 mention node: 3：Chris Carter, 4,5: X-Files 6:Fox Mulder

​ entity node : 7: Chris Carter 8: X-Files 9: Fox Mulder

路径重构：

p是隐藏层状态，q是节点表示

为什么是q(bc-1), 如果是LSTM的话，应该是q(bc)呀？

损失函数：

4. experiment