【论文阅读】Document-level Relation Extraction as Semantic Segmentation

创新

• 将Doc RE视为文档级语义分割任务，将CV的语义分割任务应用到DocRE上来。
• 定义了balanced softmax method
  

编码层

使用bert编码，鉴于bert最大能到512个词，使用动态窗口对整个文档进行编码。
送入bert前，利用 标注mention，以便定位实体的位置。
使用logsumexp pooling汇集实体，去获得最终的实体embedding

计算实体关系矩阵中，实体之间的相关性。计算方法有两种：

1. 基于相似度的方法。
   
   es与eo的element-wise similarity、es与eo的余弦相似度、es与eo的bilinear相似度，这三者拼接起来

2. 基于上下文的方法。
   
   利用entity-aware attention，a代表attention权重，H是document embedding。

U-shaped Segmentation Module

U-Net在CV领域是知名的语义分割模型。结构图如下
这一步可以表示为

Y是实体级别的关系矩阵。U是U-shapeed模块。W3是为了给F降维

分类模块

从上一步的实体级别的关系矩阵Y里获得实体对es和eo的embedding，送入前馈神经网络，tanh激活得到zs和zo，随后二者送入bilinear得到关系的概率。

balanced softmax method

docred数据集里很多实体对之间并不存在关系，也就是不均衡的情况。作者从CV获得启发，引入balanced softmax method。
定义一个额外的类别0，希望目标category的分数都比类别0对应的分数高，非目标category的分数都比类别0对应的分数低。

为了简化，阈值设为0