【论文阅读】Exploring Sentence Community for Document-Level Event Extraction EMNLP2021

目录

摘要

简介

本文贡献：

模型方法

篇章图表示

句子社区检测

事件类型和论元分类

实验和结果

总结

---

摘要

已有的方法基于sequential modeling（序列模型），忽视长文章中的复杂逻辑结构。本文利用entity interaction和sentence interaction，将每篇文章转化为利用句子关系的无向无权重的图并且引入了sentence community句子社区来把每个事件用subgraph表示。同时还可以利用graph attention networks抽取多事件，减缓角色交叉的问题。

简介

Entity interaction 实体关联

同一个句子中的实体有更大概率成为同一个事件的论元

Sentence interaction句子关联

包含相同实体的句子更有可能描述同一个事件

本文利用以上两个特性，引入了document graphs，将doc-EE从sequential modeling转为了graphical document representation

本文贡献：

1. 将每篇文章转化为一个无向无权重的图，每个句子代表一个节点（考虑entity interaction），每个节点被赋予BERT下的attribute向量。同时，边是由句子之间的实体同时出现来建造的（考虑sentence interaction）
2. Propose了sentence community，把每个事件用subgraph表示，每个句子社区包含了某事件所需要的论元所在的句子。
3. 通过图表示缓解了以下问题
   1. 由事件overlapping和scattering导致的多事件issue：采用graph attention networks和多头graph attention
   2. 角色重叠issue 一个论元可以是多个角色：预测论元角色

模型方法

1. 篇章图表示

   1. 构造图：句子为node，用bi-lstm-crf进行实体识别并将含有相同实体的句子连接
   2. 构建node的表示（node attribute vector）：
      1. Entity level feature vector alpha：max-pooling over all entity vectors, each is max pooled from all tokens’ BERT outputs vectors
      2. Sentence level feature vector beta：max-pooling of all tokens
      3. BI-LSTM on concatenation of alpha and beta

2. 句子社区检测

   1. 目标句子社区 target sentence community：0-1矩阵标识某句子是否含有某事件的论元，作为预测目标
   2. 使用GAT检测句子社区：GNN图神经网络检测重叠overlapping的句子社区
   3. Attention识别相邻node的importance，再叠加多头attention和最终的MLP，使用softmax作为输出（某句子属于某community的概率），cross entropy作为loss

3. 事件类型和论元分类

   1. 事件类型分类

使用预测出的matrix中某事件社区内的句子的node attribute vectors的max-pooling作为时间的embedding。叠加Fully connected线性+softmax，loss为cross entropy

                2. 事件论元分类

使用entity vectors，先bi-lstm，之后采用entity-level attention layer，获取最终的entity embedding。对每一个角色进行分别预测避免role overlapping issue

                3. 总的loss

以上句子社区检测+事件类型分类+论元分类的loss加权和

实验和结果

1. 数据集：doc2edag的ChFin数据集，29%多事件
2. Baseline：DCFEE和doc2edag
3. 结果：总体P和F1有提升
4. Ablation studies（F1）：
   1. 去除GAT：-2.0
   2. 去除entity-level attention layer：-2.1
   3. 去除role overlapping issue的处理：-4.2
5. ROI问题在多事件数据上尤为明显，改善更好
6. Case study

a)中剔除了不含有entity的句子；b)中的每个subgraph代表一个community，对应了一个event，含有该事件全部arguments所在的句子

总结

在本文中，我们提出了一种新颖的文档级事件提取框架，该框架为事件提取任务探索了句子社区，从而缓解了多事件问题和角色重叠问题。 在我们的框架中，我们引入了文档图构建方法，将文档转换为无向无权图，在相关句子之间建立关联，我们使用图注意力网络来捕获句子之间的关联，并进一步将句子分配给社区。

In this paper, we propose a novel document-level event extraction framework that explores the sentence community for the event extraction task, which alleviates the multi-event issue and the role overlapping issue. In our framework, we introduce the document graph construction method that trans[1]forms a document into an undirected unweighted graph, which establishes associations between related sentences, and we employ the graph attention networks to capture the associations between sentences and further assign sentences to communities.

最后chapter4有一段不错的literature review