论文笔记 EACL 2021|GRIT: Generative Role-filler Transformers for Document-level Event Entity Extraction

1 简介

论文题目：GRIT: Generative Role-filler Transformers for Document-level Event Entity Extraction
论文来源：EACL 2021
论文链接：https://arxiv.org/pdf/2008.09249.pdf
代码链接：https://github.com/xinyadu/grit_doc_event_entity

1.1 创新

• 提出了一个新的端到端的生成式transformer模型(基于BERT，在解码端添加指针选择模块和一个生成head(建模文档级抽取决策))，用于文档级的角色填充实体抽取。
• 为了测量模型抽取每个角色实体的能力，提出了一个基于最大二分匹配算法的评测指标。
  

2 背景知识

2.1 任务定义

基于MUC角色填充实体抽取任务的定义，进行简化。为每个文档生成一个通用模板：对于描述不止一个事件的文档，为每个文档提取的角色填充实体合并到一个事件模板中。

• 每个事件包含一系列的角色。
• 每个角色被填充一个或者多个实体。
• 每个角色填充实体由一个描述性提及表示，即输入文档中的一段文本。 由于每个实体的多个此类提及可能出现在输入中，因此gold-standard模板列出了所有备选方案，但系统只需要生成一个。

2.2 评测指标

对于文档级角色填充实体抽取任务，基于最大二分匹配算法提出一个评测指标，对于每个角色，预测(gold)实体与最多一个gold(预测)实体对齐,来计算指标。

3 方法

模型的整体框架如上图，左边为编码器，右边为解码器，其中输入序列为原始文档token和分隔符，目标序列是每个角色的抽取结果(由开始token和结尾token组成，分隔符隔开)。主要包括下面3个部分：

• pointer Embeddings：对于位置编码，使用对应的源文本token的位置，以确保解码器知道其先前预测在源文档中的来源。
• BERT as Encoder / Decoder：利用一个BERT模型作为来源和目标编码，为了区分编码器和解码器编码，在解码端使用partial causal attention mask,对于来源token，屏蔽全部目标token；对于目标token，确保解码是自回归的(对未来token不可知)。如下图:
  
  
• Pointer Decoding：在时间步t，对$y_t$和$x_0,x_1,...,x_m,$进行点乘，然后进行softmax，获得指到源tokn的概率，使用贪婪解码(降低生成[SEP]的概率、确保token的位置是从开始增加到结束，删除不满足约束的span)，预测的标记被添加到目标序列中，用于下一个时间步 t+1的pointer Embeddings。公式如下：

4 实验

使用MUC-4数据集，包含5种角色如下图，使用角色填充实体的第一个提及作为训练目标。

实验结果如下图：


检验模型捕捉提及间共指消解的能力：

检验模型捕捉不同角色的依赖的能力：


解码消融实验：

参数和训练消耗：