论文笔记 EMNLP 2020|Event Extraction as Machine Reading Comprehension

1 简介

论文题目：Event Extraction as Machine Reading Comprehension
论文来源：EMNLP 2020
组织机构：中科院自动化所
论文链接：https://aclanthology.org/2020.emnlp-main.128.pdf
代码链接：https://github.com/jianliu-ml/EEasMRC

1.1 动机

• 目前基于分类的事件抽取方法遭受数据不足问题。

1.2 创新

• 将事件抽取定义为机器阅读理解问题，提出了一个无监督的问题生成方法，生成的问题是主题相关的和依赖上下文。

2 方法

模型的整体框架如上图，主要包括三个部分：事件触发词抽取、无监督问题生成、事件论元抽取。

2.1 事件触发词抽取

使用"[EVENT]“作为问题指令，在ACE数据集中95%的触发词都是单个词，因此使用分类的方法抽取触发词，将”[EVENT]"与句子拼接，得到编码表示，最后进行分类。

2.2 无监督问题生成

每个问题包括两个部分：问题主题和问题风格的事件陈述。

1. 问题主题生成：将语义角色分为不同的角色，如下图：
   
2. 问题语境化：该部分生成剩下的问题风格的事件陈述，定义该部分为无监督的翻译任务，映射叙述性的陈述(来源Wikipedia)转换为问题风格的陈述(来源https://question.com/)，包括两个模型：$P_{S\to Q}(q_s|s)$和$P_{Q\to S}(s_q|q)$，联合训练这两个模型在：域内自编码、去噪自编码和跨域在线回译(如下图)，在推理阶段，触发词window内的词作为输入，计算问题风格的陈述$q_{s_x}$，公式如下：
   

2.3 事件论元抽取

使用BERT模型，输出为问题和文本的拼接: “[CLS] q [SEP] c”,为了加强表示，q和c共有的词使用相同的embedding(公式1)，由于14%的语义角色有零个或者多个论元，事件论元抽取定义为基于span的算法，首先预测开始和结束位置(公式2)，[SEP]位置表示无论元，概率大于[SEP]的位置构造候选answers，然后使用启发式的规则(开始和结束的相对位置、长度限制、概率阈值)得到answers(如下图)，最后使用ground-truth确保answers有正确的边界。

训练时，首先在MRC数据集(SQuAD 2.0)上预训练(公式1、2)，然后在事件抽取数据集上微调(公式3)。

3 实验

实验数据集为ACE 2005，预训练模型使用BERT-Large, 使用ground-truth entity的结果如下图：

不使用ground-truth entity的结果如下图：

在不同数量数据的实验结果如下图：


Zero-Shot下的实验结果：

不同数据量的角色的实验结果：

错误分析：