论文笔记 EMNLP 2020|Resource-Enhanced Neural Model for Event Argument Extraction

1 简介

论文题目：Resource-Enhanced Neural Model for Event Argument Extraction
论文来源：EMNLP 2020
论文链接：https://aclanthology.org/2020.findings-emnlp.318.pdf

1.1 动机

• 对于事件论元抽取，以前的方法存在下面挑战：1)数据缺失;2)捕捉长距离依赖;3)将事件触发词的信息集成到候选论元的表示中。

1.2 创新

• 使用BERT作为编码器，使用未标注的数据进行预训练；构建auto-labeled数据进行自训练；解决数据缺失问题。
• 使用Transformer融合句法(通过句法分析)，捕捉长距离依赖。
• 设计了一种新的触发词感知编码器，同时学习四种不同类型的触发词序列表示信息。

2 方法

模型的整体框架如上图，主要包括下面几部分：

• 触发词感知的序列编码器：触发词感知的表示$c_t=Concat(b_t;p_{y_g};l_t;h_g)$。其中$b_t$为BERT编码(BERT的输入为embedding，segment embedding(0/1是否为触发词)，position embedding)；$p_{y_g}$是触发词类型编码；$l_t$是触发词指示器(0/1);$h_g$是触发词表示(max pooling 编码);
• 添加句法的Transformer：使用句法分析(Stanford Parser)改变Transformer每一层的attention head。每个head的K和V是不一样的，每一个$a_t^l$是句法依赖中token$x_i$的邻居值$v_j^l$的加权注意力和,然后与$u_t^l$线性拼接。公式如下($U^l$为Transformer第l层的输出)：

- 特定角色的论元解码器：分有无entity两种情况。由于ACE2005数据中存在10%的角色重叠问题，如果有entity，则为多标签分类任务，设置一系列二分类器；如果无entity，进行一系列BIO标注。

为了解决数据缺失问题：

• 领域自适应预训练：在微调 BERT 编码器之前，我们执行了具有 BERT 损失的第二阶段的域自适应预训练。
• 自训练：首先基于gold数据训练模型，然后标注一个大的数据集(带噪声)，然后在这个数据集上训练一个新的模型，最后在gold数据上微调。
• 辅助任务：在触发词检测任务上共享BERT编码器，提高表示能力。

3 实验

实验数据集选择ACE 2005，对于自训练和领域自适应预训练的数据选择Gigaword的50k个文档，使用Stanford CoreNLP进行处理。实验结果如下图：

消融实验：