论文笔记 EMNLP 2020|Event Extraction as Multi-turn Question Answering

文章目录

    • 1 简介
      • 1.1 动机
      • 1.2 创新
    • 2 背景知识
    • 3 方法
    • 4 实验
    • 5 总结

1 简介

论文题目:Event Extraction as Multi-turn Question Answering
论文来源:EMNLP 2020 Findings
论文链接:https://aclanthology.org/2020.findings-emnlp.73.pdf

1.1 动机

将事件抽取定义为分类问题,存在下面两个问题:

  1. 无法对标签中的语义进行建模,也无法捕获它们之间丰富的交互信息。
  2. 泛化能力低,不能生成新的事件类型或者论元角色。

1.2 创新

  • 提出一个多轮的问答框架用于事件抽取,可以充分利用触发词、事件类型和论元之间的交互信息,同时多轮的策略可以捕捉相同事件类型中不同论元角色之间的依赖。
    论文笔记 EMNLP 2020|Event Extraction as Multi-turn Question Answering_第1张图片

2 背景知识

将序列定义为C =[;Q;;P; ](Q为问题,P为文本),然后经过BERT编码,本篇论文使用两种类型的机器阅读理解(MRC)任务:

  1. 抽取式(答案为文本中的连续span),由于一个句子可能包含多个触发词或者论元,因此对每个token进行BIO标注,进行3分类预测每个token的标签,公式如下:( O i O_i Oi为BERT的输出)
    在这里插入图片描述2. yes/no式(答案为yes或者no),使用BERT中[CLS]的输出,进行二分类。
    论文笔记 EMNLP 2020|Event Extraction as Multi-turn Question Answering_第2张图片

3 方法

论文笔记 EMNLP 2020|Event Extraction as Multi-turn Question Answering_第3张图片
模型的整体框架如上图,主要分为3部分:

  1. 触发词识别:将问题定义为Which word is the trigger word? 使用抽取式MRC抽取出触发词。
  2. 触发词分类:将问题定义为The trigger word is , , ?(分别为触发词、触发词在文本中的位置、事件类型、该事件类型全部的论元角色)使用yes/no式回答是否该触发词为此事件类型。
  3. 论元抽取:将问题定义为 .,? ,将论元抽取定义为多轮的问答,使用抽取式MRC抽取出论元。为了建模同一个事件中不同论元角色之间的依赖关系,对每一个token使用一个历史答案编码,表示该token是否出现在以前的答案中。

4 实验

实验数据集为ACE 2005,实验结果如下图:
论文笔记 EMNLP 2020|Event Extraction as Multi-turn Question Answering_第4张图片
消融实验结果如下图(QAEE为单轮问答,独立抽取论元、rnd表示抽取论元角色的顺序随机、tri表示在论元抽取中移除了触发词和触发词位置信息),可以发现MQAEE效果最好(论元角色顺序为QAEE在验证集中的分类准确率顺序)。
论文笔记 EMNLP 2020|Event Extraction as Multi-turn Question Answering_第5张图片
轮数的影响:
论文笔记 EMNLP 2020|Event Extraction as Multi-turn Question Answering_第6张图片
case study:
论文笔记 EMNLP 2020|Event Extraction as Multi-turn Question Answering_第7张图片
模型在13-way 1-shot和13-way 5-shot情况下的泛化能力:
论文笔记 EMNLP 2020|Event Extraction as Multi-turn Question Answering_第8张图片

5 总结

通过问题模板建模标签之间的交互信息,在论元抽取中通过多轮问答的方式建模论元之间的交互信息。

你可能感兴趣的:(论文,NLP,自然语言处理,深度学习,事件抽取)