论文笔记 NAACL 2021|Document-Level Event Argument Extraction by Conditional Generation

文章目录

    • 1 简介
      • 1.1 动机
      • 1.2 创新
    • 2 方法
      • 2.1 论元抽取模型
      • 2.2 基于关键词的触发词抽取模型
    • 3 实验

1 简介

论文题目:Document-Level Event Argument Extraction by Conditional Generation
论文来源:NAACL 2021
论文链接:https://arxiv.org/pdf/2104.05919.pdf
代码链接:https://github.com/raspberryice/gen-arg

1.1 动机

  • 句子级别的事件抽取不符合人类的信息寻找行为,导致不完全和信息量低的抽取结果。

1.2 创新

  • 提出一个基于条件生成的事件论元抽取模型
  • 提出一个数据集WIKIEVENTS
  • 提出了一个zero-shot端到端的事件抽取框架

2 方法

2.1 论元抽取模型

论文笔记 NAACL 2021|Document-Level Event Argument Extraction by Conditional Generation_第1张图片
论元抽取模型的整体框架如上图,使用BART作为基本的Encoder-Decoder结构,通过事件本体给出每个事件类型的模板,多个论元用and连接,生成的概率由解码输出和token编码的点乘得到.通过添加clarification状态(< arg> is a < type>)对模型进行约束(例如下图),公式如下(式3为loss公式,式4为加clarification的概率计算公式):

论文笔记 NAACL 2021|Document-Level Event Argument Extraction by Conditional Generation_第2张图片

论文笔记 NAACL 2021|Document-Level Event Argument Extraction by Conditional Generation_第3张图片

2.2 基于关键词的触发词抽取模型

2.1的论元抽取模型将事件触发词作为输入,这里将触发词抽取模型建立为关键词级别。使用IO标注,公式如下(式一为序列的概率计算, c k c_k ck为关键词的向量表示(由BERT计算),式二中的参数M是不可学习的,由QR分解计算,公式如式三),在zero-shot情况下,使用类别向量和token编码的cos相似度进行分类。

论文笔记 NAACL 2021|Document-Level Event Argument Extraction by Conditional Generation_第4张图片

3 实验

实验选择3个数据级,ACE 2005、RAMS和WIKIEVENTS。构建的WIKIEVENTS数据集的统计信息如下:
论文笔记 NAACL 2021|Document-Level Event Argument Extraction by Conditional Generation_第5张图片
论文笔记 NAACL 2021|Document-Level Event Argument Extraction by Conditional Generation_第6张图片
论文笔记 NAACL 2021|Document-Level Event Argument Extraction by Conditional Generation_第7张图片
文档级事件论元抽取的实验结果如下:

论文笔记 NAACL 2021|Document-Level Event Argument Extraction by Conditional Generation_第8张图片
论文笔记 NAACL 2021|Document-Level Event Argument Extraction by Conditional Generation_第9张图片
论文笔记 NAACL 2021|Document-Level Event Argument Extraction by Conditional Generation_第10张图片
zero-shot下的是实验效果:
论文笔记 NAACL 2021|Document-Level Event Argument Extraction by Conditional Generation_第11张图片
定性分析:
论文笔记 NAACL 2021|Document-Level Event Argument Extraction by Conditional Generation_第12张图片
论文笔记 NAACL 2021|Document-Level Event Argument Extraction by Conditional Generation_第13张图片
论文笔记 NAACL 2021|Document-Level Event Argument Extraction by Conditional Generation_第14张图片
目前存在的挑战主要包括两部分:本体约束(一些角色是互斥的)和常识性知识。

你可能感兴趣的:(论文,NLP,深度学习,自然语言处理,事件抽取)