论文笔记 ACL 2021|TEXT2EVENT: Controllable Sequence-to-Structure Generation for End-to-end Event Extract

文章目录

    • 1 简介
      • 1.1 动机
      • 1.2 创新
    • 2 方法
      • 2.1 事件抽取转换为结构生成
      • 2.2 Sequence-to-Structure结构:
      • 2.3 模型学习
    • 3 实验

1 简介

论文题目:TEXT2EVENT: Controllable Sequence-to-Structure Generation for End-to-end Event Extraction
论文来源:ACL 2021
论文链接:https://arxiv.org/pdf/2106.09232.pdf
代码链接:https://github.com/luyaojie/text2event

1.1 动机

  • 目前大部分事件抽取方法使用分解的策略,将复杂的事件结构分解为多个分开的子任务。这种方法有两种缺点:1)每个子任务需要大量的标注数据,经常遭受数据不高效问题。2)手动设计不同子任务的最佳组合结构具有挑战性。

1.2 创新

  • 提出了一个事件抽取新的范式:sequence-to-structure generation,以端到端的方式直接从文本中抽取事件。
  • 提出了一个sequence-to-structure结构,在推理期间(对于事件知识)使用约束的解码算法,使用课程学习算法进行模型学习。

2 方法

2.1 事件抽取转换为结构生成

将事件抽取转换为结构生成,线性的事件表示应该有如下三个特点:

  • 能够将文本中的多个事件记录表达为一个表达式;
  • 确定性的方式可逆地转换为事件记录
  • 类似于一般文本生成任务的token序列,以便可以轻松利用和转移文本生成模型。

本篇论文提出的转换方法如下图所示,首先转换为树结构(树的根节点为事件类型,叶子结点为原始文本),然后通过深度优先搜索转换为线性的事件表示(括号为分隔符)。
论文笔记 ACL 2021|TEXT2EVENT: Controllable Sequence-to-Structure Generation for End-to-end Event Extract_第1张图片

2.2 Sequence-to-Structure结构:

使用T5预训练模型,基于transformer的编码-解码结构,解码开始和结束的标识符为< bos >和< eos >,公式如下:

贪恋解码算法不能保证生成有效的事件结构,本文使用一种基于字典树的约束解码算法,将解码过程表示为字典树搜索的过程,基于当前生成状态选择不同的候选字典集(事件和论元类型、原始文本、括号),如下图:
论文笔记 ACL 2021|TEXT2EVENT: Controllable Sequence-to-Structure Generation for End-to-end Event Extract_第2张图片

2.3 模型学习

由于输出中包含很多括号,不同于text-to-text生成模型,容易误导学习过程,因此使用课程学习(curriculum learning)的方法,首先训练PLMs在简单事件子结构任务上(label,span),以至于不会在语义的分隔符(括号)上过拟合,然后训练在全部的结构生成任务。loss函数如下图(数据集表示为 D = { ( x 1 , y 1 ) , . . . , ( x ∣ D ∣ , y ∣ D ∣ ) } D=\{(x_1,y_1),...,(x_{|D|},y_{|D|})\} D={(x1,y1),...,(xD,yD)},每一个实例是一个<句子,事件记录>对):
论文笔记 ACL 2021|TEXT2EVENT: Controllable Sequence-to-Structure Generation for End-to-end Event Extract_第3张图片

3 实验

数据集为ACE05-EN、ACE05-EN+(进一步考虑了代词角色和多token的事件触发词)、ERE-EN。在ACE05-EN的实验结果如下图:
论文笔记 ACL 2021|TEXT2EVENT: Controllable Sequence-to-Structure Generation for End-to-end Event Extract_第4张图片
在ACE05-EN+和ERE-EN的实验结果如下图:
论文笔记 ACL 2021|TEXT2EVENT: Controllable Sequence-to-Structure Generation for End-to-end Event Extract_第5张图片
迁移学习下的表现:
论文笔记 ACL 2021|TEXT2EVENT: Controllable Sequence-to-Structure Generation for End-to-end Event Extract_第6张图片
消融实验:
论文笔记 ACL 2021|TEXT2EVENT: Controllable Sequence-to-Structure Generation for End-to-end Event Extract_第7张图片

你可能感兴趣的:(论文,NLP,深度学习,自然语言处理,事件抽取)