论文笔记 ACL 2018|Zero-Shot Transfer Learning for Event Extraction

文章目录

    • 1 简介
      • 1.1 创新
    • 2 方法
    • 3 实验

1 简介

论文题目:Zero-Shot Transfer Learning for Event Extraction
论文来源:ACL 2018
论文链接:https://arxiv.org/pdf/1707.01066.pdf
代码链接:https://github.com/wilburOne/ZeroShotEvent

1.1 创新

  • 将事件抽取定义为generic grounding problem(溯源问题),映射每一个事件提及到一个在目标事件本体中的具体类型。
  • 提出一个可迁移zero-shot的框架,将事件提及和类型映射到同一个语义空间,根据相似性得到相应的类型。不需要人工标注就能应用到未见过的事件类型中。

2 方法

论文笔记 ACL 2018|Zero-Shot Transfer Learning for Event Extraction_第1张图片
给定一个句子,首先使用AMR parsing获取候选触发词和论元,然后word sense disambiguation (WSD)工具对词义进行消岐和链接到OntoNotes。将映射到OntoNotes上的名词和动词、可以与FrameNet中的动词或名词词汇单元匹配的单词作为候选触发词。触发词在AMR结构上的子集作为候选论元。整个框架如上图,主要包括下面两个部分:

  • 触发词和类型结构的组成:对于每个候选触发词t,使用AMR parsing将其结构 S t S_t St表示为三元组(如上图中的),对于目标事件本体中的每个类型y,将其结构表示为二元组<事件类型,论元角色>(如上图中的),事件提及结构 < w 1 , λ , w 2 > <w1,λ,w2>和事件类型结构 < y , r > <y,r>的向量表示公式如下:
  • 触发词和论元分类:输入为一个元组序列,经过卷积和max池化得到新的向量表示,然后拼接相应词向量进行相似性计算,使用hinge ranking loss进行优化,公式如下:
论文笔记 ACL 2018|Zero-Shot Transfer Learning for Event Extraction_第2张图片

为了防止过拟合,将一些负样本(没有类型)加入训练过程,使用rank最高的类型(下面公式的 y ′ y' y)计算loss,触发词loss和论元loss的公式分别如下:

论文笔记 ACL 2018|Zero-Shot Transfer Learning for Event Extraction_第3张图片
论文笔记 ACL 2018|Zero-Shot Transfer Learning for Event Extraction_第4张图片

在zero-shot情况下,对于未见过类型的分类公式如下( y ^ ( t ′ , k ) 表 示 对 t ′ 预 测 的 第 k 个 类 型 ) \widehat{y}(t',k)表示对t'预测的第k个类型) y (t,k)tk)
在这里插入图片描述

3 实验

实验数据集为ACE 2005,数据统计和实验结果如下(A、B、C、D表示选择的事件类型数分别为1,3,5,10):
论文笔记 ACL 2018|Zero-Shot Transfer Learning for Event Extraction_第5张图片为了评估模型在相似和不同的未见类型上的性能,在Justice事件的四个子类型事件(Arrest-Jail,
Convict, Charge-Indict, Execute)训练模型,在不同类型事件上的效果如下图:
论文笔记 ACL 2018|Zero-Shot Transfer Learning for Event Extraction_第6张图片
人工构建一个新的事件本体,包含33个ACE事件类型和论元角色和1161个FrameNet中的frame,使用上述实验配置D中的数据进行训练,对比的方法使用全部的其余ACE事件进行训练,在150个测试句子上的实验效果如下:
论文笔记 ACL 2018|Zero-Shot Transfer Learning for Event Extraction_第7张图片
下图为LSTM的学习曲线,可以发现不使用任何未见事件的数据,提出的方法也能得达到不同的性能。论文笔记 ACL 2018|Zero-Shot Transfer Learning for Event Extraction_第8张图片
AMR的消融实验如下图:论文笔记 ACL 2018|Zero-Shot Transfer Learning for Event Extraction_第9张图片

你可能感兴趣的:(NLP,论文,自然语言处理,深度学习,事件抽取)