论文浅尝 | Zero-Shot Transfer Learning for Event Extraction

论文浅尝 | Zero-Shot Transfer Learning for Event Extraction_第1张图片

事件抽取的目标是在非结构化的文本中确认事件的触发词(Eventtrigger)和参与者(Event argument),并判断触法词的事件类型(Eventtype),判断参与者在事件中的扮演的角色(Argument role)。有触发词和参与者的短语或文本称为EventMention。如下图的关于Transport-Person 事件的一条EventMention,dispatching是触发词,下划线是参与者,其中China作为Agent参与事件。

论文浅尝 | Zero-Shot Transfer Learning for Event Extraction_第2张图片

目前大多数的事件抽取是基于已有的手动标记样本进行训练。常见的数据集ACE,总共有8个大类,33个小类,对每个类,有人为标记的训练语料。但是对于没有样本的新事件类型,用上述语料训练的模型会显得无力。对此,一是可以用远程监督的方法标记训练样本,二是用迁移学习方法。本文基于第二点的,提出在事件抽取任务中用零样本迁移学习方法:event mention 和event ontology联合映射到共享的语义空间上,拉近两者在语义空间上的距离。

论文浅尝 | Zero-Shot Transfer Learning for Event Extraction_第3张图片

具体来说:对于新的语料,可以用AMR得到具体事件mention的结构,同时提供已定义好的关于事件类型ontology的结构。如上图所示,是对上述E1进行处理后得到mention的结构和一些已定义好的ontology结构。可以看到,事件触发词和事件类型名通常有一些共享含义,同时,两者的结构也趋于相似。本文基于这两点,将mention和ontology的结构表示联合映射到同一语义空间,最小化mention和对应的ontology的语义距离,从而学习一个通用映射函数,将已有样本训练得到的模型迁移到没有样本的事件中,整体框架如下:

论文浅尝 | Zero-Shot Transfer Learning for Event Extraction_第4张图片

分为如下几步:

1. 找出候选触发词和候选参与者,称为Tiggerand Argument Identification

用WSD找出触发词候选项,并用FrameNet中的Lexical units匹配文本扩充触发词候选项;利用ARMparser找出参与者候选项。

2. 确定触发词对应的事件类型,称为 Tigger Classification

触发词分类主要是用CNN模型,模型的输入考虑了两个部分 [V_t,V_(S_t)]:V_t 触发词本身的语义表示,可以用word2vec来训练;触发词t的结构是 S_t,V_(S_t)是 S_t 的表示; ontology的 [V_y,V_(S_y)] 输入同理。

对于 V_(S_t),分两步进行:首先结构中的每条边,可以表示为 u=,用 M_λ 表示关系,可以得到每个元组的表示 V_u,对应公式如下;之后将 t 的所有元组的表示 V_u 拼接起来,输入到CNN网络中,得到V_(S_t)。

640?wx_fmt=png


对于 V_(S_y),ontology的每个元祖表示为 u^'=, y 是事件类型,r 是参与者角色, V_u' 的表示如下,之后也输入到CNN中得到 V_(S_y)

640?wx_fmt=png


通过hinge loss来训练模型,将mention和ontology的表示学习到同一语义空间:

640?wx_fmt=png


3. 确定参与者在事件中扮演的角色,称为ArgumentClassification

参与角色的分类是基于触发词到参与者路径的相似度。仍以E1为例,通过将dispatch-01—>:ARG0—>China和Transport-Person—>Agent的路径信息学习到同一语义空间,之后根据语义相似度判断China在Transport-Person中的扮演的角色是Agent。

4. 预测新类别

测试时候,对于新的 t',用训练好的模型得到 t' 的结构化表示和所有ontology的结构化表示,距离最近的就是预测的结果。


本文进行了比较丰富的实验:

1. 在ACE数据集上进行实验,实验中可见类设置如下,N表示可见类的数量:

论文浅尝 | Zero-Shot Transfer Learning for Event Extraction_第5张图片

上述设置下得到的效果如下,WSD-Embedding没有将结构信息考虑到迁移的过程中。可以在迁移学习过程中考虑更多的机构化信息,得到的效果更好;可见类越多,效果越好。

论文浅尝 | Zero-Shot Transfer Learning for Event Extraction_第6张图片

2. 用ACE的 Justice类的4个小类做训练,用其余三个或用其他大类下随机的一个小类作测试。可以看到,测试类跟训练类的相似度越高,效果越好。

论文浅尝 | Zero-Shot Transfer Learning for Event Extraction_第7张图片

3. 使用LSTM在所有类上进行训练和测试,和用ZSL进行训练和测试的效果对比。可以看到用ZSL训练得到的效果和用LSTM训练近500条样本得到的效果不相上下。

论文浅尝 | Zero-Shot Transfer Learning for Event Extraction_第8张图片


笔记整理:王若旭,浙江大学硕士,研究方向为知识图谱,自然语言处理.



OpenKG.CN


中文开放知识图谱(简称OpenKG.CN)旨在促进中文知识图谱数据的开放与互联,促进知识图谱和语义技术的普及和广泛应用。

论文浅尝 | Zero-Shot Transfer Learning for Event Extraction_第9张图片

转载须知:转载需注明来源“OpenKG.CN”、作者及原文链接。如需修改标题,请注明原标题。

 

点击阅读原文,进入 OpenKG 博客。

你可能感兴趣的:(论文浅尝 | Zero-Shot Transfer Learning for Event Extraction)