关于论文的理解:Event Detection via Gated Multilingual Attention Mechanism

Event Detection via Gated Multilingual Attention Mechanism
Jian Liu(2018)
本文的主要任务就是给定一个句子,能够识别出表达了什么事件,如例句:In Baghdad, a cameraman died when an American tank fired on the Palestine hotel
目标就是找出died和fired这两个触发词,事件类型为Die和Attack
数据稀疏:ACE2005语料定义了33种事件类型,但只有70%事件类型的例句超过100条,有3种类型的实例不足10条。目前主要是一些监督学习的方法,语料稀少就阻碍了性能的提升。
单语言歧义问题:相同的触发词能表达不同的事件类型,如例句:
s1: An American tank fired on the Palestine hotel. Attack
s2: Two airline pilots were reportedly fired for stripping down. End-Positon
ACE2005语料中有57%这样的触发词。
因此本文提出了一个*Gated MultiLingual Attention (GMLATT) framework,目的是能充分利用两种语言中的信息。
Motivation:
1、 不同语言中表达了相同含义的句子往往包含相同的语义成分。如
中文:YiLiang MeiGuo TanKe Xiang Palestine LvDian KaiHuo
英文:American tank
MeiGuo TanKe与American tank表达了相同的含义,均是“武器”,表达的事件均为Attack事件。
2、某个词在一种语言中有歧义,但在另一种语言中却没有歧义。如fire,在中文中, “开火”表示Attack类型,“解雇”表示End-Position类型,这两个词没有相同语义成分,可以很清楚地进行识别。
基于上述两种动机,本文提出两种Attention机制
1、对每种语言采用context attention mechanism机制:句子中的词具有不同的重要性,如s1中American tank对识别Attack事件更重要,s2中airline pilots和stripping down对识别End-Position事件更重要。Attention的权重表示句子中不同词对预测事件类型的重要程度。
2、gated cross-lingual attention:动机2中提出其他语言对源语言(英语)能提供补充信息,但怎样将两种语言的信息结合呢。这种注意力模型设置了一个哨兵,能够控制目标语言流向源语言的信息,从而实现信息的整合。
Multilingual Projection:将ACE2005英文语料作为源语言,利用百度在线翻译获得平行的目标语言。采用GIZA++(MT中常用的工具)进行对齐。对源到目标以及目标到源分别进行对齐,最后利用grow-diag-finaland算法将二者结合。
Sentence Representation:Bi-GRU(Bi-RNN), Word Embedding, Entity Embedding, Position Embedding
Multilingual Information Integration:
Monolingual Context Attention Mechanism:首先计算源端:将每个词作为候选触发词,计算每个候选触发词的attention权重(首先计算候选触发词与上下文第i个词的相关性,再利用公式计算得到权重)。
目标端先找到源端每个候选触发词的对齐,再利用上述方法对目标端采用attention机制。
Gated Cross-Lingual Attention Mechanism:得到每个端的表示后将二者进行结合,采用两种结合策略。
1、 源端和目标端的信息重要程度一样,取平均
2、 源端和目标端的信息重要程度不一样,利用门控制从目标到源的信息。
Event Type Prediction:多分类问题,将源端候选触发词,目标端候选触发词和整合信息都作为输入,采用SoftMax得到分类结果。
关于论文的理解:Event Detection via Gated Multilingual Attention Mechanism_第1张图片
关于论文的理解:Event Detection via Gated Multilingual Attention Mechanism_第2张图片
关于论文的理解:Event Detection via Gated Multilingual Attention Mechanism_第3张图片

你可能感兴趣的:(关于论文的理解:Event Detection via Gated Multilingual Attention Mechanism)