事件识别与抽取联合模型论文总结(later 2015)

相关论文一览

方法	联合方法	神经网络	特征编码融合特征	元素依赖融合特征
陈(2015)1	否	动态多池化CNN	词嵌入、位置特征、类型特征	无
Nguyen(2016)2	是	双向 RNN	词嵌入、实体类型、依赖树中词语依赖边关系	记忆向量/矩阵（触发词/论元）
陈 (2016)3	是	双向 LSTM（多池化）	词嵌入、skip-window CNN特征	张量层（事件论元）
sha (2018)4	是	双向 LSTM	依存关系	论元关系张量
丁 (2018) 5	否	RNN	词嵌入、词性特征、词语位置特征、事件类型特征	multi-attention
刘(2018)6	是	双向 LSTM + 图卷积网络	词嵌入、词性特征、词语位置特征、实体类型特征	自注意力机制、句法捷径弧
Nguyen(2019)7	是	双向 GRU	词嵌入、词性特征、BIO标注特征、句法树依赖关系	共享隐藏信息层

论文分析

陈（2015）（ACL 2015） 使用的是 pipeline 方法，开了使用 DNN 解决 EE 任务的先河，并提出了可以自动提取词汇级与句子级特征的动态多池化 CNN 模型以提取句子中多个特征，并加入了位置特征向量、事件类型特征向量来加强句子整体感知，取得了当时的最好成果，但是存在未能充分捕捉句子中事件触发词、论元等元素之间的依赖关系以及pipeline 方法本身存在的错误传播等问题。

Nguyen(2016) 等人首次将 RNN 模型应用到事件联合抽取任务。通过使用双向 RNN 模型避免了 pipeline 方法本身的错误传播问题，并通过使用触发词记忆向量、论元记忆矩阵等特征进一步加强了句子中各事件元素等依赖关系感知，进一步提升了事件抽取的效果。

陈（2016）（全国计算语言学会议 2016 最佳论文）等人使用双向 LSTM 网络并结合了动态多池化的操作构建了事件联合抽取模型，通过双向 LSTM 加强了模型对句子上下文的语义感知能力，并使用一个张量层来进行对事件论元元素间的依赖关系建模和预测，取得了较好的事件抽取效果。

Sha(2018) 等人为了解决前人在设计模型结构的时候没有使用好句法的特征以及没有很好地对潜在论元元素间的关系进行建模等问题，提出能将依存关系融入框架的 Dependency-Bridge RNN 结构，将依存关系编码进RNN的输出，并同时提出 Tensor-Based Argument Interaction 方法来建模论元元素间的关系，例如语义相关、依存相关、共现关系等，并通过实验证明，该方法明显提高了模型性能。

丁（2018）等人为了解决一词多义及事件元素长依赖问题，提出了一种结合multi-attention 层及深层上下文语义表征的模型。该模型在特征编码阶段主要通过预训练语言模型表征输入文本加上词语词性、位置和事件类型等特征向量加强了模型的深层语义感知能力解决一词多义问题，并通过在模型中加入 multi-attention 层加强了对事件元素关系依赖问题的表征，较好的解决事件论元的关系推断问题。

刘（2018）等人提出了从一个句子中抽取多个触发词的 JMEE 模型，以此来提升对事件类型判别的准确度。该模型通过使用句法上的捷径弧(shotcut arcs)解决对句子中的长距离依赖问题。同时使用了图卷积网络(GCN)模型来生成每个单词（图中的节点）的向量表示并完成对句法树对建模，最后使用自注意力机制来同时对多个触发词及其论元元素进行提取，取得了较好的成果。

Nguyen（2019）等人提出一种基于共享隐藏信息特征表示的事件联合抽取模型，将实体发现、触发词提取、论元提取及角色分类等任务同时完成。通过使用基本的词法特征及双向 GRU 网络对文本信息进行表示学习，并将学习得到的上下文信息嵌入在三个不同的子任务间进行共享，该模型没有过多的依赖句法树等信息，并取得了较好的效果。

国内外在事件抽取领域的研究主要聚焦于两点：（1）增强文本深层语义编码表示；（2）增强事件触发词及论元元素间长依赖关系建模。

Reference

---

1. Event Extraction via Dynamic Multi-Pooling Convolutional Neural Networks, ACL 2015 ↩︎

2. Joint Event Extraction via Recurrent Neural Networks, NAACL 2016 ↩︎

3. Y. Chen, S. Liu, S. He, K. Liu, and J. Zhao, ‘‘Event extraction via bidirectional long short-term memory tensor neural networks,’’ in Chi- nese Computational Linguistics and Natural Language Processing Based on Naturally Annotated Big Data. Cham, Switzerland: Springer, 2016, pp. 190–203 ↩︎

4. Sha, Lei, et al. “Jointly extracting event triggers and arguments by dependency-bridge rnn and tensor-based argument interaction.” Thirty-Second AAAI Conference on Artificial Intelligence. 2018. ↩︎

5. R. Ding and Z. Li, ‘‘Event extraction with deep contextualized word representation and multi-attention layer,’’ in Proc. Int. Conf. Adv. Data Mining Appl., 2018, pp. 189–201. ↩︎

6. X. Liu, Z. Luo, and H. Huang, ‘‘Jointly multiple events extraction via attention-based graph information aggregation,’’ in Proc. Conf. Empirical Methods Natural Lang. Process., 2018, pp. 1247–1256. ↩︎

7. T. M. Nguyen and T. H. Nguyen, ‘‘One for all: Neural joint modeling of entities and events,’’ in Proc. 33rd AAAI Conf. Artif. Intell., vol. 33, 2019, pp. 6851–6858. ↩︎