An End-to-End Document-level Framework for Chinese Financial Event Extraction论文笔记

背景

1. 持续经济增长使数字金融文件爆炸式增长,急需事件抽取帮助人民提取有价值的结构化信息.
2. DCFEE不适用于文档级多事件任务

挑战

事件参数总分散在不同句子中,甚至多个此类事件提及共存于同一份文件,为此提出了端到端模型,可以基于实体的有向无环图来有效实现文档级事件抽取.

数据集

1. realworld,由大规模财务公告组成
2. ChFinAnn文件包含中国股市上市公司的第一手官方披露

贡献

提出了一种新颖的模型Doc2EDAG,该模型可以直接基于文档生成事件表,为了有效地解决DEE的独特挑战,重新设计一个没有触发词的DEE任务,以简化基于DS的文档级事件标记Doc2EDAG的关键思想是将表格事件记录转换为EDAG,并让模型学习基于文档级上下文生成EDAG

模型

模型总结：将文档 d 表示为句子序列 [s1; s2; ···； sNs ]，每个句子 si ∈ Rdw×Nw 由一系列令牌嵌入组成，实体识别用BI-LSTM-CRF 经典模型，因为我们的任务与上下文有关，基于transform的强大功能，我们将LSTM换成Transform并命名为Transformer-1(si)进行BIO（实体标注），由于实体提及通常有多个可变长token，我们首先通过对其token嵌入进行最大池操作来为每个实体提及获得固定大小的嵌入。我们对 [hi,j , · · · , hi,k] 进行最大池化以获得实体提及嵌入 el ∈ Rdw 。对于每个句子 si，我们还对编码的令牌序列 [hi,1,····, hi,Nw] 进行最大池化操作，以获得单个句子嵌入 ci ∈ Rdw。在这些操作之后，提及和句子嵌入共享相同的嵌入大小 dw。这时只获取了实体与句子局部上下文的编码，要想获取文档级上下文，我们添加了句子位置的消息并且将他们放入Transform-2，再次利用最大池操作将具有相同实体表面名称的多个提及嵌入合并到单个嵌入中，我们可以通过对句子张量 cd ∈ Rdw×Ns 进行最大池化来获得文档嵌入 t ∈ Rdw，并在 t 上堆叠一个线性分类器来进行事件触发分类每个事件类型。

接下来先介绍EDAG

构建:先从表格事件记录中构建EDAG.对于每种事件类型,首先手动定义一个事件角色顺序.然后,按照此顺序将每个事件记录转换为参数的链接列表,其中每个参数节点是一个实体或空参数A.最后,我们通过共享相同的前缀路径将这些链接列表合并到EDAG中.
生成:假设事件触发作为起始节点(初始EDAG),按照预定义的事件角色顺序,会出现一系列路径扩展子任务.在考虑某个角色时,对于当前EDAG的每个叶子节点,都有一个路径扩展子任务来决定要扩展哪些实体.
对于每个要扩展的实体,为当前角色创建该实体的新节点,并通过将当前叶节点连接到新实体节点来扩展路径.
如果没有实体对扩展有效,我们创建一个A节点.当当前角色的所有子任务完成时,我们会移动到下一个角色并重复直到最后一个角色.

接着介绍模型

接着从触发分类器后的路径扩展子任务讲，我们将其看做多个二分类问题的集合，即预测所有实体的扩展（1）或不扩展（0）。其中，m为记忆机制，是为了了解路径中已包含的实体。首先用句子张量cd进行初始化，在扩展路径时，通过附加关联实体或者NA来更新m。
为了能够感知当前路径状态、历史上下文和当前事件角色，将记忆张量m和实体张量ed连接起来，然后将它们与可训练的事件角色指示符嵌入一起，并使用第三个转换器模块Transformer-3对其进行编码。最后，我们从Transformer-3的输出中提取丰富的实体张量er，并在er上叠加一个线性分类器来进行路径扩展分类。

结论

消融实验

从消融实验看，在这里，记忆机制提升较高；采样政策，文档级编码也分别有5和2的贡献

EF:股权冻结 EO:股权增持 ER:股权回购
EP:股权质押 EU:股权减持