论文笔记 EMNLP 2021|Uncertain Local-to-Global Networks for Document-Level Event Factuality Identificatio

文章目录

    • 1 简介
      • 1.1 创新
    • 2 方法
      • 3.1 Local Uncertainty Estimation
      • 3.2 Uncertain Information Aggregation
      • 3.3 Reparameterization for Prediction
    • 3 实验

1 简介

论文题目:Uncertain Local-to-Global Networks for Document-Level Event Factuality Identification
论文来源:EMNLP 2021 自动化所
论文链接:https://aclanthology.org/2021.emnlp-main.207.pdf
代码链接:https://github.com/CPF-NLPR/ULGN4DocEFI

1.1 创新

  • 提出一个Uncertain Local-to-Global Network (ULGN)模型,通过利用局部的不确定信息和全局结构,完成文档级别的事件真实性识别。

2 方法

论文笔记 EMNLP 2021|Uncertain Local-to-Global Networks for Document-Level Event Factuality Identificatio_第1张图片
模型的总体框架如上图,主要包括下面三个部分:

3.1 Local Uncertainty Estimation

首先使用BERT进行编码,使用高斯分布估计局部信息的不确定性,均值和方差的计算公式如下:

论文笔记 EMNLP 2021|Uncertain Local-to-Global Networks for Document-Level Event Factuality Identificatio_第2张图片

3.2 Uncertain Information Aggregation

通过构造图,来融合局部信息,包括三种节点(提及节点、句子节点、文档节点)和五种边(句子-句子边、文档-句子边、文档-提及边、句子-提及边、提及-提及边)。
由于局部信息是一个概率分布,使用非确定图卷积进行卷积操作,然后使用基于方差的注意力机制进行加权,具体公式如下:

论文笔记 EMNLP 2021|Uncertain Local-to-Global Networks for Document-Level Event Factuality Identificatio_第3张图片
论文笔记 EMNLP 2021|Uncertain Local-to-Global Networks for Document-Level Event Factuality Identificatio_第4张图片
论文笔记 EMNLP 2021|Uncertain Local-to-Global Networks for Document-Level Event Factuality Identificatio_第5张图片

3.3 Reparameterization for Prediction

使用文档节点进行预测,由于采样影响梯度的计算,使用重新参数化技巧,同时使用KL散度约束第一层的向量表示为高斯分布,具体公式如下:

论文笔记 EMNLP 2021|Uncertain Local-to-Global Networks for Document-Level Event Factuality Identificatio_第6张图片
论文笔记 EMNLP 2021|Uncertain Local-to-Global Networks for Document-Level Event Factuality Identificatio_第7张图片
论文笔记 EMNLP 2021|Uncertain Local-to-Global Networks for Document-Level Event Factuality Identificatio_第8张图片
论文笔记 EMNLP 2021|Uncertain Local-to-Global Networks for Document-Level Event Factuality Identificatio_第9张图片

3 实验

实验数据集为英文和中文事件真实性识别数据集,实验结果如下:
论文笔记 EMNLP 2021|Uncertain Local-to-Global Networks for Document-Level Event Factuality Identificatio_第10张图片
消融实验结果如下:
论文笔记 EMNLP 2021|Uncertain Local-to-Global Networks for Document-Level Event Factuality Identificatio_第11张图片
论文笔记 EMNLP 2021|Uncertain Local-to-Global Networks for Document-Level Event Factuality Identificatio_第12张图片

文档中不同个数真实值的实验结果如下:
论文笔记 EMNLP 2021|Uncertain Local-to-Global Networks for Document-Level Event Factuality Identificatio_第13张图片

文档级的事件真实性识别结果如下:
论文笔记 EMNLP 2021|Uncertain Local-to-Global Networks for Document-Level Event Factuality Identificatio_第14张图片

你可能感兴趣的:(论文,NLP,事件真实性识别,自然语言处理)