[论文笔记] ACL2019: 基于异构图进行多文档阅读理解任务

• ACL2019: Multi-hop Reading Comprehension across Multiple Documents by Reasoning over Heterogeneous Graphs
• 论文链接: https://www.aclweb.org/anthology/P19-1260.pdf

一. 介绍

由于当前针对机器阅读理解的研究主要是面向单篇文档或段落进行的，因此当单篇文档内容不足以支撑找到正确答案时，缺少能够通过对对篇文章进行推理的能力。如图1, 是通过多篇文章进行阅读推理的一则实例。基于现有工作，本文的motivation如下:

Motivation

• 传统的RC处理方法以及Zhong等人2019的工作通过文档级别和实体级别两种类型的attention 取得了SOTA实验效果，说明self-attention 和 co-attention 这两种在single-doc RC 任务中非常有用的方法对 multi-doc RC 任务也是有用的；

• 基于GCN的进行 multi-doc 任务的方法通过将 doc 中的 entity 或 entity-mentions 作为图中节点，取得了良好效果。

Proposed Model

本文引入了一种具有如下特点的新的图模型Heterogeneous Document-Entity graph (HDE)：

• HDE 图包含了代表不同粒度级别信息的不同类别的节点，具体包括candidates, documents 和 entities三类节点；另外，还通过 self-attention 和 co-attention 两种机制来学习 candidate、documents 和 entity 的与查询问题相关的表示(query-aware representation).

• HDE 能够丰富不同类型节点间的信息传播，从而提高 RC 的准确性；不同类型节点与不同类型的边相连，使得 query(问题) 与 document(文档) 和 candidate(候选答案) 间的结构信息得到增强。

• 通过消融实验分析了 HDE 的性能，且 HDE 单个模型取得了 WikiHOP数据集上的SOTA效果。

二. 相关工作

首先，作者简要介绍了本文工作与其他现有工作的不同:

• 与已有基于GCN的方法不同，本文的 HDE 图模型中包含不止一种类型的图节点, 从而融入了不同粒度的信息；

• 以往用 self-attention 和 co-attention 的方法都通过NER和实体消解计算了可能的推理路径的分数， 而本文的HDE则不存在这两个模块，而是通过图结构进行多跳的推理(multi-hop reasoning)。

然后作者介绍了RC的相关工作以及GCN在NLP中应用的相关工作。

三. 本文方法

本文的方法大致可以分为三个模块:

• 通过 co-attention 对HDE图中节点的初始化
• 基于 self-attention 的上下文编码(Context encoding)
• 基于GNN消息传递在HDE上的推理，以及根据HDE节点表示的分数计算

Context encoding

• RC问题的输入包括:
  • 形如 $(s,r,?)$ 表示 subject, relation 和 unknown object 的query
  • 供查询的 support documents $S_q$
  • 候选答案集合 $C_q$
  • 任务目标是找出与 query 对应的正确答案 $a^{\ast }$

通过 Bi-GRU 对 query, supporting docs 和 candidates进行编码。

• 实体抽取
  使用 De Cal 2018 等人的方法抽取出文档中的 query subject 和 candidates 对应的实体mentions: 先找到entity mention 在document中对应的开始和结束位置，然后取出doc context representatoin 中对应的部分作为实体的表示。

• Co-attention
  co-attention能够使query的信息和document的信息彼此融合。令 $H_q\in {\mathbb{R}}^{l_q\times h}$ 表示 query， $H_q\in {\mathbb{R}}^{l_s^i\times h}$ 表示 document , 则
  
  其中 $A_{qs}^i$ 的元素表示 query 和 document 中 words 的对应关系。为了简写，表示第 $i$ 篇文章的上标 $i$ 将在后文被省略。

然后计算 document 和 query 之间的attention:

再通过GRU的计算单元 $f$ 计算 co-attended document context:

最终得到 co-attention 的上下文表示为:

• $S_{ca}$ 携带了支持集篇章感知query的上下文信息(query-aware contextual information of support documents), 同样的 co-attention 操作也在 query 和 candidate 之间、query 和 entities 之间进行， 得到 $C_{ca}$ 和 $E_{ca}$。

• Self-attentive pooling:
  Self-attentive pooling 通过选择 $S_{ca}$ 的重要信息，将序列上下文信息的表示转化为固定维度的序列特征向量。Self-attention 通过对序列中每个 word 计算一个分值，并通过加权和的方法得到整合后的信息表示：
  
  通过同样方法计算得到 $c_{sa}$ 和 $e_{sa}$。

Reasoning over HDE

• HDE构图:

  • 将 documents、candidates 和 文中抽取出的 entities 作为节点：
    • documents 节点: 编码与query相关的篇章级别的上下文信息；
    • candidate节点: 编码candidates中的query感知信息(query-aware information);
    • entity节点: 编码特定篇章上下文或 query subject 的对query感知(query-aware)信息；
      HDE 能够利用 query、support docs 和 candidates 间的结构信息；self-attention pooling 产生的表示可以作为这三类节点在图中的初始化表示。
  • HDE包含如下七种边类型:
    
    有区分地对待这些不同类型的边，从而使不同边上具有不同的信息传递。

• Message Passing
  图上的消息传递一般包括aggregation 和 combination两部分； HDE 首先从邻居节点聚合信息:
  
  其中 $f_r$ 表示对通过MLP对邻居节点的表示进行转换; $z_i^k$ 表示对节点 $i$ 进行信息聚合后的表示，它将与节点原表示进行融合:
  
  其中 $f_s$ 表示特征转换的 MLP.

由于GCN存在over-smoothing的缺点，因此在信息融合时又加入了gate mechanism:

经过 $K$ 轮的 Message Passing, HDE中的节点都得到了各自的表示；

Score accumulation

最后通过如下公式计算classification score, $H^C$ 是所有 candidates 节点的表示，$H^E$ 是与candidate 相关entities 节点的表示，$AC{C}_{max}$ 是取出属于同一候选的实体分数的最大值 (takes the maximum over score of entities that belong to the same candidate 中文太吐血了…)
最终得到的分数向量 $a$ 是关于所有 candidate 的概率分布，概率值最大的即为预测结果。

四. 实验

实验部分首先介绍了数据集、实验设置 和 实验结果，并进行了如 Table3所示的实验分析，最后介绍了消融实验，结果如下表示:

了解更多论文分享信息，请关注公众号深度学习的知识小屋