《Dynamically Fused Graph Network for Multi-hop Reasoning》 论文笔记

Dynamically Fused Graph Network for Multi-hop Reasoning 论文笔记

2019ACL，SJTU & ByteDance，这是一篇融合了图表示学习来做多跳推理的文章。

Overview

本文作者提出的模型叫做DFGN，作者首先谈到HotpotQA这种类型的数据集带给人们两大挑战：

1. 数据集中给出的paragraph并不都是与问题相关的，模型需要过滤掉噪声。针对这一问题，之前的工作提出构建基于paragraph的entity graph，然后通过图神经网络对entity graph进行建模。但是作者认为之前的工作有一个缺点：对于每一个QA pair，之前的工作都是在一个静态的、全局的entity graph上进行推理。相反，作者在本文提出在动态的、局部的entity graph上建模效果更好。
2. 之前的工作通常是将document的信息聚合到entity graph中，然后直接在entity graph上推理答案。但是作者认为很多时候答案可能根本不在entity graph当中。因此本文设计出了一个dynamic fusion layer，这个模块不仅包含document到entity的信息传递，还包含经过embedding后的entity到document的信息回传，最终再根据更新后的document得到答案。

总结一下DFGN模型，模型从问题中的实体出发，根据paragraph构建起一张与问题实体相关的动态的entity graph，然后fusion模块会对entity graph进行建模并完成实体与文本之间的信息传递，document的向量表示也随之更新。上述的过程不断的迭代，模型就得到了一条reasoning chain，最终得到答案。

DFGN

上图就是DFGN模型的整体架构，可以看出模型主要分为五大模块：

• Paragraph Selector
• Entity Graph Constructor
• Context and Query Encoder
• Fusion Block
• Prediction Block

Paragraph Selector

这个模块主要是用于过滤噪声段落，本文之前采用了先前的工作。用BERT来对所有的句子进行编码，做一个句子分类任务。作者把所有包含至少一条supporting fact的段落视为正例。在inference阶段，所有预测得分高于0.1的段落被选取出来，拼接到一起得到$C$。

Entity Graph Constructor

对于实体图，本文采取的方法是先对$C$进行NER，提取出所有的候选实体，然后开始连边。边有三种类型：

1. 出现在同一个句子中的两个实体（sentence-level link）
2. 具有相同mention text的两个实体（context-level link）
3. 中心实体与其他出现在同一paragraph中的实体（paragraph-level link）

Context and Query Encoder

对于问题和段落的编码，本文直接采用BERT，然后再经过一层bi-attention，得到$Q_0\in R^{L\times 2d_2}$和$C_0\in R{}^{M\times 2d_2}$。

Fusion Block

fusion模块是本文的核心，主要包含三个子模块：

1. Document to Graph Flow：根据document的向量表示得到Entity Graph中实体的向量表示
2. Dynamic Graph Attention：通过GAT模型对Entity Graph进行建模
3. Graph to Document Flow：将更新后的实体信息传递回document，并更新段落信息
   

Document to Graph Flow

这一模块作者也称作是Tok2Ent，实现方法是用一个binary mask $M$，$M_{ij}=1$表示文本中的第$i$个token出现在第$j$个实体的span里。然后用一个mean-max pooling得到实体的embedding $E_{t-1}\in R^{2d_2\times N}$。

Dynamic Graph Attention

对于图结构的建模本文采用的是GAT模型。但在这之前，作者先设计了一个soft mask，来得到Entity Graph中所有与query相关的实体，我觉得这个mask也是实现本文Introduction部分提到的dynamic local entity graph的关键。
$$\begin{gathered} q^{(t-1)}=MeanPooling(Q^{(t-1)}) \\ {\gamma }_i^{(t)}=q^{(t-1)}{V}_t{e}_i^{(t-1)}/\sqrt{d_2} \\ {m}^{(t)}=\sigma [{\gamma }_1^{(t)},{\gamma }_2^{(t)},\dots ,{\gamma }_1^{(t)}] \\ {E}^{(t-1)}=m^{(t)}\cdot E^{(t-1)} \end{gathered}$$
$V_t$是一个linear projection，可以看出这个mask的计算是通过attention + sigmoid来实现的。这里的mask是可训练的。

得到了mask后的实体向量表示，接下来套用GAT模型。
$$\begin{gathered} h_i^{(t)}=U{e}_i^{(t-1)}+b \\ {s}_{i,j}^{(t)}=LeakyReLu(W_t^T[h_i^{(t)};h_j^{(t)}]) \\ {\alpha }_{ij}^{(t)}=\frac{exp(s_{i,j}^{(t)})}{{\sum }_{k}exp(s_{i,k}^{(t)})} \end{gathered}$$
得到attention weight之后更新实体的向量表示：
$$e_i^{(t)}=ReLu(\sum _{j\in N_i}{\alpha }_{j,i}^{(t)}{h}_j^{(t)})$$

Graph to Document Flow

首先，作者对query进行了更新，因为当前时间步所访问到的新实体可能成为下一个时间步的start entity，因此对query的更新是必要的。更新的方式是Bi-Attention。
$$Q^{(t)}=Bi-Attention(Q^{(t-1)},E^{(t)})$$
接下来是信息的“反向传播”，即从graph传递到document，因此这一模块也被作者成为Graph2Doc。具体做法是，仍然使用Entity Graph Constructor中的$M$矩阵来对实体进行过滤，然后用LSTM得到更新后的document
$$C^{(t)}=LSTM(C^{(t-1)},M{E}^{(t)})$$

Prediction Block

HotpotQA一般有四个预测值：是否为supporting fact、answer start、answer end、question type。而本文的预测模块也是一个创新点，作者使用了级联的LSTM结构，四个LSTM层$F_i$叠在一起
$$\begin{gathered} O_{sup}=F_0([C^{(t)}]) \\ {O}_{start}=F_1([C^{(t)},O_{sup}]) \\ {O}_{end}=F_2([C^{(t)},O_{start},O_{sup}]) \\ {O}_{type}=F_3([C^{(t)},O_{end},O_{sup}]) \end{gathered}$$
而损失函数也是四者相加
$$L=L_{start}+L_{end}+{\lambda }_s{L}_{sup}+{\lambda }_t{L}_{type}$$

Experiment

再HotpotQA上的结果

消融实验

作者还做了case study

第二和第三个例子是bad case，可以通过第一个case来看一下DFGN的reasoning chain。首先Mask1，也就是$M$矩阵将问题中的相关实体提取出来，接着Mask2，也就是soft mask会把与答案实体相关的实体结点突出出来，最终得到答案。