Learning to Ask Neural Question Generation for Reading Comprehension

Learning to Ask: Neural Question Generation for Reading Comprehension

学会提问：阅读理解的神经性问题生成

1 Abstract

本文提出了一个基于注意力的序列学习模型，研究了对句子级信息和段落信息进行编码的效果。

tfcode

1 Introduction

问题生成QG的目的是从给定的句子或段落中产生自然的问题。如图1所示：

自然的问题通常压缩其句子，使用段落中术语的同义词(question2的“form”代替原文的"produce")，或者应用来自前面的句子或从句的实体

2 Model

2.1 Task Definition

给定一个输入句子$\mathrm{x}$，目标是生成一个与句子中的信息相关的自然问题$y$，$y$可以是任意长度的序列:$[y_1,...,y_{|y|}]$。若输入句子的长度为M，则$\mathrm{x}$可以表示为tokens的序列$x_1,...,x_M$。QG任务被定义为finding $\stackrel{-}{y}$：
$$\stackrel{-}{y}=\underset{y}{\mathrm{argmax}}P(y|\mathrm{x})\text{\hspace{1em}(1)}$$
其中$P(y|\mathrm{x})$是给定输入$\mathrm{x}$的预测问题序列$y$的条件对数似然。

2.2 Overview

为了提出一个问题，人们首先会注意到输入句子的某些部分，以及与段落中的上下文信息相关联，本文的模型就是基于这种方法。首先使用RNN编码器架构对条件概率进行建模，然后采用全局注意力机制使模型在解码过程中生成每个单词时专注于输入的某些元素。

本文对context进行了两种编码：1.只编码句子；2.同时编码句子和段级信息。

2.3 Decoder

将公式1中的条件因式分解为词级预测的乘积：
$$P(y|\mathrm{x})=\prod _{t=1}^{|y|}(y_t|\mathrm{x},y_{<t})\text{\hspace{1em}(2)}$$
基于先前生成的所有单词(y$\mathrm{x}$来预测每个$y_t$的概率。
$$P(y_t|\mathrm{x},y_{<t})=softmax(W_{s}tanh(W_t[h_t;c_t]))\text{\hspace{1em}(3)}$$
其中$h_t$是在时间步t的递归神经网络的状态变量，$c_t$是在解码时间步$t$的$\mathrm{x}$的基于注意力的编码。
$$h_t=LST{M}_1(y_{t-1},h_{t-1})\text{\hspace{1em}(4)}$$
将先前生成的单词$y_{t-1}$的表示和先前状态$h_{t-1}$作为LSTM的输入，获得新的隐状态$h_t$。

2.4 Encoder

Attention-based sentence encoder
$$\begin{gathered} \overrightarrow{b_t}=\overrightarrow{LST{M}_2}(x_t,\overrightarrow{b_{t-1}}) \\ \overleftarrow{b_t}=\overleftarrow{LST{M}_2}(x_t,\overleftarrow{b_{t+1}}) \end{gathered}$$

$$c_t=\sum _{i=1,...,|\mathrm{x}|}{a}_{i,t}{b}_i$$

通过双线性评分函数和softmax归一化计算注意力权重：
$$a_{i,t}=\frac{exp(h_t^T{W}_b{b}_i)}{{\sum }_{j}exp(h_t^T{W}_b{b}_j)}$$
Paragraph encoder

给定句子$\mathrm{x}$，对包含$\mathrm{x}$的段落进行编码。对较长的段落进行硬截断，截断后的段落也叫段落，将段落表示为$z$，然后用BiLSTM进行编码:
$$\begin{gathered} \overrightarrow{d_t}=\overrightarrow{LST{M}_3}(z_t,\overrightarrow{d_{t-1}}) \\ \overleftarrow{d_t}=\overleftarrow{LST{M}_3}(z_t,\overleftarrow{d_{t+1}}) \end{gathered}$$

2.5 Training

给出sentence-question对的训练语料库：
$$S=\{(x^{(i)}),y^{(i)}{\}}_{i=1}^S$$
对目标函数进行最小化负对数似然：
$$\begin{gathered} L=-\sum _{i=1}^{S}logP(y^{(i)}|{\mathrm{x}}^{(i)};\theta ) \\ =-\sum _{i=1}^S\sum _{j=1}^{|y^{(i)}|}logP(y_j^{(i)}|x^{(i)},y_{<j}^{(i)};\theta ) \end{gathered}$$
使用波束搜索进行推理。

由于输入句子中可能有许多不在目标端词典中的生词，在解码过程中将输出许多$UNK$标记。对于在时间步t处解码$UNK$ token，，本文将其替换为具有最高注意力分数的输入句子中的token，其索引为$argmax{\mathrm{x}}_i{a}_{i,t}$

3 启示

1. 代码写的太拉胯了，一点不想看
2. 感觉文章讲的不清不楚