生成对抗网络用于文本摘要生成

开始

生成对抗网络是最近较火的一种网络模型，其思想为二人零和博弈。即两个人总的利益是一个常数，如果一个人更强大那么他会获得更多的利益，但是二人的利益之和是保持不变的。在GAN中对应的生成模型和判别模型。
生成模型用于生成样本，判别模型用于判断样本真假。
现在生成对抗网络被用于对深度学习框架的攻击，通过训练生成对抗网络，最后由生成模型生成的噪声样本。让噪声样本不能被深度学习模型正确的识别出来。

模型介绍

• 生成模型

  首先介绍生成模型，生成模型的输入为要进行摘要提取的原文件，输出为生成的摘要。生成模型和一般的seq2seq模型一样，分为两层分别为encode层和decode层。其中encode所使用的是双向LSTM（bi-direction LSTM），decode所使用的是有注意力机制的LSTM（attention based LSTM） 。
  

  
  上面的公式表示所生成摘要的概率，其中 s_t 为decoder的状态，c_t 为decode之后的向量表示。和pointer-generator network相同，模型可以选择是从固定的单词表中取单词或者是直接从输入序列中取词来生成摘要。

• 判别模型

  判别模型用于区分摘要是由人为生成的还是由机器自动生成的，这其实是一个二分类问题。输入为摘要序列，输出为正负类的判断。该模型的损失函数由两部分组成policy gradient和the maximum-likelihood loss。形式化描述如下，β为在两种损失之间平衡所用的参数。
  

  

实验

和其他方法相比ROUGE-1,ROUGE-2,ROUGE-L都有一定的提升，最重要的是对于人来说可读性变高了，可以将此方法用于实际应用中了。