【论文阅读】Get To The Point: Summarization with Pointer-Generator Networks
Abstract：
说明了一般文本摘要模型存在的问题：
- 生成的摘要内容不准确
- 容易产生重复的内容
针对存在的问题提出对应解决之道，在标准seq2seq+attention的基础之上做了改进：
- 采用Pointer-Generator Network,在保留生成新词的同时，还可以从原文中抽取内容，促使生成更准确的摘要
- 使用Coverage记录已经生成的内容，从而减少内容重复
Introduction:
Abstract 部分的扩充，介绍了抽取式和生成式两种产生摘要的方式，并说明存在的问题，这里列出了三个，比Abstract部分多了一个：不能处理OOV（out-of-vocabulary）词汇。Pointer-Generator Network可以从原文中抽取内容，所以可以处理OOV问题，可以看作是抽取式和生成式的一个综合。coverage对于消除重复非常有效。
Our Models:
介绍了文章所采用的产生摘要的模型：
- 基线模型：seq2seq
- pointer-generator模型
- coverage机制，可以组合到上面连个模型。
基线模型：
标准的seq2seq模型+Attention机制：
这里是一个标准的attention计算。
是encoder的第i个hidden_state，
是t时刻decoder的状态，
,
,
是学习参数。attention计算一般使用
或者
,使用说明是先经过decoder单元（LSTM或者GRU，这里使用的LSTM）之后，再使用其输出来计算attention。使用则表示使用上一个单元（t-1时刻）的hidden_state先计算attention，得到context vector,将其作为t时刻单元的输入。
利用LSTM单元的输出和context vector计算词的概率，并定义其损失函数。
Pointer-generator network:
这部分主要介绍了Pointer-generator network的结构。
增加
，区间范围[0,1],表示decoder网络生成一个vocab中的词，还是从原文本中抽取一个词的概率。的计算公式如下所示：
包含了attention， t时刻decoder的输入
, t时刻decoder的hidden_state 。
在生成下一个词时，综合考虑生成和抽取两种方式，而不是公式（4）表示的只考虑生成的情况。其计算公式如（9），第二部分表示从原文本中抽取一个词的分布概率，其中
表示前式中attention的权重。
Coverage mechanism:
实现方式，在计算t时刻的attention，即context vector 时，不仅仅考虑t时刻的hidden_state, 同时考虑已经生成的内容，这里通过0到t-1时刻的计算attention的权重
来体现，权重比较大的词表示已经考虑过了，在后面的计算过程中减少其比重。计算公式：
同时，式（1）中计算权重矩阵的公式也做了相应修改，如式（11）。
定义了coverage loss，这在实验部分被证明时非常有必要的。关于这个损失函数的定义，个人也不太理解，如果有比较好的理解，欢迎留言交流。
整体的损失函数：
Related work：
这部分主要介绍了相关工作，并介绍了论文采用的结构和以前的工作的结构的不同之处。
- 使用：使我们能够一次完成提高或降低生成单词或复制单词的概率。
- 使用attention的分布权重作为从原文中抽取词的概率分布：因为两个分布有相同的目的，因此采用简单的重复利用就足够了
- 当一个词在原文本中出现多次时，注意力分布中所有对应部分的概率权重相加：因为当一个词在原文本中出现多次时，指针机制经常会采用复制抽取的方式
- coverage：以前的工作采用一个GRU单元来计算每一步的coverage vector，这里采用简单加和历史attention权重的方式，更加简单，并且满足需求。