A Neural Attention Model for Abstractive Sentence Summarization 阅读笔记

A Neural Attention Model for Abstractive Sentence Summarization

• Alexander M. Rush et al., Facebook AI Research/Harvard
• EMNLP2015
• sentence level
• seq2seq模型在2014年提出，这篇论文是将seq2seq模型应用在abstractive summarization任务上比较早期的论文。同组的人还发表了一篇NAACL2016（Sumit Chopra, Facebook AI Research_Abstractive sentence summarization with attentive recurrent neural networks）（作者都差不多），在这篇的基础上做了更多的改进，效果也更好。这两篇都是在abstractive summarization任务上使用seq2seq模型的经典baseline。
• 目标函数是negative log likelihood，使用mini-batch SGD优化

• 本文提出了3种encoder，重点在于Attention-based encoder

  • bag-of-words encoder
  • Conv encoder: 参考TextCNN，没有做过多的其他改动
  • Attention-based encoder:
    x: 原始文本

  y_c: 上下文单词（已经输出的摘要内容）
  
  

• 生成摘要使用Beam Search算法
• 本模型效果并不让人满意

• 性能(ABS)

  • DUC-2004: Rouge-1:26.55/Rouge-2:7.06/Rouge-L:22.05
  • Gigaword: Rouge-1:30.88/Rouge-2:12.65/Rouge-L:28.34