Effective Approaches to Attention-based Neural Machine Translation

• 时间: 2015 EMNLP
• 作者&机构： 斯坦福大学计算机科学学院

Abstract

Attention机制在NMT中应用，在翻译时去关注部分source端的句子。
这篇文章是对于attention-based NMT的改进。

• global approach
• local approach

并且取得了显著的效果

Model

• Global Model
  看看图就行，即是最常见的
  

  Global Model

• Local attention model
  即是将attention限制在某个位置：
  这时候是以为中心，D为单侧长度,即
  如图:
  

  Local Model

在这里的选择就分为2种：

• local-m ：
• local-p ：
  这时候权重的定义为：

END