动手实现 Bahdanau 注意力模型

前一篇我们学习了 seq2seq 模型，从它的模型结构中我们可以看到存在两个瓶颈：

例如，当我们用 seq2seq 翻译一句话时，它的 Encoder 需要将原始句子中的主语，谓语，宾语，以及主谓宾之间的关系等信息都压缩到一个固定长度的上下文向量中，这个向量的长度通常只是 128 或者 256，如果输入数据很长时，就会有很多信息无法被压缩进这么短的向量中。

另一个瓶颈是，这个上下文向量在 Decoder 中只是在最开始的时候传递一次，之后都要靠 Decoder 自己的 LSTM 单元的记忆能力去传递信息，这样当遇到长句子时，记忆能力也是有限的。

于是为了改善这两个问题，Bahdanau 在 2015 年首次提出注意力模型。

在这个注意力模型中，Decoder 的每一个时间步都可以访问到 Encoder 的所有状态信息，这样记忆问题得以改善，而且在 Decoder 的不同时间步可以对 Encoder 中不同的时间步予以不同程度的关注，这样重要信息不会被淹没。

我们来更直观地对比看一下有和没有注意力机制的 seq2seq 模型有什么区别：

在没有注意力的 seq2seq 中，上下文向量是 Encoder 最后的隐向量，在 Attention 中，上下文向量是这些隐向量的加权平均。

在没有注意力的 seq2seq 中，上下文向量只是在 Decoder 开始时输入进去，在 Attention 中&#x