[nlp] Encoder-decoder模型&Attention机制

参考链接：https://zhuanlan.zhihu.com/p/47063917
https://medium.com/syncedreview/a-brief-overview-of-attention-mechanism-13c578ba9129

https://blog.csdn.net/hahajinbu/article/details/81940355
回顾RNN，

要设置max_len , 选择多少个值作为输入。

Encoder-Decoder结构

之前的Neural Machine Translation(一下简称NMT)模型中，通常的配置是encoder-decoder结构，即encoder读取输入的句子将其转换为定长的一个向量，然后decoder再将这个向量翻译成对应的目标语言的文字。

通常encoder及decoder均采用RNN结构如LSTM或GRU等，如下图所示，我们利用encoder RNN将输入语句信息总结到最后一个hidden vector中，并将其作为decoder初始的hidden vector，利用decoder解码成对应的其他语言中的文字。

Attention机制

在翻译每一个词的时候，都更注意这个词。