encoder-decoder/attention model小结（11_27组会）

1 encoder-decoder

主要摘自https://blog.csdn.net/xbinworld/article/details/54605408

编码：输入序列转化成固定长度的向量
解码：固定长度的向量转化成输出序列
不妨假设encoder模型和decoder模型都是RNN，

局限性：
编码器将整个序列的信息压缩到一个固定长度的向量中，导致语义向量无法完全表示整个序列的信息，而且先输入的内容携带的信息会被后输入的信息稀释掉

2 attention model

主要摘自：https://blog.csdn.net/xbinworld/article/details/54607525和https://blog.csdn.net/wangyanbeilin/article/details/81350683
https://blog.csdn.net/TG229dvt5I93mxaQ5A6U/article/details/78422216
根据博文中的例子

• 输入：Tom chase Jerry
• 输出：“汤姆”，“追逐”，“杰瑞”
• 问题：在翻译“杰瑞”的时候，应体现出英文单词对于翻译当前中文单词不同的影响程度
  比较理想的情况应该是：

即attention函数会对每个输入生成一个分配系数，用来得到attention value

attention model的成本

需要为每个输入输出组会分别计算系数，50个单词的输入序列和50个单词的输出序列需要计算2500个系数。