2018-08-22 Attention模型

完全图解RNN、RNN变体、Seq2Seq、Attention机制
https://zhuanlan.zhihu.com/p/28054589

真正的完全图解Seq2Seq Attention模型
https://zhuanlan.zhihu.com/p/40920384

Attention-over-Attention Neural Networks for Reading Comprehension
https://zhuanlan.zhihu.com/p/21677266
本文模型最大的特点就是不仅仅考虑query到document的attention，而且考虑了document到query的attention，即所谓的attention over attention，在Cloze-style阅读理解任务中取得了更好的结果。同时，作者在未来的工作中，准备将该模型拓展到其他任务中。
attention是一个非常好的机制，将很多任务的benchmark都提高到了很高的水平，是一个革命性的模型。围绕attention的变种做工作，提出各种各样的attention，虽然可以刷新各种任务，但终究不再能够将研究水平提升一个level，需要一个新的机制、新的思想来推动nlp的发展。

attention模型方法综述
https://zhuanlan.zhihu.com/p/37835894