深入理解Attention及变种(二)

Meet and understand Attention

        先来强烈吐槽一下CSDN的文本编辑器，垃圾、垃圾、垃圾，TMD太垃圾了！！！辛辛苦苦编辑好的博文突然就卡住了，格式什么的都变样了，心累。我只想说CSDN你再不努力，不好意思，我们就要抛弃你了，好自为之吧！！！今天是2018年12月21号，我们继续跟随小亮魔鬼的步伐在Attention大道上继续前进！这一部分内容非常重要，如果你前面深入理解Attention及变种(一)没看明白没关系，可以继续从这里开始，因为这里才是Attention的精髓！！！ 我是赵小亮，一枚NLP大道上的小白，今天我们一起来学Attention！用文字记载生活、用文字书写科研中的故事、用文字传播NLP领域的点点滴滴，你我共同成长！

        AI大餐预告：本周小亮主要讲解Attention系列专题，大概有八大板块，从Attention Mechanism的起源、历史、变种、相关论文《Attention Is All You Need》以及实战，还有一些思考，带领大家一起吃Attention这顿大餐！

笔者信息：Next_Legend QQ:1219154092 机器学习 自然语言处理 深度学习 统计概率论

小亮的博客：https://legendtianjin.github.io/NextLegend.github.io/ ——2018.12.21于北洋

---

四、Attention Mechanism及其变种

        今天我们就主讲Attention Mechanism及其变种，在这里你可以在传统的的Attention里面继续坚守，也可以在花式的Attention里面飞翔，注意不注意，关键在于你自己，注意力集中了，这里就懂了！！！(哈哈，是不是有点绕口令！) (PPT完整下载链接可以联系本人哈！或者查看小亮私人博客)

       今天的深入理解Attention及变种(二)内容就主要包括这一部分:Attention Mechanism及其变种。同时，也是最重要的一部分！！！我们最后再来回顾一下哈！

       从计算方式来讲，针对attention的变种主要有两种方式：

       1.在attention 向量的加权求和计算方式上进行创新

       (1) Soft attention、global attention、 动态attention

       (2) Hard attention

       (3) 静态attention

       (4)“半软半硬”的attention （local attention）

       (5)强制前向attention

       2.在attention score（匹配度或者叫权值）的计算方式上进行创新

       (1)点积attention score (Basic dot-product attention)

       (2)乘积attention score(Multiplicative attention)

       (3)加法attention score(Additive attention)

       3. 1&2

       (1) self attention

       (2) key-value attention

       (3) multi-head attention

       AI大预告：Attention及变种(三)内容主要包括Attention Is All You Need论文讲解！我们尽情收看小亮为大家准备的下一篇博文！很重要！很重要！！很重要！！！同样，重要的事情说三遍，自己衡量哈！