从attention到transformer

attention机制最早是应用于图像领域，2014年由Bahdanau等人在论文Neural Machine Translation by Jointly Learning to Align and Translate中首次将attention机制应于NLP领域，其在seq2seq机器翻译中取得显著效果，在随后的几年attention得到越来越广泛的应用，尤其是NLP领域。这里对attention机制做个梳理。

(soft) attention

   传统的seq2seq模型由encoder-decoder组成，在翻译任务中，encoder端将待翻译的语句作为input，对input中的每个word 依次喂入rnn，得到对应的隐藏状态 ，常见的方法是将最后一个状态 作为固定的context vector C（其他方法请参照下图，C由隐藏状态通过一个非线性函数获得），然后dencoder端拿到这个C向量解码获得目标语句。这种做好就好像是我给你一个输入，这个输入可能是一个短语、一句话、甚至一篇文档，你看了一遍之后就不在看了，然后默默地根据脑海里记得的进行翻译，如果我给你的是短语或者一句话还好，如果是一篇文档就GG了，很难只看一遍就能把整个文档翻译出来的嘛。cho等人还专门对这种框架的翻译效果做了论证，结论是待翻译的输入句子越长，翻译质量下降越厉害。

image

Bahdanau等人将attention应用于翻译中，在decoder端每次解码的时候使用的context向量C都是不一样的。
下图展示了encoder端的隐藏状态是如何影响decoder端的目标词汇的。

image

通过以下两个公式也可以看出来：
在预测的时候，传统的seq2seq是求条件概率：

image

使用attention之后是求条件概率：

image

   现在来看看attention是怎么应用的，还是encoder端将待翻译的语句作为input，对input中的每个word

依次喂入rnn（论文里面是使用了双向GRU，但这不是重点），得到对应的隐藏状态

，我们先初始化decoder端的隐藏状态

，拿过来跟encoder端的每个隐藏状态放入一个非线性函数做一个match，得到一系列的标量

。
   这里的match函数种类还蛮多的，没有统一的规范，最终的目的是每个encoder端的隐藏状态会得到一个数值，这个数值表示decoder端该时刻输出与输入相应word的匹配程度，你可以使用余弦函数求余弦值也可以通过一个线性层得到，这个match函数里面的参数可以作为整个网络的参数一起学习更新，下图列出了常用的三种方法

image

   在计算得到

之后，经过一个softmax层，得到

和为1的权重系数，再用这个权重系数与对应的encoder端隐藏状态

做加权求和得到最终的向量

。对于其他时刻的decoder也如法炮制，看下图就会很清晰了

image

   为了比较attention的突出效果，论文中分别训练了四个模型：RNNenc-30、RNNenc-50、RNNsearch-30、RNNsearch-50；RNNenc是传统的seq2seq模型，RNNsearch是加了attention的seq2seq模型，30 和50代表句子长度，除了attention 模型中的encoder使用了双向GRU，其他参数配置跟传统模型的参数配置一样，用Adatlta优化器训练了近5天效果如下左图，右图是翻译的时候，encoder端的输入对decoder端的每个输出的权重。

image

   可以看到，attention的提升效果还是很明显的，尤其是在长句子上，RNNsearch-50甚至在更长的句子上表现也比较平稳。

hard attention

   Kelvin等人在图像主题生成中提出了soft attention 和 hard attention 两个概念，上面提及的是soft attention，soft 和 hard attention 是相对的，soft attention 是decoder每次输出都会对encoder端的所有hidden state 都计算权重，并且每个hidden state 的权重是不一样的，而hard attention 每次只关注一个位置，论文将要关注的位置 作为一个变量，让模型自己去在生成主题的时候应该关注哪个位置，关注的位置对应取值为1，其他位置取值为0，也就是一个one-hot的向量。一个显而易见的问题就是，将one-hot放到网络里面是不可微的，然后作者就做了一系列的转换，这个在实际实施过程中还是比较麻烦的。

image

   作者将这两个类型的attention应用于Image Caption Generation，均取得了不错的效果，其中hard attention 比soft attention 要好那么一丢丢。

global attention

   Luong等人同样也是从如何更好地生成动态的context向量C入手考虑，在论文《Effective Approaches to Attention-based Neural Machine Translation》 提出了global attention 和 local attention。 global attention其实跟soft attention 是一样的（虽然论文提及的global attention 跟上面soft attention的有点细微差别，这里使用的是stacking LSTM，上面提及的soft attention 是用双向GRU，并且在计算 上也做了一点点简化，但本质是一样的）

image

local attention

   global attention存在的一个明显问题就是，对于每一个target word 都需要重新对 encoder 的所有hidden state 计算一遍权重，计算开销大效率低，其实在对一些长句子甚至是长文档做翻译的时候，每翻译一个词并不需要将整个句子或者整个文档都考虑一遍的，一般只需要关注正在翻译词语附近的词就行了。怎么把目标词语附近范围划分出来呢，论文提出的local attention对于每个target word 都生成一个对齐位置 ，context向量 从窗口 中的隐藏状态加权求和得到，位置 的挑选有两种方法，一种很简单，直接令 就ok了。 另一种方法是将 也作为目标进行预测，这样模型就有了两个任务，在预测decoder输出的时候也预测生成 所需要的位置 。 local attention 可以认为是hard attention 和 soft attention 的一种结合，这样的方式使得计算量更小，并且反向传播是可微的。

image

self attention

   上面提及的attention都是encoder和decoder结合的，重点关注对于输出有利的输入，而尽量忽略对输出没什么影响的输入，这对于处理序列对序列问题是非常适合的。而self-attention 顾名思义就是自己对自己做注意力，self attention 是论文Hierarchical Attention Networks for Document Classification提出的，self attention 其实跟传统的attention 是非常相似的，区别在于计算score的时候，不考虑decoder了，而是引入一个参数W，这个参数可以是一个向量也可以是一个多层的线性网络层，会跟着网络的其他参数一起学习，也是不统一的，anyway，最终生成的结果是，输入的每个隐藏状态都有一个对应的数值score。比如将 喂入RNN，得到对应的隐藏状态 ，如果隐藏状态向量的维度为 ，只要引入一个大小为 的参数w，让 分别与 做内积，最后就会得到 个标量，后面的softmax还有加权求和跟传统的attention 是一样的。

image

   在文本分类上，self attention 还能区分出影响分类结果的关键词都有哪些，这样能够很清楚地知道模型在训练过程中到底学到哪些信息。

image

   谷歌在17年的论文 Attention Is All You Need中将attention 抽象为一个查询(query)到一系列键值对(key-value)的映射，其中query、key、value及对应的输出值都是向量，此时attention的输入输出都不用依赖于RNN，这对attention 的本质会有一个更清晰的理解，同对后续理解multi-head attention 和 transformer也会很有帮助。

image

   这个是从网上找到图，很清晰。query,key,value在不同的场景下取值不一样，以翻译为例，seq2seq中的attention是对于decoder端的每一个target word 的隐藏状态 与encoder端的输入的所有隐藏状态做一个match 函数得到对应评分，然后对评分softmax得到权值，将隐藏状态与权值加权求和得到向量 ，这里可以将decoder端的每一个target word 的隐藏状态看作是query，encoder端的输入的所有隐藏状态看作是key,通过计算query和各个key之间的匹配程度，得到key对应的value权重系数，然后对value加权求和得到attention值，这里key=value，都是encoder端的隐藏状态。如果是self attention，那么query=key=value。

multi-head attention

   要讲清楚multi-head attention 需要先了解下 scaled dot product attention。跟常规attention是将RNN的隐藏状态作为输入不一样，这里的query、key、value 不是RNN的隐藏状态，而是输入的word的embedding向量。首先，我们一个包含 个词的句子 作为输入，经过一个embedding层得到每个词的词嵌入向量 ，因为是self attention，query=key=value，对于某个query 要计算这个query对应的attention value 的话，是将 与所有的key做相似度计算得到对应的value权重系数，然后对value加权求和得到attention值

image

这是单个query的情况，对于所有的query，可以将 堆叠起来一起计算

image

为了防止内积过大，对内积做了 的缩放，这就是scaled dot product attention了。

image

   如果理解了scaled dot product attention，那么multi-head attention 就很好理解了，multi-head attention 是多个scaled dot product attention 的叠加。如果要叠加h次，就是对

做h次的线性变换，得到新的h个

，分别做内积缩放得到h个不同的attention值，然后将这h个不同的attention值拼接(concat)起来，再做一个线性变化，得到的结果就是multi-head attention 的输出。

image

在encoder-decoder连接层的attention有一点点不一样的地方就是，query是decoder端上一时刻的隐藏状态，而key和value是来自于encoder端的输出。

transformer

   首先强推一篇文章The Illustrated Transformer，这篇文章像剥洋葱一样将transformer从外到里一层一层剥开来讲解，写的非常赞。
   transformer中使用了大量的attention。论文中的transformer由堆叠的encoder和decoder组成，encoder 下由6个子编码器组成，而每一个编码器的第一层是一个multi-head self attention，第二层是一个简单的全连接前馈神经网络。decoder的层级结构基本一样，也是由6个子解码器组成，但在multi-head self attention 和前馈神经网络层之间会有一个attention层，以便更多地关注解码和编码特征向量之间的关系。

image

   transformer的一些细节问题以及加大码的transformer后面在写一篇吧