Attention is all you need（Transformer）论文阅读笔记

一、背景

seq2seq模型（2014年）：https://blog.csdn.net/zyk9916/article/details/118002934

Attention模型（2015年）：https://blog.csdn.net/zyk9916/article/details/118498156

对于序列建模和转换问题，大量的研究都围绕以RNN为基础的encoder-decoder架构展开。

但是，RNN是一种时序模型，存在固有的顺序性。无论是在encoder还是decoder中，都需要获得上一个时刻的隐状态才能计算下一个时刻的隐状态。这严重阻碍了训练示例中的并行化。

本文提出了Transformer模型架构，它避免了递归和卷积，而是完全依赖于注意力机制来捕捉输入和输出之间的全局依赖关系。Transformer允许更大程度的并行化。

二、模型

Transformer模型遵循了之前的encoder-decoder架构。

2.1 模型总览

Encoder：Encoder由N = 6个相同层的堆叠组成。每个层包含两个子层：一是多头自注意力机制（Multi-Head self-Attention），二是前馈神经网络（Feed Forward）。每个子层后都追加一个残差连接和归一化（Add&Norm）操作。模型中的所有子层以及Embedding层均产生维度d_model = 512的输出。

Decoder：Decoder同样由N = 6个相同层的堆叠组成。每个层包含三个字层：一是带mask操作的多头自注意力机制（Masked Multi-Head self-Attention），二是Encoder到Decoder的多头注意力机制（注意这里并不是自注意力机制）（Encoder-Decoder Multi-Head Attention），三是前馈神经网络（Feed Forward）。每个子层同样追加一个残差连接和归一化（Add&Norm）操作。

2.2 注意力机制

注意力机制是基于三种向量（或者矩阵）：查询向量（Query，Q）、键向量（Key，K）、值向量（Value，V）的信息选择机制。这里不进行详细介绍。

本节先介绍论文中用到的注意力机制，再详细说明他们是如何具体运用到模型中去的。

2.2.1 缩放点积注意力

给定d_k维的查询向量和键向量，以及d_v维的值向量作为输入，其计算出的注意力向量为：

具体来说，注意力机制为句子中的每一个单词计算一个注意力向量Attention（Q，K，V），具体步骤为（这里设句子长度为seq_len）：

用当前单词的Q向量与句子中所有单词的K向量计算

因为Q和K维度相同，得到seq_len个标量（这是一种打分机制），将它们输入softmax函数中计算分布（比例），再将每个比例乘以各自的V向量，最后相加，得到当前单词的注意力向量。

Padding Mask：

由于一个batch中，各个输入句子的长度可能不同，我们需要对输入序列进行对齐。即确定一个maxlength，在较短的序列后面填充 0。但是这些填充的位置其实并没有什么意义，不应当将注意力放在这些位置上，因此需要对Attention添加一个Mask机制。
具体的做法是，把这些位置的值加上一个相当大的负数，经过 softmax处理后，这些位置的概率就会趋近于0。

Attention向量计算示例：

（图片来源：The Illustrated Transformer）

在Transformer中，每个词的注意力向量的计算是并行进行的（将Q，K，V作为矩阵运算）

2.2.2 多头注意力机制

简单来讲，就是讲上文提到的Q，K，V向量（或矩阵）通过多组（即多个头）线性变换矩阵（每组包括一个W_i^Q，W_i^K，W_i^V）映射成多个向量（或矩阵），再进行缩放点积的运算：

这里W_i^Q和W_i^K的维度为d_model × d_k，W_i^V维度为d_model × d_v。

计算出多个（h=8个）头的输出后，将结果连接，再经过一个线性变换矩阵W^o。W^o的维度为hd_v × d_model。

Transformer中设置d_k = d_v = d_model/h = 64，以便各个层的输入维度保持一致。

多头注意力机制如下图：

2.2.3 Transformer中各种注意力机制的应用

① Encoder中的多头自注意力机制（Multi-Head self-Attention）

在自注意力机制中，Q = K = V = X ，X是上一个Encoder的输出（第一个Encoder的X是经过Embedding和Positional Encoding后的词向量）。经W_i^Q，W_i^K，W_i^V的线性变换后，得到三个新的查询向量，键向量，值向量，再进行注意力向量的计算。即：

head_i = Attention（XW_i^Q，XW_i^K，XW_i^V）

② Decoder中的带mask操作的多头自注意力机制（Masked Multi-Head self-Attention）

与Encoder中的多头自注意力机制不同的是，Decoder中需要假如mask机制：

在传统的认知中，Decoder模型是将之前单词的表示作为输入，一个词一个词输出结果的，即当前单词的输出需要依赖于之前单词的输出。实际上，在训练过程中，Decoder也是可以并行执行的，这需要用到teacher force机制，即在每一轮预测时，不使用上一轮预测的输出，而强制使用训练数据的标准答案，即正确的单词（ground truth）。

比如将我爱你翻译为I love you，可能模型输出的第二个词为hate而非love，也仍然将I love的信息输入给Decoder。

这里可以参考https://zhuanlan.zhihu.com/p/166608727。

在此基础上，我们可以直接使用整个正确句子作为Decoder的输入。比如将我爱你翻译为I love you，在Decoder中使用 < bos > ，“I”，“love”，“you”，< eos> 作为输入。但是这样有一个问题，在Decoder预测“I”的时候，它只应该获得< bos>的信息，而不应该获得之后的词的信息。该如何解决这个问题呢？

答案是使用Mask机制。

我们将整个句子< bos > ，“I”，“love”，“you”，< eos> 作为输入，在进行注意力机制计算时，给超过当前词的部分赋予一个很大的负数值，这样在进行softmax计算时，其输出的权重接近于0，这样就屏蔽（mask）掉了后面的信息。

需要注意的是，teacher force机制只能在训练过程中使用，在测试过程中，还是要一个词一个词地串行计算。

③ Encoder到Decoder的多头注意力机制（Encoder-Decoder Multi-Head Attention）

注意这里不是自注意力机制了，Q，K，V分别来自不同的地方。

类似2015年的注意力模型，Q来自Decoder，K，V来自Encoder的输出（这里K=V）。

2.3 前馈神经网络（Feed Forward）

每个Encoder和Decoder层都包含一个全连接的前馈神经网络（但是不同层的参数是不同的），它包含了两个线性变换和一个ReLU激活：

前馈神经网络的输入和输出维度为d_model = 512，中间层的维度为d_ff = 2048。

2.4 残差连接和归一化（Add&Norm）

残差连接：

假设在一个网络中，我们希望一个非线性单元f(x;θ)去逼近目标函数h(x)。可以将目标函数拆分为两部分：恒等函数x和残差函数h(x)-x。在实践中，残差函数比原始目标函数更容易学习。因此可以将原来的优化问题转变为：让非线性单元f(x;θ)去逼近残差函数h(x)-x，即用f(x;θ)+x逼近h(x)。

应用到Transformer 中，Encoder和Decoder中每个层的每个子层的输出为：
LayerNorm(x + Sublayer(x))。LayerNorm表示层归一化。

层归一化：

即对一个中间层的所有神经元进行归一化，与batch无关。

2.5 Embedding和Positional Encoding

Embedding不再赘述，即像大部分词向量模型一样，将word映射为d_model维的向量。

Positional Encoding:

由于Transformer完全依赖于注意力机制，而不使用RNN的结构，就缺少了词在句子中的位置信息。论文中采用正弦和余弦函数来赋予词位置信息：

其中pos是词在句子中的位置，i是当前计算的维度是Embedding中的第几个维度（共512维）。

计算出每个词的Positional Encoding后，将其与Embedding相加即可。

2.6 Linear和Softmax

Decoder输出结果后，需要经过一个Linear层和Softmax层计算概率。

Linear层的输出维度为词表的大小，Softmax计算每个词的概率，最后输出概率最大的词，并计算损失。