【经典论文翻译与解析】Attention is all you need

该论文提出的Transformer网络架构已经基本上独霸AI江湖，以此为基础诞生一批广为人知的经典模型：Bert, ViT, GPT系列等，后续我们分几篇文章单独解析。
关于Attention机制不太熟悉的可以参考以前的文章：注意力（Attention）机制的数学建模_总结

0 论文摘要

主流的序列转换模型都是基于复杂的循环神经网络或卷积神经网络，且都包含一个encoder和一个decoder。表现最好的模型还通过attention机制把encoder和decoder联接起来。我们提出了一个新的、简单的网络架构，Transformer。它只基于单独的attention机制，完全避免使用循环和卷积。在两个翻译任务上表明，我们的模型在质量上更好，同时具有更高的并行性，且训练所需要的时间更少。我们的模型在 WMT2014 英语-德语的翻译任务上取得了28.4的BLEU评分。在现有的表现最好模型的基础上，包括整合模型，提高了2个BLEU评分。在WMT2014英语-德语的翻译任务上,我们的模型在8个GPU上训练了3.5天（这个时间只是目前文献中记载的最好的模型训练成本的一小部分），创造了单模型的SOTA结果，BLEU分数为41.8，通过在大量和少量训练数据上所做的英语选区分析工作的成功，表明Transformer能很好的适应于其它任务。

1 Introduction（简介）

RNN,LSTM,GRU,Gated Recurrent Neural Networks 在序列建模和转换任务上，比如语言模型和机器翻译，已经是大家公认的取得SOTA结果的方法。自此，无数的努力继续推动递归语言模型和encoder-decoder体系结构的界限。

递归模型通常沿输入和输出序列的符号位置进行因子计算。在计算时将位置与步骤对齐，它们生成一系列隐藏状态$h_t$，$t$位置的$h_t$使用它的前驱$h_{t-1}$和当前的输入生成。这种内部的固有顺阻碍了训练样本的并行化，在序列较长时，这个问题变得更加严重，因为内存的限制限制了样本之间的批处理。最近的工作通过因子分解技巧[21]和条件计算[32]在计算效率方面取得了显著的提高，同时也提高了后者的模型性能。然而，顺序计算的基本约束仍然存在。

在各种各样的任务中，注意力机制已经成为各种引人注目的序列模型和转换模型中的不可或缺的组成部分，它允许对依赖关系建模，而不需要考虑它们在输入或输出序列中的距离。然而，在除少数情况外的所有情况下[27]，这种注意机制都与一个递归网络结合使用。

在这项工作中，我们首次提出了Transformer，这是一种避免使用循环的模型架构，完全依赖于注意机制来绘制输入和输出之间的全局依赖关系。Transformer允许更显著的并行化，使用8个P100 gpu只训练了12小时，在翻译质量上就可以达到一个新的SOTA。

2 Background（背景）

减少序列计算的目标也成就了 Extended Neural GPU [16],ByteNet[18],和ConvS2S[9]的基础,它们都使用了卷积神经网络作为基础模块，并行计算所有输入和输出位置的隐藏表示。在这些模型中，将来自两个任意输入或输出位置的信号关联起来所需的操作数，随位置间的距离而增长，ConvS2S为线性增长，ByteNet为对数增长。这使得学习远距离位置之间的依赖性变得更加困难[12]. 在Transformer中，这种情况被减少到了常数次操作，虽然代价是由于平均注意力加权位置信息降低了有效分辨率，如第3.2节所述，我们用多头注意力抵消这种影响。

self-attention,有时也叫做内部注意力，是一种注意力机制，它将一个序列的不同位置联系起来，以计算序列的表示。self-attention 已经成功的运用到了很多任务上，包括阅读理解、抽象摘要、语篇蕴涵和学习任务无关的句子表征等。

已经被证明，端到端的记忆网络使用循环attention机制替代序列对齐的循环，在简单的语言问答和语言建模任务中表现良好。

然而，据我们所知，Transformer是第一个完全依赖于self-attetion来计算其输入和输出表示而不使用序列对齐的RNN或卷积的转换模型，在下面的章节中，我们将描述Transformer,motivate ,self-attention，并讨论它相对于[17,18]和[9]等模型的优势。

3 Model Architecture（模型架构）

大多数有竞争力的序列转换模型都有encoder-decoder结构。这里，encoder将符号表示的输入序列$(x_1,...,x_n)$映射成一个连续表示的序列$z=(z_1,...,z_n)$。给定$z$，解码器以一次生成一个字符的方式生成输出序列$(y_1,...,y_m)$。在每一步，模型都是自回归的[10]，在生成下一个字符时，将先前生成的符号作为附加输入。

Transformer遵循这个总体架构，使用堆叠的self-attention层、pointwise和全连接层，分别用于encoder和decoder，如Figure1的左半部分和右半部分所示。

译者注：

与pointwise对应的还有pairwise、listwise，不单独介绍，可以参考：【推荐】pairwise、pointwise 、 listwise算法是什么?怎么理解？主要区别是什么？

3.1 Encoder and Decoder Stacks（编码器堆叠和解码器堆叠）

Encoder：encoder由N(N=6)个完全相同的layer堆叠而成.每层有两个子层。第一层是multi-head self-attention机制，第二层是一个简单的、位置全连接的前馈神经网络。我们在两个子层的每一层后采用残差连接[11]，接着进行layer normalization[1]。也就是说，每个子层的输出是$LayerNorm(x+Sublayer(x))$，其中 $Sublayer(x)$ 是由子层本身实现的函数。为了方便这些残差连接，模型中的所有子层以及embedding层产生的输出维度都为$d_{model}=512$。

Decoder：decoder也由N(N=6)个完全相同的layer堆叠而成。除了每个编码器层中的两个子层之外，解码器还插入第三个子层，该子层对编码器堆栈的输出执行multi-head attention操作，与encoder相似，我们在每个子层的后面使用了残差连接，之后采用了layer normalization。我们也修改了decoder堆叠中的 self-attention 子层，以防止当前位置信息中被添加进后续的位置信息。这种掩码与偏移一个位置的输出embedding相结合， 确保对第$i$个位置的预测只能依赖小于$i$的已知输出。

3.2 Attention（注意力机制）

Attention机制可以描述为将一个query和一组key-value对映射到一个输出，其中query，keys，values和输出均是向量。输出是values的加权求和，其中每个value的权重 通过query与相应key的兼容函数来计算。

Figure 2 (left) Scaled Dot-Product Attention. (right) Multi-Head Attention

3.2.1 Scaled Dot-Product Attention（缩放的点积注意力机制）

我们称我们的特殊attention为Scaled Dot-Product Attention(Figure 2)。输入由query、$d_k$的key和$d_v$的value组成。我们计算query和所有key的点积，再除以$\sqrt{d_k}$,然后再通过softmax函数来获取values的权重。

在实际应用中，我们把一组query转换成一个矩阵Q，同时应用attention函数。key和valuue也同样被转换成矩阵K和矩阵V。我们按照如下方式计算输出矩阵：
$$Attention(Q,K,V)=softmax(\frac{Q{K}^T}{\sqrt{d_k}})V$$

additive attention和dot-product(multi-plicative) attention是最常用的两个attention函数。dot-product attention除了没有使用缩放因子$\frac{1}{\sqrt{d_k}}$ 外，与我们的算法相同。Additive attention使用一个具有单隐层的前馈神经网络来计算兼容性函数。尽管在理论上两者的复杂度相似，但是在实践中dot-product attention要快得多，而且空间效率更高，这是因为它可以使用高度优化的矩阵乘法代码来实现。

当$d_k$的值较小时，这两种方法性能表现的相近，当$d_k$比较大时，addtitive attention表现优于 dot-product attention。我们认为对于大的$d_k$，点积在数量级上增长的幅度大，将softmax函数推向具有极小梯度的区域（为了说明为什么点积在数量级上变大，假设q和k的分量是均值为0，方差为1的独立随机变量。然后它们的点积$q\cdot k={\sum }_{i=1}^{d_k}{q}_i{k}_i$，均值为0，方差为$d_k$。）。为了抵消这种影响，我们对点积扩展$\frac{1}{\sqrt{d_k}}$倍。

3.2.2 Multi-Head Attention（多头注意力机制）

相比于使$d_{model}$维度的queries，keys，values执行一个attention函数，我们发现使用不同的学习到的线性映射把queries，keys 和 values线性映射到$d_k$, $d_k$和$d_v$维度h次是有益的。在queries,keys和values的每个映射版本上，我们并行的执行attention函数，生成$d_v$维输出值。它们被拼接起来再次映射，生成一个最终值，如 Figure 2 中所示。

Multi-head attention允许模型把不同位置子序列的表示都整合到一个信息中。如果只有一个attention head，它的平均值会削弱这个信息。
$$MultiHead(Q,K,V)=Concat(hea{d}_1,...,hea{d}_h)W^o$$
$$wherehea{d}_i=Attention(Q{W}_i^Q,K{W}_i^K,V{W}_i^V)$$
其中，映射为参数矩阵$W_i^Q\in R^{d_{model}\times d_k}$ , $W_i^K\in R^{d_{model}\times d_k}$, $W_i^V\in R^{d_{model}\times d_v}$及$W^O\in R^{h{d}_v\times d_{model}}$。

在这项工作中，我们采用$h=8$个并行attention层或head。 对每个head，我们使用$d_k=d_v=d_{model}/h=64$。 由于每个head尺寸上的减小，总的计算成本与具有全部维度的单个head attention相似。

译者注：

（1）原文中有部分数学符号没说明含义，这里解释下以免忘记，其中$h$为注意力头的数量，$d_{model}$为输入和输出的Embedding层的维度，$d_k，d_v$分别为key,value的权重向量的维数。
（2）Transformer模型在输入时采用的是固定长度序列输入，且Transformer模型的时间复杂度和序列长度的平方成正比，因此一般序列长度都限制在最大512，因为太大的长度，模型训练的时间消耗太大。
（3）正是基于（2）的设计，用Transformer训练语言模型时，不同的序列之间是没有联系的，因此这样的Transformer对长距离依赖的捕获能力是不够的。所以在处理超过序列长度限制的长文本的时候，只能是将文本分割为多个固定长度的片段，对于连续的文本，这无异于将文本的整体性破坏了，导致了文本的碎片化，这也是后续Transformer-XL被提出的原因。

3.2.3 Applications of Attention in our Model（注意力机制在我们模型中的应用）

multi-head attention在Transformer中有三种不同的使用方式：

• 在encoder-decoder attention层中，queries来自前面的decoder层，而keys和values来自encoder的输出。这使得decoder中的每个位置都能关注到输入序列中的所有位置。这是模仿序列到序列模型中典型的encoder-decoder的attention机制，例如[38, 2, 9]。
• encoder包含self-attention层。在self-attention层中，所有的key、value和query来自同一个地方，在这里是encoder中前一层的输出。encoder中的每个位置都可以关注到encoder上一层的所有位置。
• 类似地，decoder中的self-attention层允许decoder中的每个位置都关注decoder层中当前位置之前的所有位置（包括当前位置）。为了保持解码器的自回归特性，需要防止解码器中的信息向左流动。我们在scaled dot-product attention的内部，通过屏蔽softmax输入中所有的非法连接值（设置为 −∞）实现了这一点。

译者注：

Transformer中使用了两种mask：padding mask，sequence mask。
encoder中的Multi-Head Attention和decoder中的Masked Multi-Head Attention以及Multi-Head Attention中都有padding mask，sequence mask只出现在decoder的Masked Multi-Head Attention中。
(1) padding mask：每次批次输入序列的长度是不一样的，需要对序列进行对齐操作，具体做法以seq_length为标准，对大于seq_length的序列进行截断，对小于seq_length序列进行填充，但填充部分我们又不希望其被注意，因此填充部分为0，可以在填充位置加上一个负无穷大的数，这样经过softmax后便趋向于0；
(2) sequence mask：sequence mask是为了使得decoder不能看到未来的解码信息，因为在transformer中，输出序列是训练的时候是全部一下子全部传入网络中的，不似RNN那种递归的形式，因此对于一个序列来说，在t时刻我们解码输出只应该依赖于t时刻之前的输出，而不应该看到t时刻之后的输出，如果看到了那就不需要解码了，因此我们需要将传入的decoder数据进行sequence mask操作。具体操作是产生一个矩阵，矩阵的上三角全为1，对角线以及下三角全为0，再将该矩阵作用在query、key产生的矩阵上便达到了对后续序列mask。

3.3 Position-wise Feed-Forward Networks（基于位置的前馈神经网络）

除了encoder子层之外，我们的encder和decoder中的每个层还包含一个全连接的前馈网络，该网络分别单独应用于每一个位置。它包括两个线性转换，中间有一个ReLU激活函数。
$$FFN(x)=\max (0,x{W}_1+b_1)W_2+b_2$$

尽管线性变换在不同位置上是相同的，但它们在层与层之间使用不同的参数。 它的另一种描述方式是两个卷积核大小为1的卷积。 输入和输出的维度为$d_{model}=512$，内部层的维度为$d_{ff}=2048$。

3.4 Embeddings and Softmax （词嵌入和 softmax）

与其他序列转换模型类似，我们使用学习到的Embedding词向量将输入字符和输出字符转换为维度为$d_{model}$的向量。我们还使用普通的线性变换和softmax函数将decoder输出转换为预测的下一个词符的概率。在我们的模型中，两个嵌入层（即模型架构图中的Input Embedding、Output Embedding）和softmax前的线性变换共享相同的权重矩阵，类似于[30]。 在嵌入层中，我们将这些权重乘以$\sqrt{d_{model}}$。

译者注：

共享权重的设计涉及到3个知识点：
（1）Embedding的本质和作用，引用苏剑林老师的话说：“Embedding的数学本质，就是以one-hot为输入的单层全连接。也就是说，世界上本没什么Embedding，有的只是one-hot。”
（2）输入和输出字符的Embedding层之所以能共享权重是因为论文中是机器翻译任务，源语言和目标语言是不一样的，但它们可以共用一张大词表（见下文5.1节有说），对于两种语言中共同出现的词（比如：数字，标点等等）可以得到更好的表示，同时共享权重可以减少参数量，加快模型收敛。共用词表会使得词表数量增大，增加softmax的计算时间，并且像中英这样相差较大的语系，语义共享作用可能不会很大，因此实际使用中是否共享可能要根据情况权衡。
（3）输出字符的Embedding层之所以能与softmax前的线性变换共享相同的权重矩阵，在于依据第（1）个知识点，输出字符的Embedding层是由one-hot编码产生出嵌入向量，softmax层是由从嵌入向量产生one-hot编码，两者作用相反，将权重共享后，两者的权重矩阵是互为转置的。当然目的也是减少参数量，加快模型收敛。

3.5 Positional Encoding（位置编码）

由于我们的模型不包含循环或卷积，为了让模型利用序列的顺序信息，我们必须加入序列中关于字符相对或者绝对位置的一些信息。 为此，我们在encoder和decoder堆栈底部的输入嵌入中添加“位置编码”。 位置编码和嵌入的维度$d_{model}$相同，所以它们两个可以相加。有多种位置编码可以选择，例如通过学习得到的位置编码和固定的位置编码[9]。

译者注：

数学上，位置编码与输入字符的Embedding直接向量相加的运算做特征融合与concat方式是等价的。还有一种解释是空间维度很高，模型总能分开向量内的各个组分。数学推导可以参考这个解释：为什么 Bert 的三个 Embedding 可以进行相加？ - 铁心核桃的回答

Table1:Maximum path lengths, per-layer complexity and minimum number of sequential operations for different layer types. n is the sequence length, d is the representation dimension, k is the kernel size of convolutions and r the size of the neighborhood in restricted self-attention.

在这项工作中，我们使用不同频率的正弦和余弦函数:

$$\begin{gathered} P{E}_{(pos,2i)}=sin(\frac{pos}{10000^{2i/d_{model}}}) \\ P{E}_{(pos,2i+1)}=cos(\frac{pos}{10000^{2i/d_{model}}}) \end{gathered}$$
  其中pos 是位置，2i 是偶数维度，2i+1是奇数维度。也就是说，位置编码的每个维度对应于一个正弦曲线。波长形成了从2π到10000·2π的几何数列。我们之所以选择这个函数，是因为我们假设它可以让模型很容易地通过相对位置来学习,因为对任意确定的偏移k,$P{E}_{pos+k}$可以表示为$P{E}_{pos}$的线性函数。

我们还尝试使用预先学习的positional embeddings[9]来代替正弦曲线，发现这两个版本产生了几乎相同的结果 (见Table 3 row (E))。我们之所以选择正弦曲线，是因为它允许模型扩展到比训练中遇到的序列长度更长的序列。

译者注：

为何可以使用三角函数表示位置向量呢？
由三角函数的两个特性决定：
（1）由于三角函数的性质：$sin(a+b)=sin(a)cos(b)+cos(a)sin(b)$，$cos(a+b)=cos(a)cos(b)-sin(a)sin(b)$，于是，对于位置 pos+k 处的信息，可以由 pos 位置计算得到，作者认为这样可以让模型更容易地学习到位置信息。
（2）由做作者给出的位置编码计算公式可知：每一维$i$都对应不同周期的正余弦曲线，第偶数维是周期为$2\pi$的$\sin$函数，第奇数维是周期$T_i$为$2\pi$的$\cos$函数；对于不同的两个位置pos1和pos2，若他们在某一维度$i$上有相同的编码值，则说明在维度$i$上的差值等于该维度所在曲线的周期的整数倍，而此时在其他任意维度$j（j\ne i）$上，由于$i,j$位置上的三角函数的周期$T_i\ne T_j$，因此在维度$j（j\ne i）$上的位置编码值必然不相等。
以上两点共同保证了不同位置向量的所有对应维度上不会被编码成完全一样的值，保证了每个位置的编码向量都是独一无二的。

以下Pytorch代码实现帮助理解：

class PositionalEncoding(nn.Module):
    def __init__(self, d_model, dropout, max_len=5000):
        super(PositionalEncoding, self).__init__()
 
        self.dropout = nn.Dropout(p=dropout)  
        pe = torch.zeros(max_len, d_model)  # max_len代表句子中最多有几个词
        position = torch.arange(0, max_len).unsqueeze(1)
        div_term = torch.exp(torch.arange(0, d_model, 2) * -(math.log(10000.0) / d_model))  # d_model即公式中的d
        pe[:, 0::2] = torch.sin(position * div_term)
        pe[:, 1::2] = torch.cos(position * div_term)
        pe = pe.unsqueeze(0)
        self.register_buffer('pe', pe)  # 它的作用是将pe 变量注册到模型的 buffers() 属性中，这代表该变量对应的是一个“持久态”，不会有梯度传播给它，但是能被模型的 state_dict 记录下来。
 
    def forward(self, x):
        x = x + self.pe[:, :x.size(1)]  # 原向量加上计算出的位置信息才是最终的embedding
        return self.dropout(x)

4 Why Self-Attention（为什么选择selt-attention）

在这一节中，我们将self-attention layers与常用的recurrent layers和convolutional layers进行各方面的比较，比较的方式是将一个可变长度的符号表示序列$(x_1,...,x_n)$映射到另一个等长序列$(z_1,...,z_n)$，用$x_i,z_i\in R^d$，比如在典型的序列转换的encoder或decoder中的隐藏层。我们考虑三个方面，最后促使我们使用self-attention。

一是每层的总计算复杂度。
另一个是可以并行化的计算量，以所需的最小序列操作数衡量。
第三个是网络中长距离依赖关系之间的路径长度。在许多序列转换任务中，学习长距离依赖性是一个关键的挑战。影响学习这种依赖关系能力的一个关键因素是网络中向前和向后信号必须经过的路径的长度。输入和输出序列中任意位置组合之间的这些路径越短，越容易学习长距离依赖。因此，我们还比较了在由different layer types组成的网络 中的任意两个输入和输出位置之间的最大的路径长度。

如表1所示，self-attention layer用常数次$O(1)$的操作连接所有位置，而recurrent layer需要$O(n)$顺序操作。在计算复杂度方面，当序列长度N小于表示维度D时，self-attention layers比recurrent layers更快，这是使用最先进的机器翻译模型表示句子时的常见情况，例如word-piece [38] 和byte-pair [31] 表示。为了提高包含很长序列的任务的计算性能，可以仅在以输出位置为中心，半径为r的的领域内使用self-attention。这将使最大路径长度增长到$O(n/r)$。我们计划在今后的工作中进一步研究这种方法。

核宽度为$k<n$的单层卷积不会连接每一对输入和输出的位置。要这么做，在相邻的内核情况下，需要一个n个卷积层的堆栈， 在扩展卷积的情况下需要$O(lo{g}_k(n))$层[18]，它们增加了网络中任意两个位置之间的最长路径的长度。卷积层通常比循环层代价更昂贵，这与因子k有关。然而，可分卷积[6]大幅减少复杂度到$O(k\cdot n\cdot d+n\cdot d^2)$。然而，即使$k=n$，可分离卷积的复杂度等于self-attention layer和point-wise feed-forward layer的组合，这是我们在模型中采用的方法。
  
译者注：

这段话翻译之后可能较难理解，简单地说就是一个卷积核一次不能关注到较远位置的信息，需要加多层卷积层才能覆盖到远距离的信息，但是多加卷积层会使计算复杂度增加，使得即使在最小复杂度情况下才与self-attention相当，因此选择self-attention。

一个随之而来的好处是，self-attention可以产生更多可解释的模型。我们从我们的模型中研究attention的分布，并在附录中展示和讨论示例。每个attention head不仅清楚地学习到执行不同的任务，还表现出了许多和句子的句法和语义结构相关的行为。

5 Training(训练)

本节介绍我们的模型训练方法。

5.1 Training Data and Batching（训练数据和batch）

我们在标准的WMT 2014英语-德语数据集上进行了训练，其中包含约450万个句子对。 这些句子使用byte-pair编码[3]进行编码，源语句和目标语句共享大约37000个词符的词汇表。 对于英语-法语翻译，我们使用大得多的WMT 2014英法数据集，它包含3600万个句子，并将词符分成32000个word-piece词汇表[38]。 序列长度相近的句子一起进行批处理。 每个训练批次的句子对包含大约25000个源词符和25000个目标词符。

5.2 Hardware and Schedule(硬件和时间)

我们在一台具有8个 NVIDIA P100 gpu的机器上训练我们的模型。对于paper中描述的使用超参数的基础模型，每个训练步骤大约需要0.4秒。我们对基础模型进行了总共100000步或12小时的训练。对于我们的大型模型（见表3的底线），步进时间为1.0秒。大模型 使用了30万步（3.5天）的训练。

5.3 Optimizer（优化器）

我们使用Adam优化器[20]，其中$\beta 1=0.9,\beta 2=0.98$及$ϵ=10^{-9}$。 我们根据以下公式在训练过程中改变学习率：

$$lrate-d_{model}^{-0.5}\cdot \min (step\_nu{m}^{-0.5},step\_num\cdot warmup\_step{s}^{-1.5})$$

这对应于在第一次warmup_steps 步骤中线性地增加学习速率，并且随后将其与步骤数的平方根成比例地减小。 我们使用$warmup\_steps=4000$。

5.4 Regularization（正则化）

训练中我们采用三种正则化：

Residual Dropout 我们在对每个子层的输出上执行dropout操作,这个操作在additive操作（子层的输出加上子层的输入）和normalized操作之前。 此外，在编码器和解码器堆栈中，我们将丢弃应用到嵌入和位置编码的和。 对于基础模型，我们使用$P_{drop}=0.1$丢弃率。

Label Smoothing 在训练过程中，我们采用了值${\epsilon }_{ls}=0.1$[36]的标签平滑。这会影响ppl,因为模型学习到了更多的不确定性，但提高了准确率和BLEU评分。

6 Results（结果）

6.1 Machine Translation（机器翻译）

在WMT 2014英语-德语翻译任务中，大型Transformer模型（表2中的Transformer (big)）比以前报道的最佳模型（包括整合模型）高出2个以上的BLEU评分，以28.4分建立了一个全新的SOTA BLEU分数。 该模型的配置列在表3的底部。 在8 个P100 GPU上花费3.5 天进行训练。 即使我们的基础模型也超过了以前发布的所有模型和整合模型，且训练成本只是这些模型的一小部分。

我们的模型在 WMT2014 英语-德语的翻译任务上取得了28.4的BLEU评分。在现有的表现最好模型的基础上，包括整合模型，提高了2个BLEU评分。
  
  在WMT 2014英语-法语翻译任务中，我们的大型模型的BLEU得分为41.0，超过了之前发布的所有单一模型，训练成本低于先前最先进模型的1 ∕ 4 。 英语-法语的Transformer (big) 模型使用$P_{drop}=0.1$，而不是0.3。

对于基础模型，我们使用的单个模型来自最后5个checkpoints的平均值，这些checkpoints每10分钟保存一次。 对于大型模型，我们对最后20个checkpoints进行了平均。 我们使用beam search，beam大小为4 ，长度惩罚$\alpha =0.6$ [38]。 这些超参数是在开发集上进行实验后选定的。 在推断时，我们设置最大输出长度为输入长度+50，但在条件允许时会尽早终止[38]。

表2总结了我们的结果，并将我们的翻译质量和训练成本与文献中的其他模型体系结构进行了比较。 我们通过将训练时间、所使用的GPU的数量以及每个GPU的持续单精度浮点能力的估计相乘来估计用于训练模型的浮点运算的数量(我们分别对K80、K40、M40和P100使用2.8、3.7、6.0和9.5 TFLOPS。)。

6.2 Model Variations（模型变体）

为了评估Transformer不同组件的重要性，我们以不同的方式改变我们的基础模型，观测在开发集newstest2013上英文-德文翻译的性能变化。 我们使用前一节所述的beam search，但没有平均checkpoint。 我们在表3中列出这些结果.

  在表3的行（A）中，我们改变attention head的数量和attention key和value的维度，保持计算量不变，如3.2.2节所述。 虽然只有一个head attention比最佳设置差0.9 BLEU，但质量也随着head太多而下降。

在表3行（B）中，我们观察到减小key的大小$d_k$会有损模型质量。 这表明确定兼容性并不容易，并且比点积更复杂的兼容性函数可能更有用。 我们在行（C）和（D）中进一步观察到，如预期的那样，更大的模型更好，并且dropout对避免过度拟合非常有帮助。 在行（E）中，我们用学习到的positional encoding[9]来替换我们的正弦位置编码，并观察到与基本模型几乎相同的结果。

6.3 English Constituency Parsing（英文选区分析）

为了评估Transformer是否可以扩展到其他任务，我们进行了英语选区解析的实验。这项任务提出特别的挑战：输出受到很强的结构性约束，并且比输入要长很多。 此外，RNN序列到序列模型还没有能够在小数据[37]中获得最好的结果。

我们用$d_{model}=1024$ 在Penn Treebank[25]的Wall Street Journal（WSJ）部分训练了一个4层的transformer，约40K个训练句子。 我们还使用更大的高置信度和BerkleyParser语料库，在半监督环境中对其进行了训练，大约17M个句子[37]。 我们使用了一个16K词符的词汇表作为WSJ唯一设置，和一个32K词符的词汇表用于半监督设置。

我们只在开发集的Section 22 上进行了少量的实验来选择dropout、attention 和residual（第5.4节）、learning rates和beam size，所有其他参数从英语到德语的基础翻译模型保持不变。在推断过程中，我们将最大输出长度增加到输入长度+300。 对于WSJ和半监督设置，我们都使用beam size = 21 和α = 0.3 。

表4中我们的结果表明，尽管缺少特定任务的调优，我们的模型表现得非常好，得到的结果比之前报告的Recurrent Neural Network Grammar [8]之外的所有模型都好。

与RNN序列到序列模型[37]相比，即使仅在WSJ训练40K句子组训练时，Transformer也胜过BerkeleyParser [29]。

7 Conclusion（结论）

在这项工作中，我们提出了Transformer，第一个完全基于attention的序列转换模型，用multi-headed self-attention取代了encoder-decoder架构中最常用的recurrent layers。

对于翻译任务，Transformer比基于循环或卷积层的体系结构训练更快。 在WMT 2014英语-德语和WMT 2014英语-法语翻译任务中，我们取得了最好的结果。 在前面的任务中，我们最好的模型甚至胜过以前报道过的所有整合模型。

我们对基于attention的模型的未来感到兴奋，并计划将它们应用于其他任务。 我们计划将Transformer扩展到除文本之外的涉及输入和输出模式的问题，并研究局部的、受限的attention机制，以有效地处理图像、音频和视频等大型输入和输出。 让生成具有更少的顺序性是我们的另一个研究目标。

我们用于训练和评估模型的代码可以在https://github.com/tensorflow/tensor2tensor找到。

我们十分感谢Nal Kalchbrenner和Stephan Gouws卓有成效的评论、修正和灵感。

参考资料

[1].Attention is all you need, 2017