浅谈Transformer

目录

Transformer模型回顾

简述

Transformer的输入

单词 Embedding

位置 Embedding

Self-Attention结构

Q,K,V的计算

Self-Attention的输出

Multi-Head Attention

Encoder结构

残差模块

Feed Forward

Decoder结构

第一个 Multi-Head Attention

第二个 Multi-Head Attention

Softmax 预测输出单词

Transformer总结


Transformer模型回顾

简述

Transformer由论文 Attention is All You Need 提出,论文传送门

首先介绍Transformer的整体结构下图是Transformer用于中英文翻译的整体结构。从宏观的视角来看,我们可以把模型看成是一个黑箱操作。在机器翻译中,就是输入一种语言,输出另一种语言。

拆开这个黑箱,我们可以看到它是由编码组件、解码组件和它们之间的连接组成。
编码组件部分由一堆编码器(encoder)构成(论文中是将6个编码器叠在一起——数字6没有什么神奇之处,你也可以尝试其他数字)。解码组件部分也是由相同数量(与编码器对应)的解码器(decoder)组成的。

浅谈Transformer_第1张图片

所有的编码器在结构上都是相同的,但他们没有共享参数。每个解码器都可以分解成两个子层。

浅谈Transformer_第2张图片

从编码器输入的句子首先会经过一个自注意力(self-attention)层,这层帮助编码器在对每个单词编码时关注输入句子的其他单词。具体稍后讲解。
自注意力层的输出会传递到前馈(feed-forward)神经网络中。每个位置的单词对应的前馈神经网络都完全一样
解码器中也有编码器的自注意力(self-attention)层和前馈(feed-forward)层。除此之外,这两个层之间还有一个注意力层,用来关注输入句子的相关部分(和seq2seq模型的注意力作用相似)。

浅谈Transformer_第3张图片

Transformer模型使用经典的encoder-decoder架构,由encoder和decoder两部分组成。encoder和decoder都包含6个block。

  • 下图左侧用Nx框出来的,就是我们encoder的一层。encoder一共有6层这样的结构。
  • 下图右侧用Nx框出来的,就是我们decoder的一层。decoder一共有6层这样的结构。

 

浅谈Transformer_第4张图片

Multi-Head Attention,是由多个Self-Attention组成的,可以看到Encoder block包含一个Multi-Head Attention,而decoder block包含两个Multi-Head Attention(其中一个用到masked)。Multi-Head Attention上方还包括一个Add&Norm层,Add表示残差连接(Residual Connection)用于防止网络退化,Norm表示Layer Normalization,用于对每一层的激活值进行归一化。

Transformer的输入

Transformer中单词的输入表示 x 由单词embedding和位置embedding相加得到。

浅谈Transformer_第5张图片

单词 Embedding

单词的embedding有很多种方式可以获取,例如可以采用word2vec,glove等算法预训练得到,也可以在transformer中训练得到。

位置 Embedding

transformer 中除了单词的embedding,还需要使用位置embedding表示单词出现在句子中的位置。因为transformer不采用RNN的结构,而是使用全局信息,不能利用单词的顺序信息,而这部分信息对于NLP来说非常重要。所以Transformer中使用位置embedding保存单词在序列中的相对或绝对位置。

位置 Embedding 用 PE 表示,PE 的维度与单词 Embedding 是一样的。PE 可以通过训练得到,也可以使用某种公式计算得到。在 Transformer 中采用了后者,计算公式如下:

浅谈Transformer_第6张图片

将单词的词 Embedding 和位置 Embedding 相加,就可以得到单词的表示向量 xx 就是 Transformer 的输入。

Self-Attention结构

因为Self-Attention时Transformer的重点,所以我们重点关注Multi-Head Attention以及Self-Attention,首先详细了解一下Self-Attention的内部逻辑。

浅谈Transformer_第7张图片

上图是Self-Attention的结构,计算自注意力的第一步就是从每个编码器的输入向量(每个单词的词向量)中生成三个向量。也就是说对于每个单词,我们创造一个矩阵Q(查询向量),一个K(键向量),一个V(值向量)。这三个向量是通过词嵌入与三个权重矩阵后相乘创建的。

Q,K,V的计算

Self-Attention的输入用矩阵X进行表示,则可以使用线性变换矩阵WQ,WK,WV计算得到Q,K,V。计算如下图所示,注意X, Q, K, V的每一行都表示一个单词。

浅谈Transformer_第8张图片

(K, V计算同上)

Self-Attention的输出

得到矩阵Q, K, V之后就可以计算出Self-Attention的输出了,计算的公式如下:

浅谈Transformer_第9张图片

公式中计算矩阵Q和K每一行向量的内积,为了防止内积过大,因此除以dk的平方根。(让梯度更稳定)Q乘以K的转置后,得到的矩阵行列数都为n,n为句子单词数,这个矩阵可以表示单词之间的attention强度。下图为Q乘以K的转置,1234表示的是句子中的单词。

浅谈Transformer_第10张图片

浅谈Transformer_第11张图片

得到QKT之后,使用softmax计算每一个单词对于其他单词的attention系数,公式中的softmax是对矩阵的每一行进行softmax,即每一行的和都为1.

浅谈Transformer_第12张图片

浅谈Transformer_第13张图片

然后将每个值向量去乘以softmax分数(这是为了准备之后将它们求和)这里的直觉是希望关注语义上相关的单词,并弱化不相关的单词(例如,让它们乘以0.001这样的小数)。最后是对加权值向量求和,得到自注意力层在该位置的输出。

浅谈Transformer_第14张图片

浅谈Transformer_第15张图片

这样自注意力的计算就完成了。得到的向量就可以传给前馈神经网络。然而实际中,这些计算是以矩阵形式完成的,以便算得更快。

Multi-Head Attention

在上一步,我们已经知道怎么通过self-attention计算得到输出矩阵Z,而multi-haed attention是由多个self-attention组合形成的,下图是论文中multi-head attention的结构图:

浅谈Transformer_第16张图片

从上图可以看到multi-head attention包含多个self-attention层,首先将输入X分别传递到h个不同的self-attention中,计算得到h个输出矩阵Z。下图是h = 8时候的情况,此时会得到8个输出矩阵Z:

浅谈Transformer_第17张图片

得到 8 个输出矩阵Z1到Z8之后,multi-head attention将它们拼接在一起(concat),然后传入一个linear层,得到multi-head attention 最终的输出Z。

浅谈Transformer_第18张图片

可以看到multi-head attention输出的矩阵Z与其输入的矩阵X的维度是一样的。

它在两方面提高了注意力层的性能:

  1. 它扩展了模型专注于不同位置的能力。在上面的例子中,虽然每个编码都在z1中有或多或少的体现,但是他可能被实际的单词本身所支配。如果我们翻译一个句子,比如“The animal didn’t cross the street because it was too tired”,我们会想知道“it”指的是哪个词,这时模型的“多头”注意机制会起到作用
  2. 它给出了注意力层的多个“表示子空间”()。我们可以看到,对于“多头”注意机制,我们有多个查询/键/值权重矩阵集(Transformer使用8个注意力头,因此我们对于每个编码器/解码器有八个矩阵集合)这些集合中的每一个都是随机初始化的,在训练之后,每个集合都被用来将输入词嵌入(或来自较低编码器/解码器的向量)投影到不同的子空间中。

Encoder结构

残差模块

在这里我们还需要提到一个编码器架构中的细节:在每个编码器中的每个子层(自注意力、前馈网络)的周围都有一个残差连接,并且都跟随着一个“层-归一化”步骤。(Add & Norm)

浅谈Transformer_第19张图片

Add & Norm 层由 Add 和 Norm 两部分组成,其计算公式如下:

浅谈Transformer_第20张图片

其中 X 表示 Multi-Head Attention 或者 Feed Forward 的输入,MultiHeadAttention(X) 和 FeedForward(X) 表示输出 (输出与输入 X 维度是一样的,所以可以相加)。

Add 指 X+MultiHeadAttention(X),是一种残差连接,通常用于解决多层网络训练的问题,可以让网络只关注当前差异的部分,在 ResNet 中经常用到。

浅谈Transformer_第21张图片

Norm 指 Layer Normalization,通常用于 RNN 结构,Layer Normalization 会将每一层神经元的输入都转成均值方差都一样的,这样可以加快收敛。

Feed Forward

Feed Forward 层比较简单,是一个两层的全连接层,第一层的激活函数为ReLu,第二层不使用激活函数,对应的公式如下:

X 是输入,Feed Forward 最终得到的输出矩阵的维度与 X 一致。

通过上面描述的 Multi-Head Attention, Feed Forward, Add & Norm 就可以构造出一个 Encoder block,Encoder block 接收输入矩阵 X(n×d),并输出一个矩阵 O(n×d)。通过多个 Encoder block 叠加就可以组成 Encoder。

第一个 Encoder block 的输入为句子单词的表示向量矩阵,后续 Encoder block 的输入是前一个 Encoder block 的输出,最后一个 Encoder block 输出的矩阵就是 编码信息矩阵 C,这一矩阵后续会用到 Decoder 中。

Decoder结构

浅谈Transformer_第22张图片

上图红色部分为 Transformer 的Decoder block结构,与Encoder block相似,但是存在一些区别:

  • 包含两个Multi-Head Attention层
  • 第一个Multi-Head Attention层采用了Masked操作
  • 第二个Multi-Head Attention层的 K,V矩阵使用Encoder的编码信息矩阵C进行计算,而Q使用上一个Decoder block 的输出计算
  • 最后有一个softmax 层计算下一个翻译单词的概率

第一个 Multi-Head Attention

Decoder block 的第一个 Multi-Head Attention 采用了 Masked 操作,因为在翻译的过程中是顺序翻译的,即翻译完第 i 个单词,才可以翻译第 i+1 个单词。
通过 Masked 操作可以防止第 i 个单词知道 i+1 个单词之后的信息。
下面以 "我有一只猫" 翻译成 "I have a cat" 为例,了解一下 Masked 操作。

下面的描述中使用了类似 Teacher Forcing 的概念(见括号坑未填...),在 Decoder 的时候,是需要根据之前的翻译,求解当前最有可能的翻译,如下图所示。首先根据输入 "" 预测出第一个单词为 "I",然后根据输入 " I" 预测下一个单词 "have"。(Teacher Forcing预测)

浅谈Transformer_第23张图片

Decoder 可以在训练的过程中使用 Teacher Forcing 并且并行化训练,即将正确的单词序列 ( I have a cat) 和对应输出 (I have a cat ) 传递到 Decoder。那么在预测第 i 个输出时,就要将第 i+1 之后的单词掩盖住,注意 Mask 操作是在 Self-Attention 的 Softmax 之前使用的下面用 0 1 2 3 4 5 分别表示 " I have a cat "

第一步: 是 Decoder 的输入矩阵和 Mask 矩阵,输入矩阵包含 " I have a cat" (0, 1, 2, 3, 4) 五个单词的表示向量,Mask 是一个 5×5 的矩阵。在 Mask 可以发现单词 0 只能使用单词 0 的信息,而单词 1 可以使用单词 0, 1 的信息,即只能使用之前的信息。

浅谈Transformer_第24张图片

第二步:接下来的操作和之前的 Self-Attention 一样,通过输入矩阵 X 计算得到 QKV 矩阵。然后计算 Q 和 KT 的乘积 QKT。

浅谈Transformer_第25张图片

第三步:在得到 QKT 之后需要进行 Softmax,计算 attention score,我们在 Softmax 之前需要使用 Mask 矩阵遮挡住每一个单词之后的信息,遮挡操作如下:

浅谈Transformer_第26张图片

得到 Mask QKT 之后在 Mask QKT 上进行 Softmax,每一行的和都为 1。但是单词 0 在单词 1, 2, 3, 4 上的 attention score 都为 0。

第四步:使用 Mask QKT 与矩阵 V 相乘,得到输出 Z,则单词 1 的输出向量 Z1 是只包含单词 1 信息的。

浅谈Transformer_第27张图片

第五步:通过上述步骤就可以得到一个 Mask Self-Attention 的输出矩阵 Zi,然后和 Encoder 类似,通过 Multi-Head Attention 拼接多个输出 Zi 然后计算得到第一个 Multi-Head Attention 的输出 ZZ 与输入 X 维度一样。

第二个 Multi-Head Attention

Decoder block 第二个 Multi-Head Attention 变化不大, 主要的区别在于其中 Self-Attention 的 K, V 矩阵不是使用 上一个 Decoder block 的输出计算的,而是使用 Encoder 的编码信息矩阵 C 计算的。

根据 Encoder 的输出 C 计算得到 K, V,根据上一个 Decoder block 的输出 Z 计算 Q (如果是第一个 Decoder block 则使用输入矩阵 X 进行计算),后续的计算方法与之前描述的一致。

这样做的好处是在 Decoder 的时候,每一位单词都可以利用到 Encoder 所有单词的信息 (这些信息无需 Mask)。

Softmax 预测输出单词

Decoder block 最后的部分是利用 Softmax 预测下一个单词,在之前的网络层我们可以得到一个最终的输出 Z,因为 Mask 的存在,使得单词 0 的输出 Z0 只包含单词 0 的信息,如下。

浅谈Transformer_第28张图片

Softmax 根据输出矩阵的每一行预测下一个单词:

浅谈Transformer_第29张图片
这就是 Decoder block 的定义,与 Encoder 一样,Decoder 是由多个 Decoder block 组合而成。

Transformer总结

Transformer 与 RNN 不同,可以比较好地并行训练。

Transformer 本身是不能利用单词的顺序信息的,因此需要在输入中添加位置 Embedding,否则 Transformer 就是一个词袋模型了。

Transformer 的重点是 Self-Attention 结构,其中用到的 Q, K, V 矩阵通过输出进行线性变换得到。

Transformer 中 Multi-Head Attention 中有多个 Self-Attention,可以捕获单词之间多种维度上的相关系数 attention score。

Reference

https://www.jianshu.com/p/9b87b945151e
https://baijiahao.baidu.com/s?id=1622064575970777188&wfr=spider&for=pc

 

 

 

 

 

 

 

 

 

 

你可能感兴趣的:(NLP)