自然语言处理N天-Transformer学习（读书笔记02）

新建 Microsoft PowerPoint 演示文稿 (2).jpg

这个算是在课程学习之外的探索，不过希望能尽快用到项目实践中。在文章里会引用较多的博客，文末会进行reference。
搜索Transformer机制，会发现高分结果基本上都源于一篇论文Jay Alammar的《The Illustrated Transformer》（图解Transformer），提到最多的Attention是Google的《Attention Is All You Need》。

• 对于Transformer的运行机制了解即可，所以会基于这篇论文来学习Transformer，结合《Sklearn+Tensorflow》中Attention注意力机制一章完成基本的概念学习；
• 找一个基于Transformer的项目练手

3.Transformer的一些笔记

今天的文本来自《聊聊 Transformer》https://zhuanlan.zhihu.com/p/47812375 最近学习都会围绕Transformer进行，就算我不会推导公式，但是大致原理要懂，然后找一个demo实现能对得上。
同样也是介绍了Transformer的架构，但是这篇文章拆解得更加清晰。

Encoder

在google论文中，Encoder和Decoder都是由6层相同的层组成。Encoder每一层由2部分构成。

• multi-head self-attention
• position-wise feed-forward network
  这两部分由一个残差连接(residual connection)，然后接Layer Normalization。

Decoder

• multi-head self-attention mechanism
• multi-head context-attention mechanism
• position-wise feed-forward network
  和Encoder一样也是由残差连接，最后接一个Layer Normalization。

注意Decoder和Encoder不同的地方在 multi-head context-attention mechanism

在接下来的三个小节，是从Attention-> self-sttention-> scaled dot-product attention，很细心。

Attention

Attention是Encoder层的输出经过加权平均后再输入到Decoder层中。它主要应用在 seq2seq 模型中，这个加权可以用矩阵来表示，也叫 Attention 矩阵。它表示对于某个时刻的输出 y，它在输入 x 上各个部分的注意力。这个注意力就是我们刚才说到的加权。
attention分为“乘性attention”和“加性attention”

self-attention

attention机制有两个隐状态，和，而self-attention实际上输出序列就是输入序列。因而自己计算自己的 attention 得分。

context-attention

context-attention 是 encoder 和 decoder 之间的 attention，是两个不同序列之间的attention，与来源于自身的 self-attention 相区别。
不管是哪种 attention，我们在计算 attention 权重的时候，可以选择很多方式，常用的方法有additive attention、local-base attention、general attention、dot-product attention、scaled dot-product attention（我一个都没听说过……）
Transformer模型采用的是最后一种scaled dot-product attention

scaled dot-product attention

为什么使用scaled dot-product attention。Google给出的解答就是上一节的Q（Query）、V（Value）、K（Key），注意看看这里的描述。通过query和key的相似性程度来确定value的权重分布。

scaled dot-product attention 和 dot-product attention 唯一的区别就是，scaled dot-product attention 有一个缩放因子， 叫。这个在上一节中也有提到，我略过了，因为没有看懂。 表示 Key 的维度，默认用 64。
对于很大的时候，点积得到的结果维度很大，使得结果处于softmax函数梯度很小的区域。这时候除以一个缩放因子，可以一定程度上减缓这种情况。

multi-head attention

论文提到，他们发现将 Q、K、V 通过一个线性映射之后，分成 h 份，对每一份进行 scaled dot-product attention 效果更好。
然后，把各个部分的结果合并起来，再次经过线性映射，得到最终的输出。
这就是所谓的 multi-head attention。上面的超参数 h 就是 heads 的数量。论文默认是 8。

Layer normalization

normaliztion的目标是把输入转化为均值为0，方差为1的数据。
说到 normalization，那就肯定得提到 Batch Normalization。
BN 的主要思想就是：在每一层的每一批数据上进行归一化。我们可能会对输入数据进行归一化，但是经过该网络层的作用后，我们的数据已经不再是归一化的了。随着这种情况的发展，数据的偏差越来越大，反向传播需要考虑到这些大的偏差，这就迫使我们只能使用较小的学习率来防止梯度消失或者梯度爆炸。
BN 的具体做法就是对每一小批数据做归一化。
而Layer normalization也是归一化数据的一种方式，不过LN是在每一个样本上计算均值和方差，而不是 BN 那种在批方向计算均值和方差。

Mask

mask 表示掩码，它对某些值进行掩盖，使其在参数更新时不产生效果。Transformer 模型里面涉及两种 mask，分别是 padding mask 和 sequence mask。

• padding mask 在所有的 scaled dot-product attention 里面都需要用到
• sequence mask 只有在 decoder 的 self-attention 里面用到。
  padding mask，每个批次输入序列长度是不一样的，要对输入序列进行对齐。具体来说，就是给在较短的序列后面填充 0。因为这些填充的位置，其实是没什么意义的，所以我们的 attention 机制不应该把注意力放在这些位置上，所以我们需要进行一些处理。
  具体的做法是，把这些位置的值加上一个非常大的负数(负无穷)，这样的话，经过 softmax，这些位置的概率就会接近0。而Transformer的 padding mask 实际上是一个张量，每个值都是一个 Boolean，值为 false 的地方就是我们要进行处理的地方。

文章前面也提到，sequence mask 是为了使得 decoder 不能看见未来的信息。也就是对于一个序列，在 time_step 为 t 的时刻，我们的解码输出应该只能依赖于 t 时刻之前的输出，而不能依赖 t 之后的输出。因此我们需要想一个办法，把 t 之后的信息给隐藏起来。
那么具体怎么做呢？也很简单：产生一个上三角矩阵，上三角的值全为 1，下三角的值权威0，对角线也是 0。把这个矩阵作用在每一个序列上。（同样没看懂具体的实现方式）

Positional Embedding

现在的 Transformer 架构还没有提取序列顺序的信息，这个信息对于序列而言非常重要，如果缺失了这个信息，可能我们的结果就是：所有词语都对了，但是无法组成有意义的语句。为了解决这个问题。论文使用了 Positional Embedding：对序列中的词语出现的位置进行编码。
在实现的时候使用正余弦函数。

Position-wise Feed-Forward network

这是一个全连接网络，包含两个线性变换和一个非线性函数(实际上就是 ReLU)。

这个线性变换在不同的位置都表现一样，并且在不同的层之间使用不同的参数。这里实现上用到了两个一维卷积。