Transformer pytorch 代码解读（2）Encoder层
目录
0.整体的架构
1.MultiHeadAttention（）
2.Feed Forward（）
0.Encoder层整体的架构
在每一个Encoder层中包括一个Multi-Head Attention层以及一个Feed Forward层。
Multi-Head Attention层主要就是进行attention的计算，QKV的矩阵运算都在这里。
Feed Forward层就是进行特征的提取，进行向前传播。
总的来看进入Multi-Head Attention层时数据的维度是（2，5，512）即（batch_size，len，d_model）。出Multi-Head Attention层时数据的维度也是（2，5，512）即（batch_size，len，d_model）。而前馈神经网络没有进行维度的变化，所以每个Encoder层进出的维度都是不变的。
在这一层传入的是上一层的output,也就是之前（1）文中的（2，5，512）的数据。
(在进入多头注意力的计算之前，原始数据从（2，5）->（2，5，512）->（2，5，512），经过了两次变换，第一次是进行词编码，第二次虽然维度没有变换但是增加了位置的信息。)
1.MultiHeadAttention（）
enc_outputs, attn = self.enc_self_attn(enc_inputs, enc_inputs, enc_inputs, enc_self_attn_mask)
在这一层对应的就是上层的红色部分，三个inputs的维度都是（2，5，512），attn_mask的维度是（2，5，5），attn_mask的样子是如下：
torch.Size([2, 5, 5])
tensor([[[False, False, False, False, True],
[False, False, False, False, True],
[False, False, False, False, True],
[False, False, False, False, True],
[False, False, False, False, True]],
[[False, False, False, False, True],
[False, False, False, False, True],
[False, False, False, False, True],
[False, False, False, False, True],
[False, False, False, False, True]]])
所谓的W_Q,K,V实际上就是一层Linear层，
在经过第一次相乘的时候，并没有展现出多头。维度还是（2，5，512）。
接下来会将Q矩阵进行维度的变化，同理K和V也是如此。
经过黄色的这一步，attn_mask的尺度，变成了（2，8，5，5）。
总结一下，到现在Q，K，V的尺度是（2，5，8，64）而attn_mask的维度是（2，8，5，5）
这一步进行的是，
context, attn = ScaledDotProductAttention()(Q, K, V, attn_mask)
接下来将对ScaledDotProductAttention进行分析：
经过红色部分，Q（2，8，5，64）* K（2，8，64，5）-> scores（2，8，5，5）
经过黄色部分，会将attn_mask的为0的部分进行赋值为很负的负数，这样经过softmax这个部分就会接近于0。
经过绿色的部分，第一句是进行softmax会将负的数变成0.
第二句是将attn和V进行相乘，（2，8，5，5）*（2，8，5，64）=（2，8，5，64）
也就是说返回的context是将
1.Q K进行相乘得到的scores
2.将scores进行pad位置填负
3.经过softmax
4.在进行和v相乘
返回的attn是前三步，也就是
1.Q K进行相乘得到的scores
2.将scores进行pad位置填负
3.经过softmax
如论文中所示。
接下来绿色的这一步是进行信息的提取以及维度的变换，
因为有用到残差连接，所以每次的维度到最后都是不变的。即（2，5，512）
2.Feed Forward（）
黄色部分 是前馈网络主要就是进行信息的提取进行前馈。这一层比较简单，主要就是一层Linear一层ReLU然后再一层Linear，维度是不变的。得到这一层EncoderLayer的输出是output，这一层的output就是下一层的inputs。
所以经过一层Encoder数据的维度是不变的，（2，5，512）即（batch_size，len，d_model）。
