Transformer的残差连接

在学习Transformer的过程中，编码器和解码器都用到了残差连接，下面我总结一下残差连接。

假如我们的输入为X，要得到的输出为H(X)。那么我们可以通过 H = F(X) + X，转换为学习F。等得到F的输出后，在此基础上加上X即可得H的输出。

在Transformer中，此时的F即是下图中的Multi-Head Attention和Feed Forward，我们再加上X即可得到需要的输出。下图中的Add & Norm中的Add即为此意。Norm的意思就是在后面跟了一个归一化层。论文原文中的公式为 LayerNorm(X + SubLayer(X))，SubLayer就是我上文说的F。

说完这些，那残差连接有什么好处呢？
主要有两点，一是解决梯度消失的问题，二是解决权重矩阵的退化问题。具体可以看看知乎的这篇文章：【模型解读】resnet中的残差连接，你确定真的看懂了？