GPT和GPT2结构的区别

GPT1结构图如下所示：
GPT2结构图如下：
注意，GPT2的最后一个LayerNorm在24个transformers或是12个transformers结构之后添加的，
这里layernormalization放在前面类似于预激活函数的设定，在另外一篇文章Identity mappings in deep
residual networks.
这里在Idenity mapping in deep residual networks之中有推导过程，这里简单的写一下
原始残差单元计算公式如下：
$y_l=h(x_l)+F(x_l,W_l)(1)$
$x_{l+1}=f(y_l)(2)$
l为第l个单元输入的特征
其中F代表残差函数，我们假设函数h为恒等变换，则将(2)代入(1)中可以获得
$x_{l+1}=x_l+\sum _{i=1}^{L-1}F(x_l,W_l)(3)$
通过反向传播的链式法则进行求导，可以得到结果
$\frac{\partial E}{\partial x_L}=\frac{\partial E}{\partial x_L}\ast \frac{\partial x_L}{\partial x_l}=\frac{\partial E}{\partial x_L}(1+\frac{\partial }{\partial x_l}\sum _{i=1}^{L-1}F(x_i,W_i))$
如果说这里的$h(x_l)$不为恒等函数的情况下
$\frac{\partial E}{\partial x_L}=\frac{\partial E}{\partial x_L}\ast \frac{\partial x_L}{\partial x_l}=\frac{\partial E}{\partial x_L}(\sum _{i=1}^{L-1}{x}_i+\frac{\partial }{\partial x_l}\sum _{i=1}^{L-1}F(x_i,W_i))$