DNN中的梯度消失/爆炸原因

DNN中的梯度消失/爆炸原因

梯度消失/梯度爆炸是深度学习中老生常谈的话题，这篇博客主要是对DNN中的梯度消失/梯度爆炸原因进行公式层面上的直观理解。

如上图所示，假设有2个隐层，前向传播公式：

$f_1=\sigma (w_{1}x+b_1)，z_1=w_{1}x+b_1$

$f_2=\sigma (w_2{f}_1+b_2)，z_2=w_2{f}_1+b_2$

$f_3=\sigma (w_3{f}_2+b_3)，z_3=w_3{f}_2+b_3$

$f_3$是输出层的神经元，所以可以认为$loss$是关于$f_3$的函数。

当$loss$反向传播的时候，我们可以对权重$w_3,w_2,w_1$进行更新:

$\frac{\partial loss}{\partial w_3}=\frac{\partial loss}{\partial f_3}\frac{\partial f_3}{\partial w_3}=\frac{\partial loss}{\partial f_3}{\sigma }^{{}^{\prime }}(w_3{f}_2+b_3)f_2$

$\frac{\partial loss}{\partial w_2}=\frac{\partial loss}{\partial f_3}\frac{\partial f_3}{\partial f_2}\frac{\partial f_2}{\partial w_2}=\frac{\partial loss}{\partial f_3}{\sigma }^{{}^{\prime }}(w_3{f}_2+b_3)w_3{\sigma }^{{}^{\prime }}(w_2{f}_1+b_2)f_1$

$\frac{\partial loss}{\partial w_1}=\frac{\partial loss}{\partial f_3}\frac{\partial f_3}{\partial f_2}\frac{\partial f_2}{\partial f_1}\frac{\partial f_1}{\partial w_1}=\frac{\partial loss}{\partial f_3}{\sigma }^{{}^{\prime }}(w_3{f}_2+b_3)w_3{\sigma }^{{}^{\prime }}(w_2{f}_1+b_2)w_2{\sigma }^{{}^{\prime }}(w_{1}x+b_1)x$

根据上面规律，我们可以把$x$写成$f_0$，当有n-1层隐层时，$f_n$是输出，如果要求$w_l$也就是第$l$层的权重，反向传播中涉及的偏导计算为：

$\frac{\partial loss}{\partial w_l}=\frac{\partial loss}{\partial f_n}{\prod }_{i=l}^n{\sigma }^{{}^{\prime }}(w_i{f}_{i-1}+b_i){\prod }_{i=l+1}^n{w}_i{f}_{l-1}$

上面这个式子就是我们要推导的核心！

当梯度反向传播到第$l$层的时候，我们用上述公式计算偏导，根据链式法则，上面用大括号括起来的就是累乘项，其中前半部分是关于激活函数的导数的累乘，后半部分是关于权重值的累乘。我们知道，激活函数比如sigmoid函数，其导数的取值范围是$(0,\frac{1}{4}]$，是恒小于1的，当网络层数很深的时候，多个小于1的数进行累乘，结果是趋向于0的，也就是说此时，梯度反向传播的时候，根据参数更新公式$\theta :=\theta -\alpha \cdot \frac{\partial loss}{\theta }$，偏导部分的取值趋于0，那么该参数得不到更新，也就出现了我们说的梯度消失现象。

另外，我们也注意到，大括号的后半部分是关于权重值的累乘，当我们初始化权值很大的时候，多个大于1的数累乘，结果是$+\infty$，此时就出现了梯度爆炸现象。