神经网络——梯度消失和梯度爆炸问题

（1）梯度不稳定问题：

梯度不稳定问题：

深度神经网络中的梯度不稳定性，前面层中的梯度或会消失，或会爆炸。

原因：

前面层上的梯度是来自于后面层上梯度的乘乘积。当存在过多的层次时，就出现了内在本质上的不稳定场景，如梯度消失和梯度爆炸。

（2）梯度消失：

原因：

例如三个隐层、单神经元网络：

则可以得到：

然而，Sigmoid方程的导数曲线为：

可以看到，Sigmoid导数的最大值0.25， 通常abs(w) < 1，则：

前面的层比后面的层梯度变化更小，故变化更慢，从而引起了梯度消失问题。

（3）梯度爆炸

当权值过大，前面层比后面层梯度变化更快，会引起梯度爆炸问题。

（4）Sigmoid时，消失和爆炸哪个更加容易发生？

量化分析梯度爆炸出现时a的数值范围：因为sigmoid导数最大为1/4， 故只有当abd(w) > 4时才可呢出现

由此计算出a的数值变化范围很小，仅仅在此窄范围内出现梯度爆炸问题，而最普通发生的是梯度消失问题。

（5）如何解决梯度消失和梯度爆炸？

使用ReLU， maxout等代替sigmoid。

区别：

（1）sigmoid 函数值在[0, 1]，ReLU函数值在[0, +无穷]， 所以sigmoid 函数可以描述概率，ReLU适合用来描述实数
（2）sigmoid函数的梯度随着X的增大或减小损失，而ReLU不会。