梯度爆炸和梯度消失

解决梯度爆炸和梯度消失的办法

 

1、选择合适的激活函数

一般使用 Relu函数，Relu的导数为1.

不建议使用Sigmoid函数和tanh函数，因为二者的导函数的区域小，容易梯度消失。

 

2、选择合适的参数初始化方法

（没看懂，好像是每一层都乘以一个比较小的数，如0.01）

 

 

3、使用权重参数正则化

 

 

 

4、使用Batch Normalization

（1）通过规范化操作将输出信号X规范化到均值为0方差为1保证网络的稳定性。

（2）可以加大神经网络的训练速度。

（3）提高训练的稳定性。

（4）缓解梯度爆炸和梯度消散的问题。

 

 

5、使用残差结构

（1）极大地提高了神经网络的深度

（2）很大程度上解决了梯度消散的问题

（3）允许我们可以训练很深层的神经网络

（4）残差结构可以看作解决梯度消散问题的最有效的、最重要的方法

 

6、使用梯度裁剪