梯度消失/爆炸产生的原因和解决方案

梯度消失/爆炸产生的原因

在进行反向传播的过程中,梯度会反向传播,当梯度很大,并且weight值大于1的时候,网络会产生梯度爆炸,反之weight值很小,网络会产生梯度消失。
下面从网络深度和激活函数角度进行解释:
(1)网络深度
若在网络很深的时候,若权重初始化很小,各层上的相乘得到的数值都会在0-1之间的小数,而激活函数梯度也是0-1之间的数,那么连乘后,结果数值会变得很小,导致梯度消失,若权重初始化大时,大到激活函数的导数都大于1,那么连乘后,可能会导致求导的结果很大,导致梯度爆炸
(2)激活函数
如果激活函数选择不合适,例如sigmoid,梯度消失就很明显了,原因看下图,左边为sigmoid函数图,右边为其导数图,如果使用sigmoid作为损失函数,其梯度时不可能超过0.25,这样经过链式求导之后,很容易发生梯度消失。
梯度消失/爆炸产生的原因和解决方案_第1张图片

梯度消失/爆炸的解决方案

1.预训练加微调
此方法来自Hinton在2006年发表的一篇论文,Hinton为了解决梯度的问题,提出采取无监督逐层训练方法,其基本思想是每次训练一层隐节点,训练时将上一层隐节点的输出作为输入,而本层隐节点的输出作为下一层隐节点的输入,此过程就是逐层“预训练”(pre-training);在预训练完成后,再对整个网络进行“微调”(fine-tunning)。Hinton在训练深度信念网络(Deep Belief Networks中,使用了这个方法,在各层预训练完成后,再利用BP算法对整个网络进行训练。此思想相当于是先寻找局部最优,然后整合起来寻找全局最优,此方法有一定的好处,但是目前应用的不是很多了。
2.梯度裁剪
当梯度超过一定阈值,那么就将其强制限制在这个范围之内,这就可以防止梯度爆炸,另外解决一种梯度爆炸的手段就是权重正则化比较常见的时L1和L2正则化。
3.采用合适的激活函数
例如Relu,LeakyRelu等等
4.采用BN
5.残差结构
6.LSTM
LSTM全称是长短期记忆网络,是不那么容易发生梯度消失,主要原因在于LSTM内部复杂的门。在计算时,将过程中的梯度进行了抵消。

你可能感兴趣的:(Python,深度学习,网络,算法,深度学习,神经网络,人工智能)