深度学习记录--梯度消失和爆炸

梯度消失和爆炸的产生

当神经网络层数很大时,即l很大时,w与1之间的大小关系会产生梯度消失与梯度爆炸的问题

当w<1时,w^{l}会非常小,梯度消失

当w>1时,w^{l}会非常大,梯度爆炸

解决方法

权重初始化

层数n越大,越要使特征值w变小

深度学习记录--梯度消失和爆炸_第1张图片

你可能感兴趣的:(深度学习记录,深度学习,人工智能)