2019-03-18机器学习——梯度消失和爆炸

反向传播的迭代公式为

其中f是激活函数,常用sigmoid激活函数求导为

导数值域都小于1,误差经过每一层传递都会减小,层数很深的时候,梯度就会不停衰减,甚至消失,使网络很难训练,这就是梯度消失问题。

解决方法:BN,ResNet,权重正则(爆炸),换激活函数

你可能感兴趣的:(2019-03-18机器学习——梯度消失和爆炸)