深度学习入门笔记手稿(十二)学习率衰减

学习率衰减

加快学习算法的一个办法就是随机慢慢减少学习率
在使用mini batch梯度下降算法时,最后会在一点附近摆动,并不会真正收敛,因为学习率为固定值,不同的mini batch中有噪音
但是慢慢减少学习率,在初期学习率还比较大,但是随着学习率变小,学习不长也变慢,最后会在最小值一小块区域摆动

1.可以将学习率设置为 1/(1+decay_rate*epoch_num)
decay_rate为衰减率 epoch_num为训练迭代的次数

2.学习率=学习率*(0.95的epoch_num次方)

3.学习率=学习率*k/sqrt(epoch_num)

4.离散衰减

5.手动衰减(太慢)

你可能感兴趣的:(深度学习入门笔记手稿,深度学习入门手稿笔记系列,学习率衰减)