学习率衰减(Learning rate decay)

随时间慢慢减少学习率来加快学习算法

学习率衰减(Learning rate decay)_第1张图片

在使用mini-batch梯度下降法时,mini-batch数量不大,大概64或者128个样本,在迭代过程中会有噪音(蓝色线),下降朝向最小值,但是不会精确地收敛,所以你的算法最后在附近摆动,并不会真正收敛,因为你用的\alpha是固定值,不同的mini-batch中有噪音。

学习率衰减(Learning rate decay)_第2张图片

 

但要慢慢减少学习率\alpha的话,在初期的时候,\alpha学习率还较大,你的学习还是相对较快,但随着\alpha变小,你的步伐也会变慢变小,所以最后你的曲线(绿色线)会在最小值附近的一小块区域里摆动,而不是在训练过程中,大幅度在最小值附近摆动。

所以慢慢减少\alpha的本质在于,在学习初期,你能承受较大的步伐,但当开始收敛的时候,小一些的学习率能让你步伐小一些。

 实现方法:

方法1:

\alpha = \frac{1}{1 + decayrate * \text{epoch}\text{-num}}\alpha _{0}

decay-rate:衰减率

epoch-num:代数

\alpha_{0}:初始学习率

方法2:

指数衰减:

\alpha =0.95^{epoch-num}\alpha _{0}

方法3:

\alpha =\frac{k}{\sqrt{epoch-num}}\alpha _0

方法4:

\alpha =\frac{k}{\sqrt t}\alpha _0

方法4:

手动衰减。如果一次只训练一个模型,如果花上数小时或数天来训练,看看自己的模型训练,耗上数日,学习速率变慢了,然后把\alpha调小一点。

但这种方法只是在模型数量小的时候有用。

你可能感兴趣的:(deep,learning)