深度学习记录--学习率衰减(learning rate decay)

学习率衰减

mini-batch梯度下降最终会在最小值附近的区间摆动(噪声很大),不会精确收敛

为了更加近似最小值,采用学习率衰减的方法

随着学习率的衰减,步长会逐渐变小,因此最终摆动的区间会很小,更加近似最小值

如下图,蓝色曲线表示mini-batch梯度下降,绿色曲线表示采用学习率衰减的梯度下降

深度学习记录--学习率衰减(learning rate decay)_第1张图片

学习率衰减的实现

深度学习记录--学习率衰减(learning rate decay)_第2张图片

1 epoch = 遍历数据1次

\alpha = \frac{1}{1+rate_{decay}*num_{epoch}} *\alpha_{0}

rate_{decay}是学习率衰减的超参数,\alpha_{0}是初始学习率,num_{epoch}是遍历次数

其他衰减方案

\alpha = \varepsilon ^{num_{epoch}}*\alpha_{0}

\alpha_{0}是初始学习率,\varepsilon是衰减常量,一般设置\varepsilon=0.95num_{epoch}是遍历次数

\alpha = \frac{k}{\sqrt{num_{epoch}}} *\alpha_{0}

\alpha_{0}是初始学习率,k是衰减常量,num_{epoch}是遍历次数

分段衰减函数

深度学习记录--学习率衰减(learning rate decay)_第3张图片

你可能感兴趣的:(深度学习记录,深度学习,学习,人工智能)