深度学习 指数衰减法

今天记录一下我花了一些时间才理解的一个概念 —— 指数衰减法（exponential decay）

为什么要使用指数衰减法

在神经网络的参数更新过程中，学习率不能太大也不能太小，太大可能会导致参数在最优值两侧来回移动，太小会大大降低优化速度，为了解决学习率的问题，TensorFlow 提供了一种灵活的学习率设置方法，即指数衰减法。

函数及参数

对应的命令为 tf.train.exponential_decay，通过这个函数，可以先使用较大的学习率来快速得到一个比较优的解，然后随着迭代的继续逐步减小学习率，使得模型在训练后期更加稳定。

这个函数的参数为

• learning_rate —— 事先设定的初始学习率，

• global_step —— 当前迭代轮数

• decay_steps —— 衰减速度，即多少轮可以迭代完一次所有样本数据

• decay_rate —— 衰减系数

• staircase —— boolean 型，默认为 False，暂时不讲它的作用

• name 名字，默认为 None

原理

每迭代一轮，新的学习率都会根据以上参数更新一次，式子如下

decayed_learning_rate = learning_rate * decay_rate ^ (global_step / decay_steps)

式子比较长，不过用到的都是上面介绍的参数，这个式子实质上就是一个指数乘上一个常数，最后得到新一轮的学习率，由于我们的目的是减小学习率，所以根据指数的知识，decay_rate 必须在零到一之间，只有这样，随着指数项即（global_step / decay_steps）的增大，新一轮的学习率才是减小的。

那么为什么这个式子得到的新学习率减小的程度是在降低的呢，我们可以对上式求导，由于上式的右边除了 global_step，其他项都是常数，所以可以把上式简写为

y = a * (b^x)

对其求导结果为

y` = a * ln(b) * (b^x)

由于 b 在零到一之间，所以随着 x 的增大，导数在减小，即新学习率的变化率在减小，也就是衰减的程度在降低。

如此就实现了开头所说的

通过这个函数，可以先使用较大的学习率来快速得到一个比较优的解，然后随着迭代的继续逐步减小学习率，使得模型在训练后期更加稳定。