AI数学基础24——学习率衰减

学习率衰减（Learning rate decay）的想法来自于，若以一个固定的学习率进行训练，很有可能在最优点附近跳动，如下图蓝色曲线所示；若越接近最优点，学习率越小，即步长越小，那么围绕最优点跳动的范围也就越小，也就越逼近最优点，如下图绿色曲线所示。

所以，需要设计一个函数，是的学习率α，随着训练次数（N of epoch）的增加而衰减，例如：

α0是初始学习率，α是当前学习率，跟衰减率decay_rate，和迭代次数num_epoch有关。当然，还有更多的衰减公式，如下：

大家可以根据解决问题的目的，去自行设计。

参考文献：Andrew Ng《Learning rate decay》