ReduceLROnPlateau学习率记录

ReduceLROnPlateau 是目前较为火爆的学习率配置之一
然而，该学习率使用起来总给人一种，下降不受控制的感觉
在经过一番调研后，我大概搞懂了为什么总感觉下降不受控制
其中最核心的参数是patience

这个参数的定义是：如果模型在连续 patience 上误差降低均低于 threshold，学习率将触发下降条件。

最开始觉得“不受控制”是以为，模型过了这个 patience 以后，学习率一定下降，所以最后是类似 stepLR 那样的形状。

事实上，下降是需要根据阈值调整的，看这个例子 ：

上述两例只针对 patience 这一个参数，当然了，还有其他的一些参数，具体请看 官方文档 。