pytorch学习（二）学习率调整

PyTorch 提供了六种学习率调整方法，可分为三大类，分别是

1. 有序调整；
2. 自适应调整；
3. 自定义调整。

第一类，依一定规律有序进行调整，这一类是最常用的，分别是等间隔下降(Step)，
按需设定下降间隔(MultiStep)，指数下降(Exponential)和 CosineAnnealing。这四种方
法的调整时机都是人为可控的，也是训练时常用到的。
第二类，依训练状况伺机调整，这就是 ReduceLROnPlateau 方法。该法通过监测某一
指标的变化情况，当该指标不再怎么变化的时候，就是调整学习率的时机，因而属于自适
应的调整。
第三类，自定义调整，Lambda。Lambda 方法提供的调整策略十分灵活，我们可以为不
同的层设定不同的学习率调整方法，这在 fine-tune 中十分有用，我们不仅可为不同的层
设定不同的学习率，还可以为其设定不同的学习率调整策略，简直不能更棒！