深度学习学习率调整的六种方法

1、lr_scheduler.StepLR

作用：等间隔调整学习率

2、lr_scheduler.MultiStepLR

作用：按设定的间隔调整学习率。这个方法适合后期调试使用，观察loss曲线，为每个实验定制学习率调整时机。

3、lr_scheduler.ExponentialLR

作用：按照指数格式对学习率进行调整

4、lr_scheduler.CosineAnnealingLR

作用：以余弦的形式对学习率进行调整

5、lr_scheduler.ReduceLROnPlateau

作用：当某指标不再变化（下降或升高），调整学习率，这是非常实用的学习率调整策略。例如，当验证集的loss不再下降时，进行学习率调整；或者监测验证集的accuracy，当accuracy不再上升时，则调整学习率。

6、lr_scheduler.LambdaLR

作用：为不同参数组设定不同学习率调整策略。调整规则为，lr = base_lr * lmbda(self.last_epoch) 。

本文参考的是PyTorch 学习笔记（八）：PyTorch的六个学习率调整方法 - 知乎

特此记录学习一下