[即开即用的预热学习率调整方法]Pytorch warmup lr scheduler代码与调用方法,训练效果
参考自https://github.com/ildoonet/pytorch-gradual-warmup-lr/blob/master/warmup_scheduler/scheduler.py对其中的个别小bug进行了改动所谓预热学习率调整机制,就是在训练初期把学习率放的很低,让模型可以先缓慢摸索,过程中逐渐提升学习率到正常的值等把学习率提升到预定值后,开始正常的阶梯下降,或指数下降,余弦退火