学习率预热warmup

学习率衰减

学习率：权重更新的控制因子
训练神经网络的常规策略是初始时使用较大的学习率（好处是能使网络收敛迅速），随着训练的进行，学习率衰减；

warmup是什么？

在训练初期，loss很大，因此计算的梯度也很大，如果设置较大的学习率，模型很容易跳过最优点，后期很难再拉回来；
阶段一： 而warmup是在初始时（前几个epoch）使用较小的学习率，然后随着训练的进行，学习率慢慢增加到设定的学习率（linear线性增加，constant方式等）；
阶段二： 最后学习率从设定数值再衰减；

warmup的几个参数：

warmup_factor：warmup期间，学习率初始化为$warmu{p}_{f}actor\ast {\eta }_0$，然后根据不同的策略增加到${\eta }_0$
衰减系数α：学习率按照这个系数衰减
milestones:学习率会在这个期间衰减

warmup的作用：

防止过拟合