余弦退火学习率

目录

余弦退火学习率

按步下降法：

---

余弦退火学习率

问题：t_max小于10时，步数较大，最小学习率只到10-5次方。

 lr_scheduler = optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max=10,eta_min=4e-08)

  lr_scheduler.step()

T_max 对应1/2个cos周期所对应的epoch数值

eta_min 为最小的lr值，默认为0

这个学习率不能降到很低。

想把学习率上升阶段去掉：

代码：

设置起始学习率：

lr_scheduler.base_lrs[0]

if epoch%10==0 and epoch