pytorch Cosine Annealing LR

Cosine Annealing LR

torch.optim.lr_scheduler.CosineAnnealingLR(optimizer,T_max,eta_min=0,last_epoch=-1)

这个学习率策略就是说,学习率以余弦函数的趋势进行变换。

  • T_max

    用于设置半个周期的长度。如T_max=50的话,则学习率的变化情况为:在epoch0的时候,学习率是设置最大值;epoch0 ~ epoch50时,以余弦型式由设置的最大值下降到设置的最小值;epoch50 ~ epoch100,又由设置的最小值逐渐上升到设置的最大值。
    pytorch Cosine Annealing LR_第1张图片

  • eta_min:学习率可以下降到的最小值。

  • last_epoch:前一轮是epoch几,用于确定当前轮的学习率。-1的话,表示当epoch是0。

ps:学习率的最大值是在optimizer中设置的那个值。

eg:下面的代码表示学习率在[0, 0.01]内以 半周期为50的余弦函数形式 进行变化。

optimizer = optim.Adam(net.parameters(), lr=0.01)
lr_scheduler = torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max=50, eta_min=0)

你可能感兴趣的:(pytorh学习记录,pytorch,深度学习,人工智能)