Pytorch-搭建网络框架(四)——学习率调整策略
Hello
学习率/LR：控制参数更新的步长
梯度下降：
学习率调整策略：前期大，后期小
pytorch中有6中学习率调整策略，但都是基于class_LRScheduler类
class_LRScheduler
基本属性：
optimizer:学习率所关联的优化器
last_epoch:记录epoch数，即学习率的调整是以epoch为周期的
base_lrs:记录初始学习率
主要方法：
step()：更新下一个epoch的学习率
get_lr()：虚函数，需要override，计算下一个epoch的学习率
optimizer = optim.SGD(net.parameters(), lr=LR, momentum=0.9) # 选择优化器
scheduler = torch.optim.lr_scheduler.StepLR(optimizer, step_size=10, gamma=0.1) # 设置学习率下降策略
#在epoch循环中
scheduler.step() # 循环最后，更新学习率
1、StepLR
lr_scheduler(optimizer,step_size,gamma=0.1,last_epoch=-1)
功能：等间隔调整学习率
主要参数：
step_size：调整间隔数
gamma：调整系数
调整方式：lr = lr*gamma
2、MultiStepLR
lr_scheduler.MultiStepLR(optimizer, milestones=milestones, gamma=0.1)
功能：按给定间隔调整学习率
主要参数：
milestones：设定调整时刻
gamma：调整系数
公式：lr = lr*gamma
milestones = [50,125,160] # 学习率调整时刻，无需等间隔，自定义即可
scheduler_lr = optim.lr_scheduler.MultiStepLR(optimizer, milestones=milestones, gamma=0.1)
3、ExponentialLR
lr_scheduler.ExponentialLR(optimizer, gamma, last_epoch=-1)
功能：按指数衰减调整学习率
主要参数：
gamma：指数的底
调整方式：lr = lr*gamma**epoch
gamma = 0.95
scheduler_lr = optim.lr_scheduler.ExponentialLR(optimizer, gamma=gamma)
4、CosineAnnealingLR
lr_scheduler.CosineAnnealingLR(optimizer, T_max, eta_min=0, last_epoch=-1)
功能：余弦周期调整学习率
主要参数：
T_max：下降周期，即三角函数周期的一半
eta_min：学习率下限，即学习率可以下降的最低点
t_max = 50 # 即50个epoch后学习率下降到最低点
scheduler_lr = optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max=t_max, eta_min=0)
5、 ReduceLRonPlateau
lr_scheduler.ReduceLROnPlateau(optimizer, mode=‘min’, factor=0.1, patience=10, verbose=False,threshold=0.0001, threshold_mode=‘rel’, cooldown=0, min_lr=0, eps=1e-08）
功能：监控某个指标，当指标不再变化则调整，如loss,accuracy
主要参数：
mode：min/max 两种模式，min：当监控的指标不下降就调整(loss)，max：当监控的指标不上升就调整(accuarcy)
factor：调整系数，类似之前的gamma
patience：“耐心 ”，接受指标连续几次不变化
cooldown：“冷却时间”，调整完loss之后，停止监控一段时间
verbose：布尔变量，是否打印日志
min_lr：学习率下限
eps：学习率衰减最小值
loss_value = 0.5
accuray = 0.9
factor = 0.1
mode = "min"
patience = 10
cooldown = 10
min_lr = 1e-4
verbose = True
scheduler_lr = optim.lr_scheduler.ReduceLROnPlateau(optimizer, factor=factor, mode=mode, patience=patience,
cooldown=cooldown, min_lr=min_lr, verbose=verbose)
#epoch循环中
scheduler_lr.step(loss_value) # 监控loss_value
6、LambdaLR
lr_scheduler.LambdaLR(optimizer, lr_lambda, last_epoch=-1）
功能：自定义调整策略
主要参数：
lr_lambda：function or list，list的时候，其中每个元素也必须是function
weights_1 = torch.randn((6, 3, 5, 5))
weights_2 = torch.ones((5, 5))
optimizer = optim.SGD([{'params': [weights_1]},{'params': [weights_2]}], lr=lr_init)
lambda1 = lambda epoch: 0.1 ** (epoch // 20)
lambda2 = lambda epoch: 0.95 ** epoch
scheduler = torch.optim.lr_scheduler.LambdaLR(optimizer, lr_lambda=[lambda1, lambda2])
#在epoch循环中
scheduler.step()
学习率初始化：
设置较小的学习率：0.01，0.001，0.0001