【人工智能概论】 optimizer.param_groups简介

【人工智能概论】 optimizer.param_groups简介

文章目录

  • 【人工智能概论】 optimizer.param_groups简介
  • 一. optimizer.param_groups究竟是什么
  • 二. 实际应用——给不同层匹配不同的学习率
  • 三. 用add_param_group方法给param_group添加内容:


一. optimizer.param_groups究竟是什么

  • optimizer.param_groups: 是一个list,其中的元素为字典;
  • optimizer.param_groups[0]:是一个字典,一般包括[‘params’, ‘lr’, ‘betas’, ‘eps’, ‘weight_decay’, ‘amsgrad’, ‘maximize’]等参数(不同的优化器包含的可能略有不同,而且还可以额外人为添加键值对);
  • 举例展示:
optimizer = torch.optim.SGD(model.parameters(), lr=0.1)
optimizer1 = torch.optim.Adam(model.parameters(), lr=0.1)
print(optimizer.param_groups[0].keys())
# dict_keys(['params', 'lr', 'momentum', 'dampening', 'weight_decay', 'nesterov', 'maximize', 'foreach', 'differentiable'])
print(optimizer1.param_groups[0].keys())
# dict_keys(['params', 'lr', 'betas', 'eps', 'weight_decay', 'amsgrad', 'maximize', 'foreach', 'capturable', 'differentiable', 'fused'])
  • 不同键有不同的含义,还是要具体分析为好。
  • 通过修改其中的值,可以实现对优化器更为灵活的控制,优化器的其他参数就好比默认服务,而它所控制的就好比私人订制,且具有更高的优先级。

二. 实际应用——给不同层匹配不同的学习率

  • 构建案例模型:
import torch

class Resnet(torch.nn.Module):
    def __init__(self):
        super(Resnet, self).__init__()
        self.block1 = torch.nn.Sequential(
            torch.nn.Conv2d(1, 10, 5),
            torch.nn.MaxPool2d(2),
            torch.nn.ReLU(True),
            torch.nn.BatchNorm2d(10),
        )
        self.block2 = torch.nn.Sequential(
            torch.nn.Conv2d(10, 20, 5),
            torch.nn.MaxPool2d(2),
            torch.nn.ReLU(True),
            torch.nn.BatchNorm2d(20),
        )
        self.fc = torch.nn.Sequential(
            torch.nn.Flatten(),
            torch.nn.Linear(320, 10)
        )
    def forward(self, x):
        x = self.block1(x)
        x = self.block2(x)
        x = self.fc(x)
        return x
    
model = Resnet()
  • 正常的设置优化器方式:
optimizer = torch.optim.SGD(model.parameters(), lr=0.1, momentum=0.5)
  • 对网络不同模块设置不同的学习率:
params = [
        {"params":model.block1.parameters()},  # 其采用默认的学习率
        {"params":model.block2.parameters(),"lr":0.08},
        ]
optimizer = torch.optim.SGD(params, lr=0.1,) # 此处的lr是默认的学习率
# optimizer.param_groups[1]在这对应的就是{"params":model.block2.parameters(),"lr":0.08}
  • 动态调整学习率:
start_lr = [0.1, 0.08, 0.09]  # 不同层的初始学习率
def adjust_learning_rate(optimizer, epoch, start_lr):
    for index, param_group in enumerate(optimizer.param_groups):
        lr = start_lr[index] * (0.9 ** (epoch // 1))    # 每1个eporch学习率改变为上一个eporch的 0.9倍
        param_group['lr'] = lr

三. 用add_param_group方法给param_group添加内容:

optimizer.add_param_group({"params":model.fc.parameters(),"lr":0.09})

你可能感兴趣的:(【人工智能概论】,人工智能,数学建模)