【人工智能概论】 optimizer.param_groups简介

【人工智能概论】 optimizer.param_groups简介

---

一. optimizer.param_groups究竟是什么

• optimizer.param_groups： 是一个list，其中的元素为字典；
• optimizer.param_groups[0]：是一个字典，一般包括[‘params’, ‘lr’, ‘betas’, ‘eps’, ‘weight_decay’, ‘amsgrad’, ‘maximize’]等参数（不同的优化器包含的可能略有不同，而且还可以额外人为添加键值对）；
• 举例展示：

optimizer = torch.optim.SGD(model.parameters(), lr=0.1)
optimizer1 = torch.optim.Adam(model.parameters(), lr=0.1)
print(optimizer.param_groups[0].keys())
# dict_keys(['params', 'lr', 'momentum', 'dampening', 'weight_decay', 'nesterov', 'maximize', 'foreach', 'differentiable'])
print(optimizer1.param_groups[0].keys())
# dict_keys(['params', 'lr', 'betas', 'eps', 'weight_decay', 'amsgrad', 'maximize', 'foreach', 'capturable', 'differentiable', 'fused'])

• 不同键有不同的含义，还是要具体分析为好。
• 通过修改其中的值，可以实现对优化器更为灵活的控制，优化器的其他参数就好比默认服务，而它所控制的就好比私人订制，且具有更高的优先级。

二. 实际应用——给不同层匹配不同的学习率

• 构建案例模型：

import torch

class Resnet(torch.nn.Module):
    def __init__(self):
        super(Resnet, self).__init__()
        self.block1 = torch.nn.Sequential(
            torch.nn.Conv2d(1, 10, 5),
            torch.nn.MaxPool2d(2),
            torch.nn.ReLU(True),
            torch.nn.BatchNorm2d(10),
        )
        self.block2 = torch.nn.Sequential(
            torch.nn.Conv2d(10, 20, 5),
            torch.nn.MaxPool2d(2),
            torch.nn.ReLU(True),
            torch.nn.BatchNorm2d(20),
        )
        self.fc = torch.nn.Sequential(
            torch.nn.Flatten(),
            torch.nn.Linear(320, 10)
        )
    def forward(self, x):
        x = self.block1(x)
        x = self.block2(x)
        x = self.fc(x)
        return x
    
model = Resnet()

• 正常的设置优化器方式：

optimizer = torch.optim.SGD(model.parameters(), lr=0.1, momentum=0.5)

• 对网络不同模块设置不同的学习率：

params = [
        {"params":model.block1.parameters()},  # 其采用默认的学习率
        {"params":model.block2.parameters(),"lr":0.08},
        ]
optimizer = torch.optim.SGD(params, lr=0.1,) # 此处的lr是默认的学习率
# optimizer.param_groups[1]在这对应的就是{"params":model.block2.parameters(),"lr":0.08}

• 动态调整学习率：

start_lr = [0.1, 0.08, 0.09]  # 不同层的初始学习率
def adjust_learning_rate(optimizer, epoch, start_lr):
    for index, param_group in enumerate(optimizer.param_groups):
        lr = start_lr[index] * (0.9 ** (epoch // 1))    # 每1个eporch学习率改变为上一个eporch的 0.9倍
        param_group['lr'] = lr

三. 用add_param_group方法给param_group添加内容：

optimizer.add_param_group({"params":model.fc.parameters(),"lr":0.09})