pytorch -不同网络层设置不同学习率

pytorch -不同网络层设置不同学习率

当使用预训练模型时，如果对主干网络以外的网络分支进行了单独的修改并进行初始化，而主干网络层的参数仍采用预训练模型的参数进行初始化，则希望在训练过程中，主干网络只进行微调，不需要过多的改变参数，因此设置较小的学习率，而修改后的网络分支需要以较大的步子进行收敛，学习率设置需要大一点。

具体代码示例：

params = [
        {"params": [value] for _, value in model.module.sharedNet.named_parameters() if value.requires_grad},
        {"params": [value for _, value in model.module.cls_fc_son1.named_parameters() if value.requires_grad], 'lr': args.lr * 10},
        {"params": [value for _, value in model.module.cls_fc_son2.named_parameters() if value.requires_grad], 'lr': args.lr * 10},
        {"params": [value for _, value in model.module.sonnet1.named_parameters() if value.requires_grad], 'lr': args.lr * 10},
        {"params": [value for _, value in model.module.sonnet2.named_parameters() if value.requires_grad], 'lr': args.lr * 10},
    ]
optimizer = torch.optim.Adam(params, lr=args.lr, weight_decay=args.weight_decay)

参考

https://ddelephant.blog.csdn.net/article/details/119898464?spm=1001.2101.3001.6661.1&utm_medium=distribute.pc_relevant_t0.none-task-blog-2%7Edefault%7ECTRLIST%7Edefault-1-119898464-blog-120280068.pc_relevant_default&depth_1-utm_source=distribute.pc_relevant_t0.none-task-blog-2%7Edefault%7ECTRLIST%7Edefault-1-119898464-blog-120280068.pc_relevant_default&utm_relevant_index=1