【深度学习技巧】迁移学习的基础内容

迁移学习的理解

固定学习率
使其指定层的学习率为0。

    train_params = model.parameters()
    if args.optim == 'sgd':
        # optimizer = optim.SGD(train_params, lr=args.lr, weight_decay=args.weight_decay, momentum=args.momentum, nesterov=True)
        optimizer = torch.optim.SGD(params=[
            {'params': model.backbone.parameters(), 'lr': 0},
            {'params': model.backbone.conv1.parameters(), 'lr': args.lr},
            {'params': model.classifier.parameters(), 'lr': args.lr},
        ], lr=args.lr, momentum=0.9, weight_decay=1e-4)