【pytorch】冻结网络参数训练

假设我们想finetune一个网络，仅仅去训练conv8, prelu8, conv9,prelu9, conv10。在Pytorch中，一般是设置该variable的require_grad为False。

1.设置变量的variable中requires_grad属性

注意此处可以在定义网络的时候直接将requires_grad置于false。这里自行百度。
在特殊场景可以用下面的方法：注意all_net这里我定义了两个网络module。

conv8_params = list(map(id, all_net[0].conv8.parameters()))
prelu8_params = list(map(id, all_net[0].prelu8.parameters()))
conv9_params = list(map(id, all_net[0].conv9.parameters()))
prelu9_params = list(map(id, all_net[0].prelu9.parameters()))
conv10_params = list(map(id, all_net[0].conv10.parameters()))
base_params = filter(lambda p: id(p) not in conv8_params+prelu8_params+conv9_params+prelu9_params+conv10_params,all_net.parameters())
for p in base_params:
    p.requires_grad = False

2.设置优化器，过滤掉requires_grad=False的参数

optimizer = optim.Adam(filter(lambda p: p.requires_grad, all_net.parameters()), lr=config.learning_rate, betas=(config.beta1, config.beta2), eps=1e-8,  weight_decay=config.weight_decay)

3.打印变量 （此步仅仅为了调试所用）

for name, param in all_net.named_parameters():
    if param.requires_grad:
        print("requires_grad: True ", name)
    else:
        print("requires_grad: False ", name)