torch中冻结神经网络参数，加载和删除网络中的结构

预训练好的模型，有些结构需要冻结参数，训练的时候不发生改变

    
for name, param in model.named_parameters():
    # print(name,param.size())
    if not (name.startswith('mlp') or name.startswith('predictor')):
         param.requires_grad = False
    if name == 'gat.blocks.0.norm1.bias':
         print('gat.blocks.0.norm1.bias: {}'.format(param))

model.load_state_dict(state_dict)
# optimizer.load_state_dict(checkpoint['optimizer'])

for name, param in model.named_parameters():
    if name.startswith('gat.blocks.0.norm1.bias'):
        print(param)

# model 训练结束之后，再次查看参数的值，看看被冻结的有没有发生变化。
print('After model training)

for name, param in model.named_parameters():
    if name.startswith('gat.blocks.0.norm1.bias'):
        print(param)

将要冻结的参数的requires_grad 设置成False，查看model默认初始化的参数的值。

加载模型。

查看模型中的参数默认初始化的值。

gat.blocks.0.norm1.bias: Parameter containing:
tensor([0., 0., 0., 0., 0., 0., 0.])

Parameter containing:
tensor([-0.0574,  0.0511,  0.0280, -0.0592,  0.0357,  0.0599, -0.0324])

After model training

Parameter containing:
tensor([-0.0574,  0.0511,  0.0280, -0.0592,  0.0357,  0.0599, -0.0324],
       device='cuda:3')