【最佳实践】pytorch模型权重的重置与重新赋值

重置为原来的值：

def weight_reset(m):
    if isinstance(m, nn.Conv2d) or isinstance(m, nn.Linear):
        m.reset_parameters()

model = = nn.Sequential(
    nn.Conv2d(3, 6, 3, 1, 1),
    nn.ReLU(),
    nn.Linear(20, 3)
)

model.apply(weight_reset)

参考链接：How to re-set alll parameters in a network

重新赋值为指定值：

with torch.no_grad():
    for name, param in model.named_parameters():
        if 'classifier.weight' in name:
            param.copy_(torch.randn(10, 10))

不推荐直接使用.data属性赋值，因为直接赋值会使得该操作无法被类感知，可能会造成某种隐含的bug。

参考链接：How to assign an arbitrary tensor to model’s parameter?