修改模型后载入预训练权重

我们知道预训练权重是一个字典，里面是网络encoder每一层的权重，拿Resnet34来说，第一层是7x7的卷积权重，最后一层是fc层，之前看到一篇文章Bag of tricks for image classification中提到，将input stem可以替换为其他几种格式可以提高performance，相当于一个trick。

 对于(b)，我们将7x7卷积替换为3个3x3卷积，但是我们替换完之后，新的模型就和原始的权重不匹配，就会报错“missing key:”“unexpected key:”之类的。当时我想着载入部分权重，将权重中7x7的key和value删除掉，但是仍然会报错，即：没有3个3x3模型的key。

经过导师的指导，只要把load_state_dict参数里面的strict参数设置为False即可。

在nn.Module中strict函数默认为True，即模型与预训练模型参数的key是完全对应才可以导入，当你修改模型仍要使用预训练权重时候就要设置为False，只有key匹配的层才载入，不匹配的层就会默认初始化。

 因此我们在找到model载入的地方进行修改：在resnet代码中，以及在模型总的代码中修改。

model.load_state_dict(weights, strict=False)

之后可以正常运行：