PyTorch 1.0 保存和加载模型

本文将提供关于保存和加载PyTorch模型的各种用例的解决方案，本文不需要通读，可直接跳到需要用到的案例.
当要保存和加载模型时，有三种熟悉的核心函数：
1. torch.save: 保存一个序列化的对象到硬盘中. 这个函数使用Python的 pickle来实现序列化，可以用来保存模型，张量，各种对象的字典等.
2. torch.load: 使用 pickle的unpickle设施将pickle的对象文件解序列到内存中. 这个函数可以灵活的选择设备来加载数据，详见 交叉设备保存和加载模型
3. torch.nn.Module.load_state_dict: 使用解序列化的 state_dict的模型参数字典加载模型. 关于 state_dict的更多信息，查看 什么是state_dict?

什么是state_dict

PyTorch中torch.nn.Module模型的可学习参数（包括权重和偏置）被包含在模型的参数中（通过 model.parameters访问）. 一个state_dict是一个简单的Python 字典对象，将每一个网络层映射到它的参数张量中. 需要注意的是，只有带有可学习参数的层（如卷积层和全连接层等）在state_dict中才有条目. 优化器对象也有state_dict，其包含优化器状态的信息，也包括所使用的超参数.
由于state_dict对象是Python字典，它们可以很容易的保存，更新，变更，复原，以及给PyTorch模型和优化器添加大量的模块性.
下面通过一个简单的模型来看看state_dict.

# Define model
class TheModelClass(nn.Module):
    def __init__(self):
        super(TheModelClass, self).__init__()
        self.conv1 = nn.Conv2d(3, 6, 5)
        self.pool = nn.MaxPool2d(2, 2)
        self.conv2 = nn.Conv2d(6, 16, 5)
        self.fc1 = nn.Linear(16 * 5 * 5, 120)
        self.fc2 = nn.Linear(120, 84)
        self.fc3 = nn.Linear(84, 10)

    def forward(self, x):
        x = self.pool(F.relu(self.conv1(x)))
        x = self.pool(F.relu(self.conv2(x)))
        x = x.view(-1, 16 * 5 * 5)
        x = F.relu(self.fc1(x))
        x = F.relu(self.fc2(x))
        x = self.fc3(x)
        return x

# Initialize model
model = TheModelClass()

# Initialize optimizer
optimizer = optim.SGD(model.parameters(), lr=0.001, momentum=0.9)

# Print model's state_dict
print("Model's state_dict:")
for param_tensor in model.state_dict():
    print(param_tensor, "\t", model.state_dict()[param_tensor].size())

# Print optimizer's state_dict
print("Optimizer's state_dict:")
for var_name in optimizer.state_dict():
    print(var_name, "\t", optimizer.state_dict()[var_name])

Output:

Model's state_dict:
conv1.weight     torch.Size([6, 3, 5, 5])
conv1.bias   torch.Size([6])
conv2.weight     torch.Size([16, 6, 5, 5])
conv2.bias   torch.Size([16])
fc1.weight   torch.Size([120, 400])
fc1.bias     torch.Size([120])
fc2.weight   torch.Size([84, 120])
fc2.bias     torch.Size([84])
fc3.weight   torch.Size([10, 84])
fc3.bias     torch.Size([10])

Optimizer's state_dict:
state    {}
param_groups     [{'lr': 0.001, 'momentum': 0.9, 'dampening': 0, 'weight_decay': 0, 'nesterov': False, 'params': [4675713712, 4675713784, 4675714000, 4675714072, 4675714216, 4675714288, 4675714432, 4675714504, 4675714648, 4675714720]}]

在推理阶段保存和加载模型

Save/Load state_dict（推荐)
Save

torch.save(model.state_dict(), PATH)

Load:

model = TheModelClass(*args, **kwargs)
model.load_state_dict(torch.load(PATH))
model.eval()

为推理而保存模型时，仅需要保存已经训练好的模型的已学习参数. 使用torch.save()函数保存模型的state_dict将给你最大的灵活性来在后面恢复模型，这就是为什么它是推荐的保存模型的方法.
一个约定俗成是，保存的模型文件名后缀使用.pt或.pth.
记住你必须调用model.eval()来设置dropout和batch normalization layers在运行推理前，切换到评估模式. 不这样做的化会产生不一致的推理结果.

提示：
要注意到，load_state_dict函数将一个字典对象作为输入，而不是路径. 这意味着你在将使用上述方法保存的模型传递到load_state_dict()之前，必须将已保存的state_dict解序列化. 例如，你不能使用model.load_state_dict(PATH)加载模型.

Save/Load 整个模型

Save:

torch.save(model, PATH)

lOAD:

# Model class must be defined somewhere
model = torch.load(PATH)
model.eval()

这种保存过程使用了最直接的语法，使用了最少的代码量. 使用这种保存的方法会用pickle模块保存整个模型，这种方法的缺点就是序列化数据被绑定到特定的类，还有就是，保存模型时需要用到精确的字典结构，原因是pickle本身并不能保存模型类. 另外，它保存的一个包含类文件的路径，在加载时也会要用到，基于这点，在其他项目工程中使用模型时，你的代码可以用多种方法跳出.
一个约定俗成是，保存的模型文件名后缀使用.pt或.pth.
记住你必须调用model.eval()来设置dropout和batch normalization layers在运行推理前，切换到评估模式. 不这样做的化会产生不一致的推理结果.

为推理或恢复训练，保存和加载一个通用的Checkpoint

Save:

torch.save({
            'epoch': epoch,
            'model_state_dict': model.state_dict(),
            'optimizer_state_dict': optimizer.state_dict(),
            'loss': loss,
            ...
            }, PATH)

Load:

model = TheModelClass(*args, **kwargs)
optimizer = TheOptimizerClass(*args, **kwargs)

checkpoint = torch.load(PATH)
model.load_state_dict(checkpoint['model_state_dict'])
optimizer.load_state_dict(checkpoint['optimizer_state_dict'])
epoch = checkpoint['epoch']
loss = checkpoint['loss']

model.eval()
# - or -
model.train()

保存一个通用的checkpoint给推理或恢复训练使用时，你要保存的还不止模型的state_dict，保存优化器的state_dict也是很重要的，因为它包含了模型训练和更新时的缓存和参数. 其他你要保存的条目可能是停止训练时的epoch，最新的训练损失记录loss，外部的torch.nn.Embedding层，等等.
为了保存多个部件并在一个字典中组织他们，同时使用torch.save()序列化字典. 一个通用的PyTorch俗约就是用.tar作为文件名后缀.
为了加载这些条目，首先要将模型和优化器解序列化，然后用torch.load()加载本地字典. 这样，你就可以容易地通过简易地查询字典来访问保存的条目.
记住，在运行推理前，你必须调用model.eval来设置dropout和normalization层切换到评估模式，否则会导致不一致的推理结果. 如果期望的是恢复训练，调用model.train()以确认该网络层处于训练模式.

在一个文件中保存多个模型

Save:

torch.save({
            'modelA_state_dict': modelA.state_dict(),
            'modelB_state_dict': modelB.state_dict(),
            'optimizerA_state_dict': optimizerA.state_dict(),
            'optimizerB_state_dict': optimizerB.state_dict(),
            ...
            }, PATH)

Load:

modelA = TheModelAClass(*args, **kwargs)
modelB = TheModelBClass(*args, **kwargs)
optimizerA = TheOptimizerAClass(*args, **kwargs)
optimizerB = TheOptimizerBClass(*args, **kwargs)

checkpoint = torch.load(PATH)
modelA.load_state_dict(checkpoint['modelA_state_dict'])
modelB.load_state_dict(checkpoint['modelB_state_dict'])
optimizerA.load_state_dict(checkpoint['optimizerA_state_dict'])
optimizerB.load_state_dict(checkpoint['optimizerB_state_dict'])

modelA.eval()
modelB.eval()
# - or -
modelA.train()
modelB.train()

保存一个通用的checkpoint给推理或恢复训练使用时，你要保存的还不止模型的state_dict，保存优化器的state_dict也是很重要的，因为它包含了模型训练和更新时的缓存和参数. 其他你要保存的条目可能是停止训练时的epoch，最新的训练损失记录loss，外部的torch.nn.Embedding层，等等.
为了保存多个部件并在一个字典中组织他们，同时使用torch.save()序列化字典. 一个通用的PyTorch俗约就是用.tar作为文件名后缀.
为了加载这些条目，首先要将模型和优化器解序列化，然后用torch.load()加载本地字典. 这样，你就可以容易地通过简易地查询字典来访问保存的条目.
记住，在运行推理前，你必须调用model.eval来设置dropout和normalization层切换到评估模式，否则会导致不一致的推理结果. 如果期望的是恢复训练，调用model.train()以确认该网络层处于训练模式.

使用不同模型的模型权重热启动网络模型

Save:

torch.save(modelA.state_dict(), PATH)

Load:

modelB = TheModelBClass(*args, **kwargs)
modelB.load_state_dict(torch.load(PATH), strict=False)

在转移学习或训练一个新的复杂的模型时，部分加载模型或加载部分模型是常见的场景. 利用训练参数，即使只有少数可用，也将有助于热启动训练过程，模型收敛速度远远超过从头训练.
你从缺少一些键的部分state_dict加载模型或加载比实际具有更多键的state_dict，可以通过设置load_state_dict()函数的strict参数为False来忽略不匹配的键.
如果你想加载一个层的参数到将要使用的模型的另一个层中，但一些键并不匹配，只需要将state_dict中该键的名称改为匹配的即可.

交叉设备保存和加载模型

Save on GPU, Load on CPU
Save:

torch.save(model.state_dict(), PATH)

Load:

device = torch.device('cpu')
model = TheModelClass(*args, **kwargs)
model.load_state_dict(torch.load(PATH, map_location=device))

Save on GPU, Load on GPU
Save:

torch.save(model.state_dict(), PATH)

Load:

device = torch.device("cuda")
model = TheModelClass(*args, **kwargs)
model.load_state_dict(torch.load(PATH))
model.to(device)
# Make sure to call input = input.to(device) on any input tensors that you feed to the model

Save on CPU, Load on GPU

Save:

torch.save(model.state_dict(), PATH)

Load:

device = torch.device("cuda")
model = TheModelClass(*args, **kwargs)
model.load_state_dict(torch.load(PATH, map_location="cuda:0"))  # Choose whatever GPU device number you want
model.to(device)
# Make sure to call input = input.to(device) on any input tensors that you feed to the model

注意，调用my_tensor.to(device)时，返回的是GPU中my_tensor的备份，并没有对my_tensor重写，因此，记住手动覆盖，用my_tensor=my_tensor.to(torch.device('cuda'))，调用my_tensor.to(device)只是转换参数张量到cuda张量类型.

Saving torch.nn.DataParallel Models

Save:

torch.save(model.module.state_dict(), PATH)

Load:

# Load to whatever device you want

参考

PyTorch官方网站