Pytorch保存与加载训练模型,同时可以保存中间训练过程中的训练模型

在进行神经网络(NN)训练的时候,有时候需要保存中间epoch的训练模型,知道最后所有的epoch训练完成。有如下的方法可以进行模型的保存与对应的加载方法:

保存中间的训练模型

保存

保存模型主要分为两种:

(1)只保存参数:torch.save(model.state_dict(), path)
对应的加载:model.load_state_dict(torch.load(path))
其中model指定义的模型实例变量,如 model=vgg16( ), path是保存参数的路径,如 path=’./model.pth’ , path=’./model.tar’, path=’./model.pkl’, 保存参数的文件一定要有后缀扩展名。

(2)保存整个模型:torch.save(model, path)
加载:model = torch.load(path)
该方法不仅仅会保存参数,也会把整个模型的连接保存下来,一旦在测试集上更改了模型的参数,或者激活函数等就会给出warning:XX已发生改变等,且文件相对于(1)中的方法要更大,所以采用(1)中的方法即可。

(3)同时保存多个模型和参数:(创立字典)
每1000个epoch保存一下模型,先建立一个字典state,可以保存模型、优化器与其他数据等。在保存时候注意:不同的epoch对应的模型保存在不同文件中,文件名要进行相应的变更,否则只会保存最后的模型文件

    if (epoch+1) % 1000 == 0:
        #save 动态setting
        state = {'generator':generator.state_dict(), 		'encoder':encoder.state_dict(), 'discriminator':discriminator.state_dict(), 'optimizer': optimizer.state_dict(), 'epoch':epoch}
        torch.save(state, r'/300km5dBm/modelpara_200km5dBm' + '_%d.pth' % (epoch+1))

加载

在测试时先加载pth文件,然后实例化模型,并把参数赋予到模型。

checkpoint = torch.load(r'/200km5dBm/modelpara_200km5dBm_1000.pth') 
encoder = Encoder().to(device) #实例化模型
encoder.load_state_dict(checkpoint['encoder'])  #加载模型
generator = Generator().to(device)
generator.load_state_dict(checkpoint['generator'])
epoch = checkpoint['epoch']+1 #加载参数

你可能感兴趣的:(Pytorch保存与加载训练模型,同时可以保存中间训练过程中的训练模型)