pytorch调用不了多个gpu_使用Pytorch在多GPU下保存和加载训练模型参数遇到的问题...
最近使用Pytorch在学习一个深度学习项目，在模型保存和加载过程中遇到了问题，最终通过在网卡查找资料得已解决，故以此记之，以备忘却。
首先，是在使用多GPU进行模型训练的过程中，在保存模型参数时，应该使用类似如下代码进行保存：
torch.save({
'epoch': epoch,
'state_dict': model.module.state_dict(),
'optimizer': optimizer.state_dict()
}, 'results/checkpoint_net.pth')
对应的在加载模型参数时，使用如下代码进行加载是没有问题的：
checkpoint = torch.load('./results/checkpoint_net.pth')
model.load_state_dict(checkpoint['model'])
一般情况下，在保存模型时我们不会发现会有什么不对，而是在需要加载模型参数时，才发现加载报错了。比如：
这时我们需要回头检查我们在保存模型参数时，是否有哪里不对。比如我这次就是这样的，写代码的时候并没有考虑到多GPU的情况，所以保存代码如下：
torch.save({
'epoch': epoch,
'state_dict': model.state_dict(),
'optimizer': optimizer.state_dict()
}, 'results/checkpoint_net.pth')
请注意红圈的地方缺了“module”关键字，导致在保存模型参数时，参数保存成了这样(模型参数是以key-value的形式保存的),即stat_dict(key)，对应的value每个值都多了一个module：
接下来在加载模型参数时，如果直接使用代码 model.load_state_dict(torch.load('模型参数文件存放路径')['state_dict'])就会出现问题。报错如下：
好了，既然知道了出问题的原因在哪里，那就来考虑下如何处理了，两种方案：
第一，修改保存模型的代码(加上"module")后，把模型重新训练一次，重新加载即可。但我们大家都知道，这样的深度模型训练，时间一般都是以小时或者天计的，我们等不了那么久。(如果时间允许，可以这么干。哈哈！)
第二，在加载模型参数之前，写代码将模型参数里的"module"关键字给去掉。比如可以这么写：
实话实说，这个代码并不是我的原创，网上给出这个解决方案的地方很多。但我这里有一点不同的时，我加了个“[state_dict]”，我看到的很多地方是没有这个的，直接就是ckpt.items()。因为我并不知道他们保存模型参数的代码是怎么写的，所以也并不好评论对错。但总之一句话，我们是要通过这段代码，去掉状态字典里的"module"关键字的所以大家可以通过debug，查看这里的k取到的是什么值，应该要是取到下图所示红色框里的值，然后通过“name=k[7:]”去掉前面的"module"，然后再加载就可以了。
文中提到一个词“[state_dict]”，大家不用太在意，有的人在保存模型参数时，用的是“model”，只要在保存和读取的时候，保持一致就可以了。
欢迎大家对描述不清楚或者不准确的地方提出批评意见和建议！
从头学pytorch(十二):模型保存和加载
模型读取和存储 总结下来,就是几个函数 torch.load()/torch.save() 通过python的pickle完成序列化与反序列化.完成内存磁盘转换. Module.s ...
TensorFlow模型保存和加载方法
TensorFlow模型保存和加载方法 模型保存 import tensorflow as tf w1 = tf.Variable(tf.constant(2.0, shape=[1]), name= ...
背水一战 Windows 10 (62) - 控件(媒体类): InkCanvas 保存和加载, 手写识别
[源码下载] 背水一战 Windows 10 (62) - 控件(媒体类): InkCanvas 保存和加载, 手写识别 作者:webabcd 介绍背水一战 Windows 10 之 控件(媒体类) ...
keras中的模型保存和加载
tensorflow中的模型常常是protobuf格式,这种格式既可以是二进制也可以是文本.keras模型保存和加载与tensorflow不同,keras中的模型保存和加载往往是保存成hdf5格式. ...
完美实现保存和加载easyui datagrid自定义调整列宽位置隐藏属性功能
需求&场景 例表查询是业务系统中使用最多也是最基础功能,但也是调整最平凡,不同的用户对数据的要求也不一样,所以在系统正式使用后,做为开发恨不得坐在业务边上,根据他们的要求进行调整,需要调整最多 ...
超详细的Tensorflow模型的保存和加载(理论与实战详解)
1.Tensorflow的模型到底是什么样的? Tensorflow模型主要包含网络的设计(图)和训练好的各参数的值等.所以,Tensorflow模型有两个主要的文件: a) Meta graph: ...
三、TensorFlow模型的保存和加载
1.模型的保存: import tensorflow as tf v1 = tf.Variable(1.0,dtype=tf.float32) v2 = tf.Variable(2.0,dtype=t ...
tensorflow模型持久化保存和加载
模型文件的保存 tensorflow将模型保持到本地会生成4个文件: meta文件:保存了网络的图结构,包含变量.op.集合等信息 ckpt文件: 二进制文件,保存了网络中所有权重.偏置等变量数值,分 ...
tensorflow模型持久化保存和加载--深度学习-神经网络
模型文件的保存 tensorflow将模型保持到本地会生成4个文件: meta文件:保存了网络的图结构,包含变量.op.集合等信息 ckpt文件: 二进制文件,保存了网络中所有权重.偏置等变量数值,分 ...
随机推荐
WinForm中重绘TabControl选项卡标题
最近开发WinForm频繁使用了TabControl控件,这个控件的选项卡没有BackgroundImage这个属性,那么如何为其各个选项卡添加背景图片呢?(这里说的是每个TabPage的头部,也就是 ...
C. Dima and Salad 背包好题
http://codeforces.com/contest/366/problem/C 在n个物品中选出若干个,使得sum(a[i]) = k * sum(b[i]) 把问题转化一下就是,求sum(a ...
往UISegmentedControl上添加几个控制器
#import "RootViewController.h" #import "LoginViewController.h" #import "Reg ...
Android4.0强制横屏竖屏
Android的启动默认是横屏或者竖屏我们的TV本来是横屏显示,但是有客户竟然要竖屏显示,昨天快下班收到的需求,竟然说7.19就要搞定.思路有2个,一个就是修改LCD的默认输出,但是这个不是我这个水平 ...
Hibernate创建SessionFactory实例
private static SessionFactory sessionFactory = null; static { Configuration configuration =new Con ...
Linux快捷键总结
使用Linux很久了,现对经常用到的快捷键做一个总结: 最重要的一个当然是tab了 [root@localhost ~]# cd /etc/sys sysconfig/ sysctl.conf sys ...
STM8L LCD配置与com使用问题
void LCD_GPIO_Config(void) { //SEG GPIO Init GPIO_Init(GPIOE, GPIO_Pin_0|GPIO_Pin_1,GPIO_Mode_Out_PP ...
re 正则表达式
简介: 1.一堆带有特殊意思的符号组成的式子它的作用 处理(匹配 查找 替换) 字符串 2.在爬虫中大量使用 其实有框架帮你封装了这些复杂的正则 3.在网站和手机APP注册功能中大量使用,例如判断你的 ...
.NET设计模式 第二部分 创建型模式(3)—建造者模式(Builder Pattern)
建造者模式(Builder Pattern) ——.NET设计模式系列之四 Terrylee,2005年12月17日 概述 在软件系统中,有时候面临着“一个复杂对象”的创建工作,其通常由各个部分的子对 ...
Office办公 SVG的图片文件如何保存为PNG
用浏览器打开,然后右击图片另存为PNG 再用PS打开可以看到就是没有背景的PNG图片了