Pytorch 深度学习 模型训练 断点继续训练时损失函数恶化或与断点差异较大

问题描述

pytorch版本1.0。
神经网络结构主要为残差模型，带有BatchNormalization。
在断点继续训练时，发现模型的训练误差有较大恶化，通常恶化量为10%左右。

问题所在

1. data_loader的随机性导致每个minibatch在不同epoch都有所不同，而模型中BatchNorm在训练阶段会计算每个minibatch的均值和方差并用于归一化，所以随机性可能导致loss差异并波动，但这种波动会处于历史波动范围内，不会有较大变化。
2. 在存储时调用了model的cpu()。想法是合理的，但是cuda()版本的model参数和cpu()版本的参数并不是同一个对象，pytorch理应保持他们的内容一致，但并不是官方的保存model的方法，可能存在bug，因为model中调用的各个子model并不一定就是完全符合官方要求的。那么如何在没有gpu的机子上读取gpu格式的model，在下面会有方法。
3. 模型定义的时候，有时候为了提高代码的复用性，用函数封装了模型，函数则返回模型的对象，这样做是有风险的。笔者就是将各种不同的归一化网络模型封装在一个函数里，通过给予不同参数定义不同的归一化层然后返回他们的对象并构建较大的model，结果则导致了上述问题。这可能是一个pytorch的bug，亦或者pytorch本身就禁止这种用法而笔者孤陋寡闻不知道。

pytorch模型定义、存储、恢复注意

1. save模型时调用model.state_dict()，optim对象也类似存储方法。
2. load时，torch.load可以规定一个map_loaction=torch.device('cpu') 就可以读取原先以GPU格式保存的数据。
3. 构造optim对象时要先做好模型的cuda()操作。
4. 模型定义的时候不要玩那么多花样，一定使用最简单的，不要用什么函数封装等，确保model中存储子模型的变量是直接由模型对象赋值的。
5. 训练时，每次epoch开始时随机设置一下torch的随机种子，比如torch.manual_seed(numpy.random.randint(1000000))

参考过的链接

pytorch官方存储载入说明https://pytorch.org/tutorials/beginner/saving_loading_models.html
其他的忘了