pytorch多个显卡并行训练 RuntimeError: Caught RuntimeError in replica 0 on device 0.

今天复现并改动一份代码的时候，发生了该错误：

RuntimeError: Caught RuntimeError in replica 0 on device 0.

原代码可以再单卡上面正常运行。但因为自己的需要改成多GPU并行加载模型，然后就发生上述错误，并且还提示没有model.drop_path_prob这个属性！问题出现的原因可以看看这篇：https://blog.csdn.net/qq_30614451/article/details/106766551   简单来说：就是 网络模型的某个参数复制分配到 不同的GPU的时候，部分参数始终在GPU_0上

解决方案：

提前声明  需要用到的模型参数，如下图最后一行

我的self.drop_path_prob这个属性，在__init__（）函数的后面有直接使用，因为python中不需要特别预定义也可以直接使用变量。

但是torch.nn.DataParallel并不认可这种没有事先声明的变量，所以其他GPU没有拷贝这个drop_path_prob模型属性变量。

 

仅为个人拙劣的解决方案，做个笔记 ~0.0