Caught RuntimeError in replica 0 on device 0（为什么pytorch多卡跑会报错）

为什么我们多卡运行pytorch的时候会报错呢？如果你找遍了全网都没找到解决方法，那不妨看看本文：

a = 
torch.nn.Parameter(torch.zeros(dims, 1).type(torch.FloatTensor), requires_grad=True)
        

a = 
torch.autograd.Variable(torch.zeros(dims, 1).type(torch.FloatTensor), requires_grad=True)

Variable和Parameter的区别在于前者需要将参数to(device)才能放到GPU上，而后者只需要将整个模型to(device)，而参数不需要to(device)。

你是因为这个问题吗？