pytorch DataParallel 多GPU训练

当一台服务器有多张GPU时,运行程序默认在一张GPU上运行。通过多GPU训练,可以增大batchsize,加快训练速度。

from torch.nn import DataParallel
num_gpu = torch.cuda.device_count()
net = DataParallel(net, device_ides=range(num_gpu))

device_ides默认情况下是所有GPU显卡,也可以自己指定用哪几张卡

你可能感兴趣的:(Pytorch,DataParallel,multi-GPU)