Pytorch分布式训练/多卡/多GPU训练DDP的torch.distributed.launch和torchrun

torchrun是pytorch1.9.0引入的

官方现在已经建议废弃使用torch.distributed.launch,转而使用torchrun

Pytorch分布式训练/多卡/多GPU训练DDP的torch.distributed.launch和torchrun_第1张图片

但是大多数程序还是用的DDP,还可以挣扎一波

用torchrun和DDP基本没差别

就把 python torch.distributed.launch 直接改torchrun

好像就阔以

官网教程都变torchrun了

你可能感兴趣的:(pytorch,深度学习,python)