pytorch分布式训练

pytorch分布式训练最常见的有两种DP和DDP。分别就是DataParallel和DistributedDataParallel。

前者是用python的多线程,可能会发生GIL冲突的问题,而且训练的速度会受到主卡的限制,需要十分谨慎地考虑如何分配计算任务。

后者是为每一个gpu开启一个python进程,官方解释说用这种方法可以达到更好的多gpu训练效率,相应的我们需要更复杂的代码。

另外呢还有两个类不得不提分别是torch.multiprocess和troch.distributed.lauch。

后者严格来说不是一个类,而是一个脚本。两者的目的相同,都是用来在集群上开启多个进程。

早期用的主要是multiprocess+DP,引入DDP之后呢,也有multiprocess+DDP的做法(后面简称为mp + DDP)。

相比之下torch.distributed.lauch+DDP操作比mp+DDP使用更加简单,选项更加全面,效率也要比DP高得多

而看官方文档中的实例可以发现,文档中使用的是torchrun+DDP,torchrun实际上就是torch.distributed.lauch的升级版,使用更加简单,但可能没有这么灵活,如果要在slurm之类的集群上使用分布式训练还是可以考虑使用torch.distributed.lauch

你可能感兴趣的:(pytorch,分布式,python)