Pytorch 分布式训练心得(DP|DDP|MP)

记得接触DistributedDataParallel(DDP)之前,自己一直用DataParallel(DP)跑多卡,浪费了不少时间,恰好最近几天接触到了Swin-Transformer就尝试了下DDP,如下是心得。

首先呢,我是在云端租的服务器尝试了单机2、4、8卡训练,采用命令行调用DDP后发现它一直卡在装载模型上占用了GPU显存,必须kill PID才行,也考虑到我习惯用python train.py的方式,就使用了MultiProcessing(MP)的方式,最终成功,关于其具体的实现过程大家可以看看其他博客的做法。我这里考虑到Pertrain 的模型是没用apex的,使用后loss 会从1e+7左右下降,等待时间未免有些得不偿失,还看到有的博主说DDP和apex对model加速差别不大,我就决定用MP了。我这里主要就是DP->DDP->MP+torch的reduce loss+多线程BN(没用apex的是因为没用它加速)

其次,根据我的实验发现,在不考虑装载的时间MP比DP在4卡上大致快了1/4,但与此同时其将Batch_size也缩小了4倍(我认为只要显卡能承受,这样就是比较好的,小batch_size跟稳定,结果也更好一些),要是考虑到装载时间,ennnn,那也还好(除了8卡机,我再一次卡在装载界面,现在还不确定是哪方面的问题,不行的话,就只能租4卡机了)

当然,我对自己的编程能力还没有那么自信,上诉结果可能是因为自己写错了代码,后续还需要根据实验结果看下是否正确)

————————————

废话:在我写完博客再去看8卡机的时候,发现它开始train了,开心(但是它的速度没有变成4卡机的2倍,稍微慢了12.5%)

你可能感兴趣的:(神经网络,pytorch)