深度学习单机多卡/多机多卡训练

一、概念的区分

分布式:是指多台机器的多块GPU,也就是多机多卡。

并行:指的一台机器上的多个GPU。也就是单机多卡。

同步更新:是指所有的GPU都计算完梯度之后,累加到一起求均值进行参数更新,再进行下一轮。

rank表示全局进程序号,local_rank表示本机子的进程序号。world_size表示全局进程个数。

举个例子,三台机器,每台机器四张卡全部用上,那么有group=1,world size=12
机器一:node=0 rank=0,1,2,3 local_rank=0,1,2,3 这里的node=0,rank=0的就是master
机器二:node=1 rank=4,5,6,7 local_rank=0,1,2,3
机器三:node=2 rank=8,9,10,11 local_rank=0,1,2,3

二、DP和DDP(pytorch内的)

DP(DataParallel)模式主要支持单机多卡。其中有一个进程,多个线程(受全局解释器锁限制),local_rank0为master节点,相当于参数服务器,向其他GPU广播参数,在反向传播后,各卡将梯度集中到master节点,求平均更新参数,再将参数发送到其他卡上。训练时需要指定GPUS和master节点。

DDP(DistributedDataParallel)支持分布式多机多卡训练,也支持单机多卡训练。相对于DP其有多个进程进行并行训练,没有全局解释器锁的限制。同时模型广播只在初始化时广播一次,而不用像DP那样,每次前向传播前都要广播。因为DDP每个进程都有自己独立的优化器,执行自己的更新过程,而梯度通过通信传递到每个进程,所以执行的内容是相同的。

DDP与DP的另一个不同就是我们需要用DistributedSample来对我的dataset进行处理,这样每个进程都只会调用一部分的数据集。不同的进程间就不会发生数据的交互。不然如果使用默认的DP的数据分配方式,就会出现多机通信的一个问题,很耗时。DP是把batch_size个数据切分到不同的卡上。比如batch_size30,两个GPU,那么每个GPU实际的bs为15.而DDP的话,batch_size为30,表示的是每个卡都是30的batch_size.

三、SyncBN

你可能感兴趣的:(深度学习,人工智能)