多张显卡之间通信方式

显卡之间常见的通信方式有以下几种

1.broadcast(广播):将一张卡上的数据传到其它所有的卡上(下图中的out就是等于in)

多张显卡之间通信方式_第1张图片

 2. reduce(归约):将所有显卡上的数据,相加/取平均/取max等操作之后,将结果放在其中一张卡上(自己指定的显卡)

多张显卡之间通信方式_第2张图片

 3. all reduce:效果等价于先reduce再broadcast

多张显卡之间通信方式_第3张图片

 4. reduce scatter:与all reduce的区别在于,每张显卡上的结果是所有显卡上的一部分数据reduce的结果,例如out0 = 前1/4的in0 + ... + 前1/4的in3

多张显卡之间通信方式_第4张图片

 5. All gather(all 收集):将每张卡上的数据拼接在一块,然后广播到所有显卡上

多张显卡之间通信方式_第5张图片

你可能感兴趣的:(人工智能)