模型并行训练

1.3d并行相关

流水线并行水平划分模型，即按照层对模型进行划分；张量并行则是垂直划分模型。
再好好理解激活和梯度！

梯度数目一般是等于参数数目的（除了梯度重新参数化那些！！）

注意激活值等也是要保存的！：存储wb，激活值，梯度，以及adam等，还有一些零时信息

3d并行的一个解释：这个很不错

更多的理解：ok

提到了tf的一些策略和异步方法：做个了结

 1.zero系列就是特殊的数据并行啊，感觉和其它3d并行不矛盾啊，但是通信可能比较多；2.但是对于tp很疑惑，这个是怎么实现呢，可以全部跑一遍（如果分开存在小的气泡且要通信，全跑存在浪费但是减少通信）；3.zero2之后，后向过程中通信增加，就是梯度那个环境，假设是同步跨卡交互，zero还要allreduce，bloom也测试确实效率下降较多！ 

 好好理解参数量，一共是3份，mv这两个默认是0，不需要传递！！另外正常情况下，要传递的只有梯度！！权重，优化器情况是不用管的，而且是先计算完，最后再同步，之后同步后调用更新！

 激活值开启混合精度也是fp16的！

2.ZeRO相关(微软的)

deepspead使用的一些技巧：标记，需要测试

使用方法补充：ok，需要重点标记

官网：标记

zero说明：这个文章解释的很不错

zero2补充：这个是可以使用cpu或gpu处理交互数据的！

非常不错，图很好！还有一堆知识： 重点！！

 1.分析zero1:优化器不需要同步，如果一张卡一层这种，如果是不全的话，是需要同步的！是要按照层划分的；2.zero1后向通信不变，前向必须通信啊！不然w怎么同步呢？

3.并行训练相关（直接用ddp和horovod）

horovod说明：这个也是一个并行库，uber开源的，相关安装方法，比较麻烦，需要自己配置对应的通信库（默认是基于mpi的）、gpu支持 信息很全面！

horovod代码细节：重点标记

mpi+nccl组成

对于ddp方法，每一个gpu一个进程（确实观察到了这个现象）

目前好像torch.distributed.launch已经建议废除，使用torchrun

ddp的代码细节： 大佬非常厉害

ddp相关的一些说明：这个比较全面

gpu用nccl，cpu用gloo一般

对比说明：先就用ddp自带的，那个找别的机器测试一下

4.通信相关

常用的通信库：openmpi（2009，没有考虑节点延迟，带宽不同的问题），nccl（2015还不支持，2017之后支持多节点），gloo，加油一个阿里巴巴的accl（基于Having-Doubling，做了拓扑，但是会变换节点链接）

allreduce有很多种方法，很多种代码！

经典架构是ps

α + S / B + S * C 通信时间包括：节点通信第一项，数据/带宽第二项，数据计算时间第三项

1.ps：2*(α + S/B) + NSC，主节点带宽非常容易成为瓶颈

2.树状算法：2*（log2k+1）次通信，如果是2n次，没有1 ，整理耗时 2*log2N(α + S/B + S*C )*

3.蝴蝶算法：全部通信，log2N*(α + S/B + S*C )

4.环状通信：*2*(N-1)[α+S/(NB)] + (N-1)[(S/N)C]

非常全面：这个文章写的很好，而且给出了相关的可能时间，重点标记！

ring-allreduce 最早是百度的文章

allreduce原理：可以看一下百度的文章

accl说明：暂时没有看，标记一下，优化了环形通信的节点太多时延问题

还有异步相关的：这个看到的不多

有个很好奇的，allreduce比如2*8情况，是16节点还是8节点2个主通信？

第一个是2（16-1）=30

第二个是2（8-1）+1+7=22

上面3种的补充：仔细研究