AI Infra论文阅读之将流水线并行气泡几乎降到零(附基于Meagtron-LM的ZB-H1开源代码实现解读)
0x0.前言这篇论文对应的链接为:https://openreview.net/pdf?id=tuzTN0eIO5,最近被ICLR2024接收,但不少AIInfra的同行已经发现了这个工作的价值,并且已经开源在https://github.com/sail-sg/zero-bubble-pipeline-parallelism,在一些AIInfra相关的地方也存在一些讨论和介绍。比如https:/