【模型推理优化学习笔记】张量并行和流水线并行简介

张量并行

当每个张量被分成多个块时，就会发生张量并行性，并且张量的每个块都可以放置在单独的 GPU 上。在计算过程中，每个块在不同的 GPU 上单独并行处理，并且可以通过组合来自多个 GPU 的结果来计算结果（最终张量）。

流水线并行

当模型被深度拆分并将不同的完整层放置到不同的 GPU/节点上时，就会发生流水线并行。