深度模型常见加速训练策略架构篇(一)---分布式训练介绍

一、当前模型训练速度的瓶颈

（一）、当前模型训练步骤

1. 读取Mini batch，前向传播计算loss
2. loss反向传播得到各个参数的梯度
3. 根据算出的梯度，选用特性的优化器更新参数

（二）、当前模型训练模式分类

1. 单机单卡
2. 单机多卡
3. 多级多卡

（三）、采用分布式系统训练中涉及到的通信方式分类

1. 点对点通信(只有一个发送者和接收者)
2. 集合通信(有多个发送者和接收者)

（四）、分布式系统中基于集合通信的常用操作

1. boradcast，将参数从一个node发到多个node上
2. reduce，将参数从多个node收集到一个node上，同时对手机到的参数进行归并（求和求积）

（五）、大规模训练的技术挑战(研究点/优化点)

1. 显存墙(决定能否训练)

（1）介绍

• Model states、
  模型参数
• Avtivations
  用于 autograd 的中间变量。如 Forward Output、Output Gradient 以及 cuDNN Workspace。

（2）优化方式

2. 通信墙(决定训练速度)

（1）介绍

在进行分布式训练时对神经网络进行了各种各样的切分，但是神经网络的训练任务仍是一个整体，因而，切分需要通信来进行聚合。

聚合所产生的通信需求隐含了不少问题，首先，深度学习迭代式训练的特性导致更新频繁，需要大量的交换局部更新。但是目前网络的传输速率远远不能匹配 GPU 或 TPU 这种专用加速芯片的运算速率。

• 能否增大带宽
  不行。增大带宽，带宽利用率会降低。因为网络协议栈会占用带宽

3.计算墙(决定训练速度)

（1）介绍

顾名思义，前向传播和反向传播的计算以及参数更新的计算瓶颈。

opeator-level算子级别的优化

• 小算子过多
• Kernel实现不够高效
• 内存局部性差

Graph-level计算图级别的优化

• 如何搜索出计算效率更高的计算图
• 如何用计算编译技术解决小算子问题
• 如何进行通信和计算的 overlap 等

Task-level训练阶段的系统设计

与传统训练不同，在包含大规模训练技术的训练系统设计时，不仅要考虑到庞大的节点数，也要考虑到在解决显存、通信问题时带来的系统层面的变化。因此，Task-level 的关键挑战在于，如何给出一个最终计算效率最高的系统设计

• 采用何种分布式训练架构，才能使得大规模训练具备良好的拓展性。在节点数很多时仍能保持较好的加速比（scale factor）
• 如何 balance 显存优化与速度优化

二、如何从系统框架层面上对训练加速---并行

（一）分类

• 数据并行(解决计算墙)
  1.不同 node 输入不同数据，运行相同的完整的模型。
  2.通过修改 Sampler 切分输入，每张卡只需要处理一部分数据
• 模型并行(解决显存墙)
  1.不同 node 输入相同数据，运行模型的不同部分
  2.通过修改层内的计算方式，将单层的计算负载和显存负载切分到多张卡上
• 流水并行(解决显存墙)
  将不同的层放到不同的卡上，进而将计算负载和显存负载切分至多张卡上

一旦使用分布式并行计算，就会涉及到数据通信的问题，因此还需要对通信进行加速(解决通信墙)

一般来说，模型并行比数据并行的通信量更少。但是模型并行需要自己地将模型的计算进行分解。因此一般使用数据并行加速。

（二）数据并行

1. Parameter Server模式(tensorflow)

（1）结构介绍

类似于master-slave 的同步模式：

image.png

将 node 分成两种角色：

• parameter server(ps) 负责维护一份最新的参数 ，
• worker 负责利用从 ps 读到的最新参数计算出梯度(forward 和 backprop)，并对 ps 发送梯度和参数更新请求。

（2）优化方式介绍

优化方式分为两类：同步更新(synchronous update)和异步更新(asynchronous update)。

同步更新

ps 会同时充当 reducer 的角色，等待所有 worker 都发来梯度和参数更新请求后，ps 会对梯度取平均(reduce mean)，并用平均过后的梯度更新一次参数。各个 worker 在从 ps 读取最新参数的过程中，以及等待 ps 更新参数的过程中，都是处于空闲状态。

• 优点：收敛好(相比于异步更新而言)
• 缺点：慢

异步更新

与同步更新不同，异步更新中 ps 在收到 worker 的梯度以及更新请求的时候，会立即对参数发起更新，而不等待其他 worker。在完成梯度的计算后，worker 会立刻从 ps 上读取参数，进行下一步的迭代。

• 异步更新的一些问题及解决方案
  (i) 参数和更新用的梯度并不来自同一个迭代。用来更新的梯度可能是几步更新前的参数算出来的。
  解决：直接丢掉落后于当前迭代的梯度。(造成了不同 worker racing 的情况，对计算资源和数据的利用效率不高。)
  (ii)参数的读取并没有加锁。这导致 worker 可能会读到更新一半的参数。
  直接丢掉落后于当前迭代的梯度。

（3）PS方式优缺点

优点： 容错能力强(设置多个PS)
缺点：PS传输带宽制约训练速度
目前，因为机器计算能力增强，需要地机器数越来越少，所以机器故障率贬低，因此不需要容错能力，反而需要加快训练速度。

2. All Reduce模式

image.png

（1）介绍

在 Allreduce 模式中，所有 node 同时充当 ps 和 worker 的角色。

• 每个 node 可以直接利用本地的参数拷贝θi进行 forward 和 backprop 的计算
• 所有 node 都得到算出梯度后，执行 allreduce 操作，各个 node 都会得到全部 node 的梯度平均.
• 最后各个 node 利用拿到的梯度平均对本地的θi 进行一次更新。
  给个epoch内，各个 node 需要发送和接受一份梯度。

（2）优缺点

• 优点
  传输耗时在一定规模内基本不随 node 数目的增加而变化
  同步更新，收敛好，可采用大学习率
• 缺点
  当系统中存在异构的 worker 的时候，更新仍然会被最慢的 worker 阻塞住

3.主流方案 ring-allreduce

(1).介绍

• 架构拓扑结构
  假设各个 node 以一个环排列，这种假设可以适用于很多种拓扑结构，有其工程实现上的方便性。

  
  
  image.png

• 主要算法内容

  
  
  image.png
  
  
  image.png

(三)、附录

梯度平均的实现细节

image.png

Reference:

https://zhuanlan.zhihu.com/p/350707888
https://zhuanlan.zhihu.com/p/50116885