多GPU训练

单个小批量上的多GPU训练

（1）将小批量数据样本划分并复制到各个显存上；

（2）在各块GPU上分别反向传播；

（3）把各块显存上的梯度加起来；

（4）广播到所有显存上；

（5）在各块显存上分别更新模型参数。