Pytorch分布式训练/多卡训练(二) —— Data Parallel并行(DDP)(2.2)(代码示例)(BN同步&主卡保存&梯度累加&多卡测试inference&随机种子seed)
DDP的使用非常简单,因为它不需要修改你网络的配置。其精髓只有一句话model=DistributedDataPrallel(model,device_ids=[local_rank],output_device=local_rank)原本的model就是你的PyTorch模型,新得到的model,就是你的DDP模型。最重要的是,后续的模型关于前向传播、后向传播的用法,和原来完全一致!DDP把分布