torch.distributed学习记录

分布式通信包 - torch.distributed

torch.distributed包为在一台或多台机器上运行的多个计算节点上的多进程并行性提供PyTorch支持和通信原语。类 torch.nn.parallel.DistributedDataParallel()基于此功能构建，以提供同步分布式训练作为包装器任何PyTorch模型。

https://www.jianshu.com/p/5f6cd6b50140

https://pytorch.org/docs/stable/distributed.html