PyTorch深度学习实战(27)—— PyTorch分布式训练

本节将详细介绍如何进行神经网络的分布式训练。其中1.1将结合MPI介绍分布式训练的基本流程,1.2与1.3将分别介绍如何使用 torch.distributed 以及Horovod进行神经网络的分布式训练。

1 PyTorch分布式训练

1.1 使用MPI进行分布式训练

下面讲解如何利用MPI进行PyTorch的分布式训练。 这里主要介绍的是数据并行的分布式方法:每一块GPU都有同一个模型的副本,仅加载不同的数据进行训练。例如,使用两个节点,共8块GPU进行基于数据并

你可能感兴趣的:(PyTorch深度学习实战,深度学习,pytorch,分布式,python)