PyTroch笔记 - 多GPU分布式训练

PyTorch DIstributed Overview

PyTroch笔记 - 多GPU分布式训练_第1张图片

  • Distributed Data-Parallel Training,DDP,分布式数据并行训练
    • torch.nn.parallel.DistributedDataParallel
  • RPC-Based Distributed Training,RPC,基于RPC的分布式训练
  • Collective Communication,协同通信

不要把张量当入日志中输出,使用“.item()”转换为python的数据类型

logging.warning(f"epoch_index: {
     epoch_index}, batch_index: 

你可能感兴趣的:(深度学习,分布式,深度学习,pytorch)