pytorch多GPU训练注意事项

在训练和推理的时候如:y=modle(image),在这个过程中注意要,batch first,因为多GPU会按第一个维度平均拆分到每个GPU上。
总结

  1. 数据和模型采用batch first的组织方式
  2. 特别是模型中有RNN的时候,注意设置batch_first=True

你可能感兴趣的:(pytorch)