机器学习实践:TensorFlow2 多GPU负载不均衡问题

问题

运行时两个GPU负载不均,没有跑满,效率较低
机器学习实践:TensorFlow2 多GPU负载不均衡问题_第1张图片
机器学习实践:TensorFlow2 多GPU负载不均衡问题_第2张图片

解决方法

  1. 检查数据输入,保证瓶颈部分在GPU,而不是GPU在等待
  • tf.data使用dataset.prefetch(),保证数据流及时进入模型
  • map时使用num_parallel_calls参数
  1. 增大batch_size

你可能感兴趣的:(python)