为什么Pytorch多卡训练容易导致GPU显存不释放

      使用PyTorch设置多线程(threads)进行数据读取(DataLoader),其实是假的多线程,他是开了N个子进程(PID都连着)进行模拟多线程工作,所以你的程序跑完或者中途kill掉主进程的话,子进程的GPU显存并不会被释放,需要手动一个一个kill才行

你可能感兴趣的:(pytorch,深度学习,人工智能)