pytorch中多GPU并行设置

当使用GPU时，程序默认从device[0]开始运行，但是如果遇到第一块就被占满的情况，那么程序直接报错GPU溢出，但其实第二块第三块空闲，因此可以通过设置GPU的Index,要求程序在哪几块GPU上运行。有两种方法：
一、
设置CUDA_VISIBLE_DEVICES=0,1 python train.py，指定在0,1块上运行，

二、
在程序中使用:

import os;
os.environ['CUDA_VISIBLE_DEVICES’]=“2”；

另外pytorch2.0后增加了分布式GPU运行.
分布式是指多个GPU在多台服务器上运行，而并行是指一台服务器上有多个GPU。
采用data=data.cuda(1)的方式可以把数据转存到GPU1块上。