数据、函数和模型(对象）迁移到GPU上（pytorch）

数据、函数和模型(对象）迁移到GPU上

在训练深度学习模型的时候我们经常需要把数据、函数和模型(对象）迁移到GPU上，其法方法都是一样的。

1、.cuda()和.cpu()

.cpu()函数将目标放到cpu上，如：

data.cpu()
func.cpu()
model.cpu()

.cuda()将数据、函数和模型放于GPU上。

• 指定某个GPU

import os
os.environ["CUDA_DEVICE_ORDER"] = "PCI_BUS_ID"
os.environ["CUDA_VISIBLE_DEVICES"] = "2"
model.cuda()

• 指定多块GPU

import os
os.environ["CUDA_DEVICE_ORDER"] = "PCI_BUS_ID"
os.environ["CUDA_VISIBLE_DEVICES"] = "0, 1, 2, 3"

device_ids = [0,1,2,3]
model  = torch.nn.Dataparallel(model, device_ids =device_ids)#默认使用所有的device_ids
model.cuda()

2、.to(device)

可以指定CPU 或者GPU。

device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
model.to(device)
#如果多GPU
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
model = nn.DataParallel(model，device_ids=[0,1,2])
model.to(device)

3、在数据、函数和模型(对象）上的使用细节

• 使用GPU训练时，数据、函数和模型都必须同时放在GPU上，否则会出错。
• 将模型对象放入gpu，如下两种方式均可，推荐方式2

##方式1
model1 = Model(para1=1,para2=2)
model1.cuda()
##方式2
model2 = Model(para1=1,para2=2).cuda()

• 在将模型实例放到GPU上时，即用model.cuda()时，只会将__init__中的有self前缀的属性及函数放到GPU上，对于其他的函数无作用。所以非_init__中定义的函数和数据需要单独的放入GPU语句。

参考资料
https://blog.csdn.net/Strive_For_Future/article/details/96831695
https://blog.csdn.net/weixin_43402775/article/details/109223794