PyTorch GPU计算

1. 计算设备

PyTorch可以指定用来存储和计算的设备，如使用内存的CPU或者使用显存的GPU。默认情况下，PyTorch会将数据创建在内存，然后利用CPU来计算。

torch.cuda.is_available()——查看GPU是否可用

查看GPU数量——torch.cuda.device_count()

查看当前GPU索引号——torch.cuda.current_device()

根据索引号查看GPU名字——torch.cuda.get_device_name(0)

2. Tensor的GPU计算

默认情况下，Tensor会被存在内存上

使用.cuda()可以将CPU上的Tensor转换（复制）到GPU上。如果有多块GPU，我们用.cuda(i)来表示第 i块GPU及相应的显存（i从0开始）且cuda(0)和cuda()等价

需要注意的是，存储在不同位置中的数据是不可以直接进行计算的。即存放在CPU上的数据不可以直接与存放在GPU上的数据进行运算，位于不同GPU上的数据也是不能直接进行计算的。（PyTorch要求计算的所有输入数据都在内存或同一块显卡的显存上）

3. 模型的GPU计算

同Tensor类似，PyTorch模型也可以通过.cuda转换到GPU上。我们可以通过检查模型的参数的device属性来查看存放模型的设备。