Pytorch学习笔记(六):使用GPU的简单LeNet网络模型中也提到了如何实现GPU上的运算,虽然不详细,但是也足够。
总结:(如果对于总结知识已经比较熟悉,那么下面的详解可以不用看)
- 默认CPU进行计算。
- CPU上变量或模型不能与GPU上变量或模型进行计算,即模型与变量必须在同一个设备上。
.cuda()
可以实现将变量或者模型移至GPU;.cpu()
可以将其移至CPU。- 也可以使用
device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
,.to(device)
将变量或者模型移至GPU。
对复杂的神经网络和大规模的数据来说,使用CPU来计算可能不够高效。下面将介绍如何使用单块NVIDIA GPU来计算。所以需要确保已经安装好了PyTorch GPU版本。准备工作都完成后,下面就可以通过nvidia-smi命令来查看显卡信息了。
!nvidia-smi # 对Linux/macOS用户有效
输出:
Sun Mar 17 14:59:57 2019
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 390.48 Driver Version: 390.48 |
|-------------------------------+----------------------+----------------------+
| GPU Name Persistence-M| Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap| Memory-Usage | GPU-Util Compute M. |
|===============================+======================+======================|
| 0 GeForce GTX 1050 Off | 00000000:01:00.0 Off | N/A |
| 20% 36C P5 N/A / 75W | 1223MiB / 2000MiB | 0% Default |
+-------------------------------+----------------------+----------------------+
+-----------------------------------------------------------------------------+
| Processes: GPU Memory |
| GPU PID Type Process name Usage |
|=============================================================================|
| 0 1235 G /usr/lib/xorg/Xorg 434MiB |
| 0 2095 G compiz 163MiB |
| 0 2660 G /opt/teamviewer/tv_bin/TeamViewer 5MiB |
| 0 4166 G /proc/self/exe 416MiB |
| 0 13274 C /home/tss/anaconda3/bin/python 191MiB |
+-----------------------------------------------------------------------------+
以上是大佬的输出,我是window无法输出,但是可以通过任务管理器查看信息。
PyTorch可以指定用来存储和计算的设备,如使用内存的CPU或者使用显存的GPU。默认情况下,PyTorch会将数据创建在内存,然后利用CPU来计算。
用torch.cuda.is_available()
查看GPU是否可用:
import torch
from torch import nn
torch.cuda.is_available() # 输出 True
查看GPU数量:
torch.cuda.device_count() # 输出 1
查看当前GPU索引号,索引号从0开始:
torch.cuda.current_device() # 输出 0
根据索引号查看GPU名字:
torch.cuda.get_device_name(0)
认情况下,Tensor
会被存在内存上。因此,之前我们每次打印Tensor
的时候看不到GPU相关标识。
x = torch.tensor([1, 2, 3])
print(x)
"""
tensor([1, 2, 3])
"""
使用.cuda()
可以将CPU上的Tensor
转换(复制)到GPU上。如果有多块GPU,我们用.cuda(i)
来表示第 i i i块GPU及相应的显存( i i i从0开始)且cuda(0)
和cuda()
等价。
x = x.cuda(0)
print(x)
"""
tensor([1, 2, 3], device='cuda:0')
"""
我们可以通过Tensor
的device
属性来查看该Tensor
所在的设备。
print(x.device)
"""
device(type='cuda', index=0)
"""
我们可以直接在创建的时候就指定设备。
device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
x = torch.tensor([1, 2, 3], device=device)
# or
x = torch.tensor([1, 2, 3]).to(device)
print(x)
"""
tensor([1, 2, 3], device='cuda:0')
"""
如果对在GPU上的数据进行运算,那么结果还是存放在GPU上。
y = x**2
print(y)
"""
tensor([1, 4, 9], device='cuda:0')
"""
需要注意的是,存储在不同位置中的数据是不可以直接进行计算的。即存放在CPU上的数据不可以直接与存放在GPU上的数据进行运算,位于不同GPU上的数据也是不能直接进行计算的。
z = y + x.cpu()
会报错:
RuntimeError: Expected object of type torch.cuda.LongTensor but found type torch.LongTensor for argument #3 'other'
同Tensor
类似,PyTorch模型也可以通过.cuda
转换到GPU上。我们可以通过检查模型的参数的device
属性来查看存放模型的设备。
net = nn.Linear(3, 1)
print(list(net.parameters())[0].device)
"""
device(type='cpu')
"""
可见模型在CPU上,将其转换到GPU上:
net.cuda()
print(list(net.parameters())[0].device)
"""
device(type='cuda', index=0)
"""
同样的,我么需要保证模型输入的Tensor
和模型都在同一设备上,否则会报错。
x = torch.rand(2,3).cuda()
print(net(x))
"""
tensor([[-0.5800],
[-0.2995]], device='cuda:0', grad_fn=)
"""
[1] 4.6 GPU计算 - Dive-into-DL-PyTorch
[2] 5.6. GPU — 动手学深度学习 2.0.0-beta0 documentation