【动手学深度学习】GPU初步认识与使用

【动手学深度学习】GPU初步认识与使用

查看显卡

使用nvidia-smi命令来查看显卡信息

 pytorch中每一个数组都有一个设备，将其称之为环境，那么默认情况下都是在CPU上，有时候环境是GPU

计算设备

 默认情况下，张量是在内存中创建的，然后使用CPU计算它。

CPU和GPU可以用torch.device(‘cpu’) 和torch.device(‘cuda’)表示。 应该注意的是，cpu设备意味着所有物理CPU和内存， 这意味着PyTorch的计算将尝试使用所有CPU核心。 然而，gpu设备只代表一个卡和相应的显存。 如果有多个GPU，我们使用torch.device(f’cuda:{i}') 来表示第块GPU（从0开始）。 另外，cuda:0和cuda是等价的。

# 使用cpu
print(torch.device('cpu'))

# 使用gpu
print(torch.device(type='cuda'))

# 表示使用第1块gpu
print(torch.device('cuda:1'))

# 查询可用gpu的数量
torch.cuda.device_count()

 现在我们定义了两个方便的函数， 这两个函数允许我们在不存在所需所有GPU的情况下运行代码。

def try_gpu(i=0):  #@save
    """如果存在，则返回gpu(i)，否则返回cpu()"""
    if torch.cuda.device_count() >= i + 1:
        return torch.device(f'cuda:{i}')
    return torch.device('cpu')

def try_all_gpus():  #@save
    """返回所有可用的GPU，如果没有GPU，则返回[cpu(),]"""
    devices = [torch.device(f'cuda:{i}')
             for i in range(torch.cuda.device_count())]
    return devices if devices else [torch.device('cpu')]

try_gpu(), try_gpu(10), try_all_gpus()

张量与GPU

查询张量所在的设备，默认在cpu创建的，需要注意的是，无论何时我们要对多个项进行操作， 它们都必须在同一个设备上

x = torch.tensor([1,2,3])
x.device

在GPU上面创建张量

X = torch.ones(2,3,device=try_gpu())
X.device
X

在第二个GPU上面创建张量

Y = torch.rand(2, 3, device=try_gpu(1))
Y

神经网络与GPU

神经网络模型可以指定设备，下面的代码将模型参数放在GPU

net = nn.Sequential(nn.Linear(3,1))
net = net.to(device=try_gpu())  # 设置gpu

net(X)

确认模型的所有参数在同一个gpu设备上

net[0].weight.data.device