【pytorch】—— 基础概念

了解：
1.Autograd自动求导机制
2.利用pytorch构建用于图像分类的人工神经网络

特点：
1.比numpy更加灵活，可以使用GPU计算
2.高效深度学习研究平台
3.所有Tensor类型默认都是基于CPU

基础语法

创建填充了未初始化数据的张量
```python
import torch
torch.empty(5,3)
torch.rand(5,3) #创建随机初始化的矩阵
torch.zeros(5,3,dtype=torch.long)    #创建初始化为0的矩阵
x = torch.tensor([1,2])  #创建现有数据的tensor
x.size()  #获取张量的size，返回值是tuple的类型

基础操作

import torch 
x=torch.rand(5,3)
y=torch.rand(5,3)
x+y  #第一种相加方式
torch.add(x,y)  #第二种相加方式
y.add_(x)  #替换

任何以下划线结尾的操作都会用结果替换原变量。例如：x.copy_(y), x.t_(), 都会改变 x。

x=torch.randn(4,4)
y = torch.view(16)   #改变张量的维度和大小
z = torch.view(-1,8)  #size -1 从其他维度推断适合的维度来匹配

如果张量只有一个元素，使用 .item() 来得到 Python 数据类型的数值：

x = torch.randn(1)
x, x.item()  #输出的为标准正态分布中的数值。

numpy与tensor之间的转换

# tensor 转换为numpy
a = torch.ones(5)
b=a.numpy()

#numpy转换为tensor
a = np.ones(5)
b=torch.from_nmpy(a)

CUDA张量

CUDA（Computer Unified Device Architecture）:显卡商NVIDIA推出的运算平台，是一种通用的并行架构，可使GPU能够计算复杂的计算问题。

CUDA 张量是能够在 GPU 设备中运算的张量。使用 .to 方法可以将 Tensor 移动到 GPU 设备中

is_available判断是否有GPU可以使用``

if torch.cuda.is_available():
    device = torch.device("cuda")          # torch.device 将张量移动到指定的设备中
    y = torch.ones_like(x, device=device)  # 直接从 GPU 创建张量
    x = x.to(device)                       # 或者直接使用 .to("cuda") 将张量移动到 cuda 中
    z = x + y
    print(z)
    print(z.to("cpu", torch.double))       # .to 也会对变量的类型做更改

Autograd 自动求导

pytorch中所有神经网络的核心，为张量上的所有操作提供了自动求导，是一个在运行时定义的框架，
torch.Tensor:自动调用backward（） 保存tensor所产生的梯度

.requires_grad = True  #追踪张量：

.backward()  #调用后将计算改张量上所有操作的张量

.grad  #属性：记录张量所产生的梯度

自动求导中还有另外一个重要的类 Function。Tensor 和 Function 互相连接并生成一个非循环图，其存储了完整的计算历史。

创建一个张量追踪计算历史：

x = torch.ones(2, 2, requires_grad=True)   #默认为False
y = x + 2
print(y.grad_fn)
>><AddBackward0 at 0x7f5d031a38d0>
z = y * y * 3
out = z.mean()
out.backward()   #对函数调用backward
x.grad

如果设置了requires_grad=True 但是又不想对某个操作进行追踪则可以设置 with torch.no_grad()

with torch.no_grad():
    print((x ** 2).requires_grad)