项目实战（一） - - PyTorch简介

1. 为什么选择选择PyTorch？

①用途： PyTorch的计算图是动态的，而其他框架通常是静态的，许多深度学习领域的前沿研究都需要动态图或从动态图中获益 (计算图是用于描绘神经网络中张量的函数操作，通常用于计算优化神经网络权重所需的导数)

②速度： 同样算法，相对其他框架较快较灵活

③易用易读： PyTorch 的设计遵循tensor→variable(autograd)→nn.Module 三个由低到高的抽象层次，分别代表高维数组（张量）、自动求导（变量）和神经网络（层/模块），而且这三个抽象之间联系紧密，可以同时进行修改和操作；源码较少，简洁易读

2. PyTorch安装验证

import torch # 导入PyTorch
print(torch.__ version __) #打印PyTorch的版本
torch.cuda.is_available #判断cuda在我们的系统上是否可用
print(torch.version.cuda) #看cuda的版本

3. 常用PyTorch库：

torch: 包含所有torch包和tensor库的顶级包
torch.nn: 用于构造神经网络的包，它包含类和模块
Torch.autograd:支持张量的导数运算，负责优化神经网络
Torch.nn.function:访问损失函数的API
Torch.optim:访问优化器（SGD,ADAM…）
Torch.utils:包含数据集和数据加载器的实用程序类
Torchvision:访问流行的数据集、计算机视觉中的模型框架及图像转换

所有深度学习框架都有两个特性：张量库和计算导数的包(在PyTorch中是torch和torch.autograd)

3.1. 常用网络层

nn.Linear
nn.Conv2d
nn.LSTM
Nn.GRU

3.2. 常用激活函数

nn.ReLU
nn.Sigmoid
nn.Softmax

3.3. 常用损失函数

nn.CrossEntropyLoss
nn.MSE

4. PyTorch项目流程

• ① 数据读取、转换、加载
• ② 将批量数据传入网络
• ③ 计算损失
• ④ 梯度清零
• ⑤ 反向传播计算梯度

5. CUDA简介

GPU计算堆栈的形式：GPU是底层硬件，Cuda是GPU的顶端软件框架，在Cuda的顶部是Cudnn；

6. 张量

张量是神经网络中使用的主要数据结构，网络中的输入、输出和转换均使用张量表示

• 张量是包含一个同一类型的数据
• 张量之间的计算依赖于类型和设备

用数据创建PyTorch张量的4种方法

t = np.array([[1,2,3],[4,5,6],[7,8,9]])

• print(torch.Tensor(t))
• print(torch.tensor(t))
• print(torch.as_tensor(t))
• print(torch.from_numpy(t))

无数据情况下创建张量

• 单位张量的创建(二维)
  torch.eye(3,3)
• 全零张量的创建（二维）
  torch.zeros(3,3)
• 全1张量的创建(二维)
  torch.ones(3,3)
• 随机张量的创建(二维)
  torch.rand(3,3)