pytorch 的一些介绍以及常用工具包展示

一、pytorch 简介

• Pytorch是torch的python版本，是由Facebook开源的神经网络框架，专门针对 GPU 加速的深度神经网络（DNN）编程。Torch 是一个经典的对多维矩阵数据进行操作的张量
  （tensor ）库，在机器学习和其他数学密集型应用有广泛应用。
• Pytorch的计算图是动态的，可以根据计算需要实时改变计算图。
• 由于Torch语言采用 Lua，导致在国内一直很小众，并逐渐被支持 Python 的 Tensorflow 抢走用户。作为经典机器学习库 Torch 的端口，PyTorch 为 Python 语言使用者提供了舒适的写代码选择。

二、pytorch 优势

• 1.简洁：
  PyTorch的设计追求最少的封装，尽量避免重复造轮子。不像 TensorFlow 中充斥着session、graph、operation、name_scope、variable、tensor、layer等全新的概念，PyTorch 的设计遵循tensor→variable(autograd)→nn.Module 三个由低到高的抽象层次，分别代表高维数组（张量）、自动求导（变量）和神经网络（层/模块），而且这三个抽象之间联系紧密，可以同时进行修改和操作。
• 2.速度：
  PyTorch 的灵活性不以速度为代价，在许多评测中，PyTorch 的速度表现胜过 TensorFlow和Keras 等框架。
• 3.易用：
  PyTorch 是所有的框架中面向对象设计的最优雅的一个。PyTorch的面向对象的接口设计来源于Torch，而Torch的接口设计以灵活易用而著称，Keras作者最初就是受Torch的启发才开发了Keras。
• 4.活跃的社区：
  PyTorch 提供了完整的文档，循序渐进的指南，作者亲自维护的论坛，供用户交流和求教问题。Facebook 人工智能研究院对 PyTorch 提供了强力支持。

三、pytorch 常用工具包

1. torch ：类似 NumPy 的张量库，支持GPU；
2. torch.autograd ：基于 type 的自动区别库，支持 torch 之中的所有可区分张量运行；
3. torch.nn ：为最大化灵活性而设计，与 autograd 深度整合的神经网络库；
4. torch.optim：与 torch.nn 一起使用的优化包，包含 SGD、RMSProp、LBFGS、Adam 等标准优化方式；
5. torch.multiprocessing： python 多进程并发，进程之间 torch Tensors 的内存共享；
6. torch.utils：数据载入器。具有训练器和其他便利功能；
7. torch.legacy(.nn/.optim) ：出于向后兼容性考虑，从 Torch 移植来的 legacy 代码；

四、pytorch 注意点

特别注意一个问题：
通道问题：不同视觉库对于图像读取的方式不一样，图像通道也不一样：
opencv 的 imread 默认顺序时 H * W * C
pytorch的Tensor是 C * H * W
Tensorflow是两者都支持

五、pytorch 理解

1. numpy风格的tensor操作
   • pytorch对tensor提供的API参照了numpy
2. 变量自动求导
   • 在计算过程形成的计算图中，参与的变量可快速计算出自己对于目标函数的梯度
3. 神经网络求导及损失函数优化等高层封装
   • 网络层封装在torch.nn
   • 损失函数封装在torch.functional
   • 优化函数封装在torch.optim

六、pytorch-Tensor

1. tensor 数据类型

tensor数据类型：3浮点（float16，float32，float64）5整数（int16，int32，int64，int8+uint8）

Data type	dtype	CPU tensor	GPU tensor
16-bit floating point	torch.float16 or torch.half	torch.HalfTensor	torch.cuda.HalfTensor
32-bit floating point	torch.float32 or torch.float	torch.FloatTensor	torch.cuda.FloatTensor
64-bit floating point	torch.float64 or torch.double	torch.DoubleTensor	torch.cuda.DoubleTensor

Data type	dtype	CPU tensor	GPU tensor
8-bit integer(unsigned)	torch.uint8	torch.ByteTensor	torch.cuda.ByteTensor
8-bit integer(signed)	torch.int8	torch.CharTensor	torch.cuda.CharTensor
16-bit integer(signed)	torch.int16 or torch.short	torch.ShortTensor	torch.cuda.ShortTensor
32-bit integer(signed)	torch.int32 or torch.int	torch.IntTensor	torch.cuda.IntTensor
64-bit integer(signed)	torch.int64 or torch.long	torch.LongTensor	torch.cuda.LongTensor

2. 创建 tensor 相关的 API

创建tensor的常见api

方法名	说明
Tensor()	直接从参数构造张量，支持list和numpy数组
eye(row,column)	创建指定行数&列数的单位tensor(单位阵)
linspace(start,end,count)	在[s,e]上创建c个元素的一维tensor
logspace(start,end,count)	在[10s,10e]上创建c个元素的一维tensor
ones(size)	返回指定shape的tensor，元素初始值为1
zeros(size)	返回指定shape的tensor，元素初始值为0
ones_like(t)	返回一个tensor，shape与t相同，且元素初始值为1
zeros_like(t)	返回一个tensor，shape与t相同，且元素初始值为1
arange(s,e,sep)	在区间[s,e)上以间隔sep生成一个序列张量

3. tensor 对象的 API

tensor 对象的方法

方法名	作用
size()	返回张量的shape
numel()	计算tensor的元素个数
view(shape)	修改tensor的shape，与np.reshape相似，view返回的是对象的共享内存
resize	类似于view，但在size超出时会重新分配内存空间
item	若为单元素tensor，则返回python的scalar
from_numpy	从numpy数据填充
numpy	返回ndarray类型

七、python 自动求导

tensor对象通过一系列运算组成动态图，每个tensor对象都有以下几个控制求导的属性。

变量	作用
requird_grad	默认为False，表示变量是狗需要计算导数
grad_fn	变量的梯度函数
grad	变量对应的梯度

八、pytorch 神经网络

torch.nn提供了创建神经网络的基础构件，这些层都继承自Module类。下面是自己手动实现一个线性层（linear layer）。适当参考，以后直接调用现成的接口，这里稍微了解一下，无实际意义。

import torch

class Linear(torch.nn.Module):
    def __init__(self, in_features, out_features, bias=True):
        super(Linear, self).__init__()
        # torch.randn() 返回一个符合均值为0，方差为1的正态分布
        self.weight = torch.nn.Parameter(torch.randn(out_features, in_features))
        if bias:
            self.bias = torch.nn.Parameter(torch.randn(out_features))

    def forward(self, x):
        # xW+b
        x = x.mm(self.weight)
        if self.bias:
            x = x + self.bias.expand_as(x)
        return x

if __name__ == '__main__':
    
    net = Linear(3,2)
    x = net.forward
    print('11',x)

下面表格中列出了比较重要的神经网络层组件。
对应的在nn.functional模块中，提供这些层对应的函数实现。
通常对于可训练参数的层使用module，而对于不需要训练参数的层如softmax这些，可以使用functional中的函数。

一些容器：

容器类型	功能
Module	神经网络模块基类
Sequential	序贯模型，类似keras，用于构建序列型神经网络
ModuleList	用于存储层，不接受输入
Parameters(t)	模块的属性，用于保存其训练参数
ParameterList	参数列表1

容器代码：

# 方法1 像
model1 = nn.Sequential()
model.add_module('fc1', nn.Linear(3,4))
model.add_module('fc2', nn.Linear(4,2))
model.add_module('output', nn.Softmax(2))

# 方法2
model2 = nn.Sequential(
          nn.Conv2d(1,20,5),
          nn.ReLU(),
          nn.Conv2d(20,64,5),
          nn.ReLU()
        )
# 方法3        
model3 = nn.ModuleList([nn.Linear(3,4), nn.ReLU(), nn.Linear(4,2)])

• torch.nn.Module提供了神经网络的基类，当实现神经网络时需要继承自此模块，并在初始化函数中创建网络需要包含的层，并实现forward函数完成前向计算，网络的反向计算会由自动求导机制处理。
• 通常将需要训练的层写在init函数中，将参数不需要训练的层在forward方法里调用对应的函数来实现相应的层。

编码三步走：

在pytorch中就只需要分三步：

1. 写好网络；
2. 编写数据的标签和路径索引；
3. 把数据送到网络。