Pytorch深度学习与入门实战

Pytorch简介

Pytorch是一个能在CPU和GPU上运行并解决各类深度学习问题的深度学习框架。可以将其看做是支持GPU计算和自动微分计算的Numpy库。
在PyTorch诞生之前，像caffe和torch这样的深度学习库是很受欢迎的深度学习库。随着深度学习快速发展，开发人员和研究人员希望有一个高效、易于使用的框架，并且以Python编程语言构建、训练和评估神经网络。

PyTorch是一个灵活容易学习python库，在学术和研究领域PyTorch是最受欢迎的深度学习库。
PyTorch是Tensorflow最强有力的竞争对手。
PyTorch框架的产生受到Torch和Chainer这两个框架的启发。
与Torch使用Lua语言相比，PyTOrch是一个python优先的框架，我们可以继承PyTorch类然后自定义。
与Chainer类型，PyTorch框架具有自动求导的动态图功能，也就是所谓define by run,即当python解释器运行到相应的行时，才创建计算图。

Pytorch特点

• 易于使用的API——它就像python一样简单。
• python的支持——PyTorch可以顺利地与python数据科学集成。它非常类似于Numpy.
• 动态计算图——取代了具有特定优势的静态图，pytorch为我们提供了一个框架，以便可以在运行时构建计算图，甚至在运行时更改它们。
• 部署简单——pytorch提供了可用于大规模部署Pytorch模型的工具torchserve.TorchServe是pytorch开源项目的一部分，是一个易于使用的工具，用于大规模部署Pytorch模型。
• 支持分布式训练——pytorch可实现研究和生产中的分布式训练和性能优化。
• 支持移动端——Pytorch支持从python到IOS和安卓系统部署的端到端工作流程。
• 强大的生态系统——pytorch具有丰富的工具和库等生态系统，为计算机视觉、NLP等方面的开发提供便利。
• 内置开放神经网络交换协议（ONNX）——可以很方便与其他深度学习框架互操作。

PyTorch安装环境要求

PyTorch兼容的Python版本

windows上的Pytorch仅支持python 3.7-3.9,不支持python 2.x

搭建开发环境

推荐使用Miniconda搭建python环境
Miniconda是最小的conda安装环境，它提供了：
1.Conda包管理工具
2.python

下载Miniconda![下载miniconda](https://img-blog.csdnimg.cn/adace1a2f7ae476aa883b53203477c92.pn

GPU版本的python可以利用NVIDIA GPU强大的计算加速能力，使Python的运行更为高效，尤其是可以成倍提升模型训练的速度。

Pytorch官网地址

https://pytorch.org/get-started/locally/
快速下载CPU版本torch的网址：pip3 install torch torchvision torchaudio -i https://pypi.doubanio.com/simple

GPU版本安装

CUDA是一种由NVIDIA推出的通用并行计算架构，该架构使GPU能够解决复杂的计算问题。
为了使用CUDA，需要安装cudatolkit,在这里我们与pytorch一并都使用conda安装。

检查显卡驱动

GPU版本安装
这样网站会给出我们具体的安装命令，我们在anaconda prompt(miniconda3)命令行中参考网站给出的安装命令执行安装即可。

依赖库安装

机器学习基础与PyTorch实现简单线性回归

机器学习基础

什么是机器学习呢？所谓机器学习，就是让计算机从数据中学习到规律，从而做出预测。很多时候，我们很难直接编写一个算法解决问题，比如一张图片，很难编写算法直接正确预测这张图片是猫还是狗。
为了解决这个问题，人们想到数据驱动方法，也就是让计算机从现有的大量的带标签图片中学习规律，一旦计算机学习到了其中的规律，当我们输入一张新的图片给计算机时，它就可以准确的预测出这张图片到底是猫还是狗。
这里有两个关键的因素，
一是大量的可学习数据，比如带标签的猫狗图片；
二是学习的主体，我们一般称之为模型。
如何理解模型呢？
你可以把模型认为是一个映射函数，它包含一些参数，这些参数可以与输入进行计算得到一个输出，我们一般称之为预测结果。
所谓模型学习的过程，就是模型修正其参数、改进映射关系的过程。
可以简单的把模型的学习过程总结如下，以预测图片是猫还是狗为例：
1.创建模型；
2.输入一张带标签的图片；
3.使用模型对此图片做出预测；
4.将预测结果与实际标签比较，产生的差距为损失；
5.以减小损失为优化目标，根绝损失优化模型参数；
6.循环重复上述第2-5步。

损失函数

损失函数：使用均方误差作为成本函数，也就是预测值和真实值之间差的平方取均值。
成本函数与损失函数：优化的目标（y代表实际的收入）：找到合适的W和b，使得（f(x)-y）的平方越小越好，也就是求解合适的参数w和b.`
模型的创建如下所示：

class EIModel(nn.Module):定义类继承自nn.Module
    def __init__(self):
        super(EIModel, self).__init__()
        self.linear = nn.Linear(in_features=1, out_features=1)
    def forward(self, inputs):
        logits = self.linear(inputs)
        return logits
	model = EIModel()模型实例化
	opt = torch.optim.SGD(model.parameters(), lr=0.0001)优化器

	for epoch in range(5000):训练5000次
    for x, y in zip(X, Y):
        y_pred = model(x)
        loss = loss_fn(y_pred, y)计算损失
        opt.zero_grad()梯度清零
        loss.backward()损失反向传播
        opt.step()优化参数
        list(model.parameters())返回优化后的模型参数
        list(model.named_parameters())
        
plt.scatter(data.Education, data.Income)绘制优化后的模型参数
plt.xlabel('Education')
plt.ylabel('Income')

plt.plot(X, model(X).detach().numpy(), c='r')
       

*** 创建模型的总结：
1.输入数据处理
2.创建模型
3.训练
4.预测、评价

张量与基本数据类型

Tensor(张量)
Pytorch最基本的操作对象是Tensor（张量），它表示一个多维矩阵张量类似于NumPy的ndarrays,张量可以在GPU上使用以加速计算。
张量是基于向量和矩阵的推广，我们可以将标量视为零阶张量，向量视为一节张量，矩阵就是二阶张量。
张量是支持高效的科学计算的数组，它可以是一个数（标量）、一维数组（向量）、二维数组（矩阵）和更高维的数组（高阶数据）。
张量（tensor）和NumPy的数组ndarray通常可以共享相同的底层内存，无需复制数据。
import torch
import numpy as np

t = torch.FloatTensor([1, 2, 3]）创建float32类型的数据
t = torch.LongTensor([1, 2])创建int64位类型的数据

Tensor的最基本数据类型

torch.rand(2,3)       在0和1之间随机分布的随机数，创建一个两行三列的tensor数据
t = torch.randn(2, 3)      随机创建一个2*3的正态分布

shape返回tensor的形状 dtype返回tensor的类型
t.add_(t1) 代表t+t1的运算结果返回给t,就地改变t的值
torch.abs(t)代表求t的绝对值
t.T # 转置 shape ： (3, 2) 大写的T代表转置，表示将23的矩阵t，转换为32的矩阵T

matmul 矩阵乘法

t.matmul(t.T) 表示一个23的矩阵t，与一个32的矩阵T，进行矩阵乘法运算。
t@(t.T)等同于t.matmul(t.T)
t.sum().item()将tensor的数据类型转换为python的浮点型数据进行打印
t1 = torch.from_numpy(np.random.randn(3, 4)) 表示将numpy类型的数据，转换为array类型
t1.numpy() 表示将array类型的数据转换为numpy类型