PyTorch深度学习快速入门教程(绝对通俗易懂!)【小土堆】笔记

PyTorch深度学习快速入门教程(绝对通俗易懂!)【小土堆】笔记

  • 教程与代码地址
  • P1 PyTorch环境的配置及安装(Configuration and Installation of PyTorch)【PyTorch教程】
  • P2 Python编辑器的选择、安装及配置(PyCharm、Jupyter安装)【PyTorch教程】
  • P3 【FAQ】为什么torch.cuda.is_available返回False
  • P4 Python学习中的两大法宝函数(当然也可以用在PyTorch)
  • P5 PyCharm及Jupyter使用及对比
  • P6 PyTorch加载数据初认识
  • P7 Dataset类代码实战
  • P8 TensorBoard的使用(一)
  • P9 TensorBoard的使用(二)
  • P10 Transforms的使用(一)
  • P11 Transforms的使用(二)
  • P12 常见的Transforms(一)
  • P13 常见的Transforms(二)
  • P14 torchvision中的数据集使用
  • P15 DataLoader的使用
  • P16 神经网络的基本骨架-nn.Module的使用
  • P17 土堆说卷积操作(可选看)
  • P18 神经网络-卷积层
  • P19 神经网络-最大池化的使用
  • P20 神经网络-非线性激活
  • P21 神经网络-线性层及其他层介绍
  • P22 神经网络-搭建小实战和Sequential的使用
  • P23 损失函数与反向传播
  • P24 优化器(一)
  • P25 现有网络模型的使用及修改
  • P26 网络模型的保存与读取
  • P27 完整的模型训练套路(一)
  • P28 完整的模型训练套路(二)
  • P29 完整的模型训练套路(三)
    • torch.nn.module.train()
    • torch.nn.module.eval()
  • P30 利用GPU训练(一)
  • P31 利用GPU训练(二)
  • P32 完整的模型验证套路
  • P33 【完结】看看开源项目

教程与代码地址

笔记中,图片和代码基本源自up主的视频和代码

视频链接: PyTorch深度学习快速入门教程(绝对通俗易懂!)【小土堆】
视频代码: https://github.com/xiaotudui/PyTorch-Tutorial
如果想要爬虫视频网站一样的csdn目录,可以去这里下载代码:https://github.com/JeffreyLeal/MyUtils/tree/%E7%88%AC%E8%99%AB%E5%B7%A5%E5%85%B71

P1 PyTorch环境的配置及安装(Configuration and Installation of PyTorch)【PyTorch教程】

P2 Python编辑器的选择、安装及配置(PyCharm、Jupyter安装)【PyTorch教程】

P3 【FAQ】为什么torch.cuda.is_available返回False

P4 Python学习中的两大法宝函数(当然也可以用在PyTorch)

  1. dir()
  2. help()
    PyTorch深度学习快速入门教程(绝对通俗易懂!)【小土堆】笔记_第1张图片

P5 PyCharm及Jupyter使用及对比

PyTorch深度学习快速入门教程(绝对通俗易懂!)【小土堆】笔记_第2张图片

P6 PyTorch加载数据初认识

在jupyter中:

from torch.utils.data import Dataset
# 查询Dataset的doc描述
# 方式一:
help(Dataset)
# 方式二:
Dataset??

PyTorch深度学习快速入门教程(绝对通俗易懂!)【小土堆】笔记_第3张图片三种数据集标签标注形式:
第一种:文件夹名字就是标签名;
第二钟:有另外一个文件记录下文件与标签的映射关系;
第三种:文件本身带有标签名。

P7 Dataset类代码实战

详细代码看read_data.py

from torch.utils.data import Dataset

os.path.join(self.root_dir, self.label_dir) 对地址字符串进行拼接,参数为可变形参

os.listdir(self.image_path) 把路径下的文件装入到list容器中

P8 TensorBoard的使用(一)

TensorBoard是一个可视化工具,它可以用来展示网络图、张量的指标变化、张量的分布情况等。特别是在训练网络的时候,我们可以设置不同的参数(比如:权重W、偏置B、卷积层数、全连接层数等),使用TensorBoader可以很直观的帮我们进行参数的选择。

详细代码看P8_Tensorboard.py

from torch.utils.tensorboard import SummaryWriter

容易遇到以下问题,以及tensorboard的安装问题
PyTorch深度学习快速入门教程(绝对通俗易懂!)【小土堆】笔记_第4张图片

pytorch 1.6.0 出现ModuleNotFoundError: No module named ‘tensorboard‘错误.

urllib.error.URLError: urlopen error [SSL: CERTIFICATE_VERIFY_FAILED]

P9 TensorBoard的使用(二)

详细代码看P8_Tensorboard.py

  1. 创建SummaryWriter类,传入logs文件输出地址
  2. 图片文件地址
  3. Image类打开图片文件
  4. 将Image类转换numpy格式
  5. SummaryWriter类加载numpy格式图片
  6. 画图
  7. 关闭SummaryWriter流

P10 Transforms的使用(一)

详细代码看P9_transforms.py

transforms一个torchvision下的一个工具箱,用于格式转化,视觉处理工具,不用于文本。
PyTorch深度学习快速入门教程(绝对通俗易懂!)【小土堆】笔记_第5张图片

按住ctrl,点击transforms
PyTorch深度学习快速入门教程(绝对通俗易懂!)【小土堆】笔记_第6张图片
再按住ctrl,点击transforms,就能看到transforms的源代码,左下角structure可以看到文件结构。
PyTorch深度学习快速入门教程(绝对通俗易懂!)【小土堆】笔记_第7张图片

它里面有多个工具类:
Compose类:将几个变换组合在一起。
CoTensor类:顾名思义,讲其他格式文件转换成tensor类的格式。
ToPILImage类:转换成Image类。
Nomalize类:用于正则化。
Resize类:裁剪。
RandomCrop:随机裁剪。

工具类都有__call__()方法,具体作用看python中的 call().

P11 Transforms的使用(二)

P12 常见的Transforms(一)

格式转换流程都大同小异,以Image转换成tensor为例:

  1. 传入图片路径,创建Image类;
  2. 创建ToTensor类;
  3. 使用toTensor(image),传入Image类,调用ToTensor类的__call__()方法,返回Tensor类。

P13 常见的Transforms(二)

PyTorch深度学习快速入门教程(绝对通俗易懂!)【小土堆】笔记_第8张图片

P14 torchvision中的数据集使用

进入pytorch官网
PyTorch深度学习快速入门教程(绝对通俗易懂!)【小土堆】笔记_第9张图片
PyTorch深度学习快速入门教程(绝对通俗易懂!)【小土堆】笔记_第10张图片讲述dataset和transform的联合使用。

代码见P10_dataset_transform.py。

路径中:’.‘表示当前目录,’ …'表示上层目录,Linux里的shell语法

P15 DataLoader的使用

Dataset如果是一叠扑克牌的话,DataLoader就是一只手,参数就是告诉这只手怎么抓取扑克牌。

DataLoader常用参数:
dataset (Dataset) – 使用哪个数据集

batch_size (int, optional) – 一次抓取多少个数据,多少张牌

shuffle (bool, optional) – 是否重新洗牌

num_workers (int, optional) – 多线程,windows下要设成0,不然会出错,出现

BrokenPipeError: [Errno 32] Broken pipe

drop_last (bool, optional) – 当数据集大小不能被批大小整除时,设置为True则以删除最后一个不完整的批。False,则不删除,最后一批将变小。(默认值:False)

datasetloader加载批数据过程:
PyTorch深度学习快速入门教程(绝对通俗易懂!)【小土堆】笔记_第11张图片代码见dataloader.py

P16 神经网络的基本骨架-nn.Module的使用

代码见nn_module.py

input -> nn -> output,其中使用nn模型的时候,会自动调用__call__()方法,call()方法里面又调用了forword()方法,所以在继承一个nn模型的时候,要重写它的__init__()方法和__forword()__方法。

P17 土堆说卷积操作(可选看)

torch.nn模块会用就可以,相对于方向盘。
torch.functional模块不需要掌握,相对于齿轮。

卷积原理的保姆级教程。
代码见nn_conv.py,使用torch.nn.functional模块。

P18 神经网络-卷积层

PyTorch深度学习快速入门教程(绝对通俗易懂!)【小土堆】笔记_第12张图片
conv2d常用参数:

in_channels (int) – 输入通道数,RGB图像就是三通道。

out_channels (int) – 输出通道数,也就是卷积核的个数,输入通道不为1的情况,

kernel_size (int or tuple) – 卷积核大小,比如3就代表3×3的卷积核。

stride (int or tuple, optional) – 步长,卷积完成一次计算后,卷积核移动多少步。

padding (int, tuple or str, optional) – 填充,比如1就代表图像外围加一圈数据,默认都是0。

padding_mode (string, optional) – 填充模式,“零”、“反射”、“复制”或“圆形”。 默认值:‘零’ 。

dilation (int or tuple, optional) – 内核元素之间的间距 . Default: 1,具体这里介绍Dilated convolution animations

groups (int, optional) – 从输入通道到输出通道的阻塞连接数。 Default: 1

bias (bool, optional) –偏置,如果为 True,则向输出添加可学习的偏差。 默认值:真

P19 神经网络-最大池化的使用

class
torch.nn.MaxPool2d(kernel_size, stride=None, padding=0, dilation=1, return_indices=False, ceil_mode=False)

ceil_mode – 对于float型,向上取整ceil还是向下取整floor。

代码见nn_maxpool.py

P20 神经网络-非线性激活

关于RELU,原始数据是否原地操作:
PyTorch深度学习快速入门教程(绝对通俗易懂!)【小土堆】笔记_第13张图片

P21 神经网络-线性层及其他层介绍

代码见nn_linear.py

视频18:58左右运动代码出错,是因为最后一个batch的大小

P22 神经网络-搭建小实战和Sequential的使用

PyTorch深度学习快速入门教程(绝对通俗易懂!)【小土堆】笔记_第14张图片以下是这个模型的代码,Sequential的作用就是简化代码块1,把代码块1装进去Sequential容器里,就是代码块2的代码了,然后代码块1就可以删除了。
PyTorch深度学习快速入门教程(绝对通俗易懂!)【小土堆】笔记_第15张图片
这里用tensorboard,可以得到非常牛逼的模型结构图

P23 损失函数与反向传播

代码见nn_loss.py和nn_loss_network.py

由于loss()函数接收的数要是float类型,所以传入tensor数据的时候,要把tensor()参数中的dtype=torch.float32

P24 优化器(一)

代码见nn_optim.py

# 优化器通常设置模型的参数,学习率等
optimizer = optim.SGD(model.parameters(), lr=0.01, momentum=0.9)
optimizer = optim.Adam([var1, var2], lr=0.0001)

for input, target in dataset:
	#把上一次计算的梯度清零
    optimizer.zero_grad()
    output = model(input)
    loss = loss_fn(output, target)
    # 损失反向传播,计算梯度
    loss.backward()
    # 使用梯度进行学习,即参数的优化
    optimizer.step()

P25 现有网络模型的使用及修改

出名的模型才会有现有的
PyTorch深度学习快速入门教程(绝对通俗易懂!)【小土堆】笔记_第16张图片代码见model_pretrained.py

P26 网络模型的保存与读取

代码见model_save.py和model_load.py

P27 完整的模型训练套路(一)

PyTorch深度学习快速入门教程(绝对通俗易懂!)【小土堆】笔记_第17张图片代码见model.py和train.py

format函数的用法:

print("-------第 {} 轮训练开始-------".format(3))

输出:

-------3 轮训练开始-------

详细见:Python format 格式化函数

P28 完整的模型训练套路(二)

代码见train.py

查看验证集

torch.no_grad函数:禁用梯度计算的上下文管理器。
当您确定不会调用 Tensor.backward() 时,禁用梯度计算对于推理很有用。 它将减少原本需要 requires_grad=True 的计算的内存消耗。

torch.no_grad函数在用验证集的测试性能的时候使用,可以使得测试的过程中,不会计算用于反向传播的梯度,减小消耗。

P29 完整的模型训练套路(三)

在pytorch官网中ctrl+F搜索

torch.nn.module.train()

将模块设置为训练模式。

这仅对某些模块有任何影响。 如果它们受到影响,请参阅特定模块的文档以了解其在培训/评估模式下的行为的详细信息,例如 Dropout、BatchNorm 等

torch.nn.module.eval()

将模块设置为评估模式。

这仅对某些模块有任何影响。 如果它们受到影响,请参阅特定模块的文档以了解其在培训/评估模式下的行为的详细信息,例如 Dropout、BatchNorm 等

这相当于 self.train(False)。

P30 利用GPU训练(一)

代码见train_gpu_1.py

使用以下句式进行gpu加速:

if torch.cuda.is_available():
    tudui = tudui.cuda()

使用time模块来计时

使用谷歌、天池的GPU加速

P31 利用GPU训练(二)

代码见train_gpu_2.py

使用以下句式进行gpu加速:

device = torch.device("cuda")
# Tudui是一个神经网络模型
tudui = Tudui()
tudui = tudui.to(device)

P32 完整的模型验证套路

PyTorch深度学习快速入门教程(绝对通俗易懂!)【小土堆】笔记_第18张图片
PyTorch深度学习快速入门教程(绝对通俗易懂!)【小土堆】笔记_第19张图片代码见test.py

P33 【完结】看看开源项目

06:00开始看,如何读懂github上面的代码

你可能感兴趣的:(b站/技术笔记,pytorch,深度学习,python)