PyTorch学习笔记

pytorch学习笔记（六）：自定义Datasets

什么是Datasets:在输入流水线中，我们看到准备数据的代码是这么写的data=datasets.CIFAR10("./data/",transform=transform,train=True,download=True)。datasets.CIFAR10就是一个Datasets子类，data是这个类的一个实例。为什么要定义Datasets:PyTorch提供了一个工具函数torch.util
ke1th·2020-08-04 02:49

pytorch学习笔记（十三）：backward过程的底层实现解析

如有错误，请不吝指出。pytorch源码注释，欢迎pr，提issue和star当我们使用pytorch的python的接口编写代码的时候，感觉是十分清爽的，不需要考虑底层的实现。但是好奇心驱使我们想一探究竟，看看底层C/C++那部分到底做了什么。本篇文章主要专注于：pytorch是如何动态构建反向传导图的pytorch的反向传导是怎么操作的pytorch是如何构建反向传导图的这是pytorch官方
ke1th·2020-08-04 02:49

Pytorch学习笔记(2)---Numpy桥

Numpy桥—Tensor与numpy的Array的相互转换对于学过numpy的小伙伴，这个转换还是很好理解的。没有学过的话，可以在这个连接下学习学习，讲得挺详细的。[http://old.sebug.net/paper/books/scipydoc/numpy_intro.html]需要注意的是：Torch的Tensor和numpy的array会共享他们的存储空间，修改一个会导致另外的一个也被修
窗口看到月雅湖·2020-08-04 00:08

pytorch学习笔记（一）：Tensor(张量)

文章目录前言1创建Tensor2操作2.1算术操作2.2索引2.3改变形状2.4线性代数3广播机制4运算的内存开销5Tensor和NumPy相互转换5.1Tensor`转NumPy5.2NumPy数组转Tensor6TensoronGPU前言在深度学习中，我们通常会频繁地对数据进行操作。作为动手学深度学习的基础，本节将介绍如何对内存中的数据进行操作。在PyTorch中，torch.Tensor是存
逐梦er·2020-08-03 23:07

三、pytorch学习笔记之迁移学习

1.总述：在实践中，很少人从头开始训练整个大型神经网络，因为个人很难掌握大量的数据集，这样即使从头开始训练，得到的网络也不一定让人满意。因此，在一个非常大的数据集上与训练Convnet是很有必要的，经过预训练的ConvNet可以用来初始化也可以作为特征提取器，接下来介绍集中迁移学习的思路。1.1ConvNet作为固定特征处理器：下载一个已经在ImageNet或者其他大型数据集上预训练的Convne
Traviscxy·2020-08-03 22:45

pytorch学习笔记五：pytorch中reshape、view以及resize之间的区别

这里以torch.Tensor下的reshape，view，resize_来举例一、先来说一说reshape和view之间的区别相同点：都是可以改变tensor的形状不同点：.view()方法只能改变连续的(contiguous)张量，否则需要先调用.contiguous()方法；而.reshape()方法不受此限制；如果对tensor调用过transpose,permute等操作的话会使该ten
万能的小黑Alex·2020-08-03 22:45

[pytorch学习笔记六] 4种经典优化器效果的比较

学自莫凡PYTHON1.实验结果在同一神经网络中，分别使用4种经典的优化器：SGD、Momentum、RMSprop和Adam实现数据的拟合。训练过程中的误差loss的变化曲线如下图所示。可以看出之前常用最基础的SGD优化器效果一般。Momentum、RMSprop和Adam的优化效果要好一些。2.实验过程#1.导入包importtorchimporttorch.nn.functionalasF#
奔前程的水手·2020-08-03 22:02

[pytorch学习笔记五] 批训练

学自莫凡PYTHON1.实验结果一批5个数据（batch_size=5），15个数据总共被分成3批训练（step=3）。并将所有数据整体训练了3遍。2.实验过程#1.导入模块importtorchimporttorch.utils.dataasData#Data是用来批训练的模块#2.一批训练5个数据BATCH_SIZE=5#3.使用torch构建数据集x=torch.linspace(1,15,
奔前程的水手·2020-08-03 22:02

[pytorch学习笔记四] 保存和提取训练好的网络(含实例详解)

学自莫凡PYTHON1.方法保存：保存训练好的整个网络：torch.save(net1,'net1.pth')只保存网络的参数：torch.save(net1.state_dict(),'net1_params.pth')提取：调用整个训练好的网络：net2=torch.load('net1.pth')只调用网络的参数：net3.load_state_dict(torch.load('net1_p
奔前程的水手·2020-08-03 22:02

[pytorch学习笔记三] 搭建网络实现带有不同标签的数据点的分类

学自莫凡python1.实验结果设置两组数据点，并且把右上的数据群的所有点的标签都设为0，左下数据集群所有点的标签都设为1。现在我们搭建简单的神经网络，把标签不同的数据点都区分开，标上不同的颜色。呈上实验的训练效果图。2.实验过程#1.导入必要的模块importtorchimporttorch.nn.functionalasF#F中含有激励函数importmatplotlib.pyplotaspl
奔前程的水手·2020-08-03 22:01

PyTorch学习笔记（25） 正则化 weight_decay

Regularzation正则化Regularzation:减小方差的策略误差可分解为:偏差，方差与噪声之和。即误差=偏差+方差+噪声之和偏差度量了学习算法的期望预测与真实结果的偏离程度，即刻画了学习算法本身的拟合能力方差度量了同样大小的训练集的变动所导致的学习性能的变化，即刻画了数据扰动所造成的影响噪声则表达了在当前任务上任何学习算法所能达到的期望泛化误差的下界损失函数:衡量模型输出与真实标签的
TongYixuan_LUT·2020-08-03 21:18

PyTorch学习笔记（32）pytorch常见报错信息

pytorch常见报错信息1.报错：ValueError:num_samplesshouldbeapositiveintegervalue,butgotnum_samples=0可能的原因：传入的Dataset中的len(self.data_info)==0，即传入该dataloader的dataset里没有数据解决方法：检查dataset中的路径，路径不对，读取不到数据。检查Dataset的__
TongYixuan_LUT·2020-08-03 21:18

Pytorch学习笔记2--模型定义

保存模型的推荐方法这主要有两种方法序列化和恢复模型。第一种（推荐）只保存和加载模型参数：torch.save(the_model.state_dict(),PATH)然后：the_model=TheModelClass(*args,**kwargs)the_model.load_state_dict(torch.load(PATH))第二种保存和加载整个模型：torch.save(the_mode
小熊猫3·2020-08-03 21:42

PyTorch学习笔记（一）基本建模流程

EnvironmentOS:macOSMojavePythonversion:3.7PyTorchversion:1.4.0IDE:PyCharm文章目录0.写在前面1.线性回归2.对率回归0.写在前面本文记录了使用PyTorch实现简单的线性回归和对率回归的基本流程，包括获得数据、建立模型和训练模型。之后数据和模型更复杂，但是这些workflow是一致的。1.线性回归importnumpyasn
longrootchen·2020-08-03 19:11

PyTorch学习笔记（四）调整学习率

EnvironmentOS:macOSMojavePythonversion:3.7PyTorchversion:1.4.0IDE:PyCharm文章目录0.写在前面1.StepLR1.1scheduler常用的属性1.2scheduler常用的方法2.MultiStepLR3.ExponentialLR4.ReduceLROnPlateau5.LambdaLR0.写在前面PyTorch在torc
longrootchen·2020-08-03 19:11

PyTorch学习笔记（二）读取数据

EnvironmentOS:macOSMojavePythonversion:3.7PyTorchversion:1.4.0IDE:PyCharm文章目录0.写在前面1.构造Dataset1.1法一：定义Dataset子类1.2法二：使用ImageFolder类2.构造DataLoader2.1可能需要定义采样器解决类别不平衡问题2.2构造DataLoader实例对象0.写在前面本文记录一下使用P
longrootchen·2020-08-03 19:40

PyTorch学习笔记（四）损失函数

EnvironmentOS:macOSMojavePythonversion:3.7PyTorchversion:1.4.0IDE:PyCharm文章目录0.写在前面1.L1Loss2.SmoothL1Loss3.MSELoss4.BCELoss5.BCEWithLogitsLoss6.CrossEntropyLoss7.NLLLoss8.PoisonNLLLoss9.KLDivLoss10.Ma
longrootchen·2020-08-03 19:40

PyTorch学习笔记（五）使用GPU训练模型

EnvironmentOS:Ubuntu14.04Pythonversion:3.7PyTorchversion:1.4.0IDE:PyCharmGPU:3张RTX2080Ti文章目录0.写在前面1.设置GPU1.1选择GPU1.2查看可用GPU的信息2.将数据和模型在GPU和CPU之间移动1.2对于torch.Tensor2.2对于torch.nn.Module3.多GPU数据并行0.写在前面深
longrootchen·2020-08-03 19:40

深度学习之PyTorch学习笔记二

首先补上上一个博客中在Win10下安装PyTorch的内容。Win10下安装PyTorch的GPU版本需要注意的地方Win10环境下安装PyTorch，进入官网，然后对着官网安装即可。但是我在安装过程中遇到了几个问题，列举出来。1.空间不足我在安装过程中遇到了这个提示，发现是c盘空间不足，因此在安装时最好先把c盘空间留出来，至少应该留5G以上。2.安装的下载过程总是失败之前装的时候一直是下载着下载
cannibalistic-galaxy·2020-08-03 17:36

Pytorch学习笔记-第三章

Pytorch学习笔记-第三章Tensor和AutogradTensor创建size调整索引高级索引Tensor类型逐元素操作归并操作比较线性代数操作numpy和tensor广播内部结构向量化Autograd
Sigyc·2020-08-03 17:07

pytorch学习笔记1--torch和numpy的对比

一、numpy和torchnumpy是python中处理数据的模块，可以处理各种的矩阵(matrix)。Torch自称为神经网络中的numpy。它会将torch产生的tensor放在GPU中加速运算，就像numpy会把array放在CPU中加速运算。numpy和torch能很好的兼容，对于数据的运算形式也十分相似。numpyarray和torchtensor之间也能很好的转换。二、numpy和to
赵 XiaoQin·2020-08-03 15:55

Pytorch学习笔记（2）

Pytorch学习笔记（2）1.指定运行设备pytorch可以指定数据运行在cpu或者gpu上，以下为例。
「已注销」·2020-08-03 15:01

PyTorch学习笔记--张量的创建

张量是什么？张量是一个多维数组，它是标量、向量、矩阵的高维拓展。Tensor与Variablevariable是torch.autograd中的数据类型，主要用于封装Tensor，进行自动求导data：被包装的Tensorgrad：data的梯度grad_fn：创建Tensor的Function，是自动求导的关键requires_grad：指示是否需要梯度is_leaf：指示是否是叶子节点（张量）
LuZer0·2020-08-03 14:07

pytorch学习笔记（7）：卷积 池化 权值初始化等 一定坚持学完啊！！

1.卷积卷积维度：一般情况下，卷积核在几个维度上滑动，就是几位卷积nn.conv2d()对多个二维信号进行二维卷积nn.conv2d(in_channels:输入通道数out_channels:输出通道数等价于卷积核的个数kernel_size:卷积核尺寸stride:步长padding：填充个数dilation,空洞卷积大小groups,分组卷积设置bias，偏置padding_mode='ze
YaYan233·2020-08-03 14:27

pytorch学习笔记（8）：损失函数 学习率调整 一定坚持学完啊！！

损失函数：衡量模型输出与其真是标签的差异损失函数：计算一个样本的差异代价函数：计算整个样本的差异求平均目标函数：代价函数+正则项步骤：先设计一个损失函数如：先定义loss：loss_function=nn.CrossEntropyLoss()然后在训练的时候调用loss_function:loss_function(outputs,labels)1.nn.CrossEntropyLoss()nn.
YaYan233·2020-08-03 14:56

pytorch学习笔记（9）：可视化 一定坚持学完啊！！

importnumpyasnpfromtorch.utils.tensorboardimportSummaryWriterwriter=SummaryWriter(comment='test_tensorboard')forxinrange(100):writer.add_scalar('y=2x',x*2,x)writer.add_scalar('y=pow(2,x)',2**x,x)write
YaYan233·2020-08-03 14:56

pytorch学习笔记（1）：tensor 一定坚持学完啊！！

tensortensor：张量，有点像向量tensor的属性：data:数据dtype：张量的数据类型如：torch.FloatTensorshape:张量的形状device：张量所在的设备requires_grad:是否需要求导grad：data的梯度grad_fn:创建Tensor的functionis_leaf:是否为叶子结点1.直接创建通过torch.tensor()创建a=np.ones
YaYan233·2020-08-03 14:55

pytorch学习笔记（5）transforms 一定坚持学完啊！！

torchvision.transforms:常用的图像预处理方法1.数据中心化2.数据标准化3.缩放4.裁剪5.旋转6.翻转7.填充8.噪声添加9.灰度变换10.线性变换11.仿射变换12.亮度、饱和度以及对比度变换1.transforms.Normalize()图片标准化transforms.Normalize(mean,各通道均值std,各通道标准差inplace是否原地操作)2.trans
YaYan233·2020-08-03 14:55

pytorch学习笔记（4）：dataset dataloder 一定坚持学完啊！！

dataset与dataloder1.dataset：torch.utils.data.Dataset()Dataset抽象类，所有自定义的dataset需要继承它，getitem:接受一个索引，返回一个样本classDataset(object):def__init__(self,):def__len__(self):def__getitem__(self,):例如：classRMBDatase
YaYan233·2020-08-03 14:55

【PyTorch学习笔记】10：Logistic Regression,Cross Entropy Loss

LogisticRegression简述LogisticRegression虽然叫Regression，但是都用来解决分类问题，这是一个历史遗留问题。虽然它得到的是一个连续的值，它实际上做的是一个分类的工作（而不是回归）：y=σ(xw+b)y=\sigma(xw+b)y=σ(xw+b)得到的y在0到1之间，可以看做概率值，也就是将x二分类的概率。如果输出0.4就预测为0，如果输出0.6就预测为1。
LauZyHou·2020-08-03 13:18

大可的PyTorch学习笔记（三） 数据预处理与加载

前情提要之前我们根据教程完成了一套完整的CNN模型训练和分类任务，包括nn.Module的用法，梯度的计算和更新等。然而，我们还是留了一小块内容没有深究，那就是数据的处理和读取，即上一章开头加载图片时所用到的torchvision.datasets以及torch.utils.data.DataLoader。本章笔记整理了官方教程对于相关知识点的阐述，继续根据代码来解读相关模块的用法。WRITING
CoolCoolCarrot·2020-08-03 12:29

pytorch学习笔记（十五）：pytorch 源码编译碰到的坑总结

2017.11.17最近打算学习一下pytorch源码，所以按照官网的教程从头编译了一下pytorch。在编译的过程中，碰到了两个坑，在这里记录一下。源码编译流程需要anaconda如果要编译cuda版本的话CUDA7.5及以上。Cudnn6及以上如果不想编译cuda版本的话：命令行执行exportNO_CUDA=11.exportCMAKE_PREFIX_PATH="$(dirname$(whi
ke1th·2020-08-03 11:53

Pytorch学习笔记【2】：tensor和numpy比较

直接上代码，注意看代码注释以及运行结果！！！1.numpy和tensor的互相转变importtorchimportnumpyasnp#numpy和Tensor的转变np_data=np.arange(6).reshape((2,3))torch_data=torch.from_numpy(np_data)#numpy数据变成torch的Tensor数据tensor2array=torch_dat
strong tyj·2020-08-03 11:32

PyTorch学习笔记（14）池化 线性 激活函数

池化、线性、激活函数池化层PoolingLayer池化运算：对信号进行“收集”并“总结”，类似水池收集水资源，因而得名池化层“收集”：多变少“总结”：选取最大值或平均值nn.MaxPool2d功能对二维信号(图像)进行最大值池化主要参数kernel_size池化核尺寸stride步长padding填充个数dilation池化核间隔大小ceil_mode尺寸向上取整return_indices记录池
TongYixuan_LUT·2020-08-03 11:20

PyTorch学习笔记（二）图像数据增强

EnvironmentOS:macOSMojavePythonversion:3.7PyTorchversion:1.4.0IDE:PyCharm文章目录0.写在前面1.基本变换类1.1填充1.2擦除1.3缩放1.4裁剪1.5旋转1.6翻转1.7颜色1.8仿射变换和线性变换1.9归一化和标准化1.10.Lambda2.组合变换类3.自定义图像数据增强0.写在前面本文记录了使用PyTorch实现图像
longrootchen·2020-08-03 10:19

PyTorch学习笔记（三）参数初始化与各种Norm层

EnvironmentOS:macOSMojavePythonversion:3.7PyTorchversion:1.4.0IDE:PyCharm文章目录0.写在前面1.初始化1.1Xavier初始化1.1.1Xavier均匀分布1.1.2Xavier正态分布1.1.3计算增益值gain1.2kaiming初始化1.2.1kaiming正态分布1.2.2kaiming均匀分布1.3均匀分布初始化1
longrootchen·2020-08-03 10:49

PyTorch学习笔记（一）Tensor运算

EnvironmentOS:macOSMojavePythonversion:3.7PyTorchversion:1.4.0IDE:PyCharm文章目录0.写在前面1.计算图2.求梯度2.1基本方法2.2手动清零梯度2.3求梯度的函数0.写在前面本文记录了PyTorch中怎样对张量的运算和求梯度。在旧版本的PyTorch中（version0.4.0之前），torch.autograd.Varia
longrootchen·2020-08-03 10:49

PyTorch学习笔记（五）保存和加载和训练模型

EnvironmentOS:Ubuntu14.04Pythonversion:3.7PyTorchversion:1.4.0IDE:PyCharm文章目录0.写在前面1.保存和加载2.训练代码0.写在前面训练一个CNN模型往往需要一些时间，那么在训练过程中需要适时地保存模型。如果手动或意外中断了训练，那么之后从某个checkpoint恢复训练，而不用从头开始。这里记一下如何保存、加载、训练模型。1
longrootchen·2020-08-03 10:49

PyTorch学习笔记（二）划分数据集

EnvironmentOS:macOSMojavePythonversion:3.7PyTorchversion:1.4.0IDE:PyCharm文章目录0.写在前面1.将图像按标签分类放入不同子目录2.划分训练验证测试集0.写在前面对于计算机视觉深度学习任务，对数据的处理包括划分数据集，将数据集划分为划分训练集、验证集、测试集；预处理，对图像进行数据增强和标准化；读取，读取一个batch的数据输
longrootchen·2020-08-03 10:48

pytorch学习笔记（6）：模型创建与nn.Module 一定坚持学完啊！！

模型创建，模型容器LenNet:classLeNet(nn.model):def__init__(self,classes):super(LeNet,self).__init__()self.conv1=nn.Conv2d(3,6,5)self.conv2=nn.Conv2d(6,16,5)self.fc1=nn.Linear(16*5*5,120)self.fc2=nn.Linear(120,8
YaYan233·2020-08-03 10:01

pytorch学习笔记（十二）：详解 Module 类

Module是pytorch提供的一个基类，每次我们要搭建自己的神经网络的时候都要继承这个类，继承这个类会使得我们搭建网络的过程变得异常简单。本文主要关注Module类的内部是怎么样的。初始化方法中做了什么def__init__(self):self._backend=thnn_backendself._parameters=OrderedDict()self._buffers=OrderedDi
ke1th·2020-08-03 10:45

Pytorch学习笔记【19】：利用dropout解决过拟合问题

如果对于什么叫过拟合不是很清楚，可以参考我的另一篇博客：https://blog.csdn.net/qq_36499794/article/details/103178812注意看代码注释以及运行结果，最好自己去运行一遍本篇代码对比了用dropout和不用dropout情况下的拟合情况。1.代码importtorchimportmatplotlib.pyplotasplt#torch.manual
strong tyj·2020-08-03 10:05

PyTorch学习笔记（三）卷积池化线性激活和Dropout层

EnvironmentOS:macOSMojavePythonversion:3.7PyTorchversion:1.4.0IDE:PyCharm文章目录0.写在前面1.卷积与转置卷积1.1卷积层1.2转置卷积层2.池化与去池化1.2池化层2.2去池化层3.全连接层4.激活函数4.1Sigmoid4.2Tanh4.3ReLU4.4ReLU的修改版们5.Dropout层0.写在前面PyTorch主要
longrootchen·2020-08-03 10:26

（深度学习）Pytorch之dropout训练

（深度学习）Pytorch学习笔记之dropout训练Dropout训练实现快速通道：点我直接看代码实现Dropout训练简介在深度学习中，dropout训练时我们常常会用到的一个方法——通过使用它，我们可以可以避免过拟合
真是令人窒息·2020-08-03 10:52

PyTorch学习笔记(14) ——PyTorch 1.0 的C++ FrontEnd初体验

在去年12月份,我尝试了一下PyTorch1.0的C++前端,当时官方负责PyTorch的C++前端的老哥是:PeterGoldsborough,当时的C++前端还不够稳定,官方文档提供的demo无法跑通.所以为了避免后面的同学再次入坑.本部分将会手把手教你如何用PyTorch1.0跑通C++Mnist模型的训练~0.PyTorchC++接口哲学PyTorch’sC++frontendwasdes
sooner高·2020-08-03 10:51

【PyTorch学习笔记】20：使用nn.Module类及其周边

关于nn.Module在PyTorch中nn.Module类是用于定义网络中前向结构的父类，当要定义自己的网络结构时就要继承这个类。现有的那些类式接口（如nn.Linear、nn.BatchNorm2d、nn.Conv2d等）也是继承这个类的，nn.Module类可以嵌套若干nn.Module的对象，来形成网络结构的嵌套组合。以下说明使用这个类的一些好处和基本方式。1嵌套现有的类在torch.nn
LauZyHou·2020-08-03 10:12

pytorch学习笔记（十三）：Dropout

文章目录1.方法2.从零开始实现2.1定义模型参数2.2定义模型2.3训练和测试模型3.简洁实现小结除了前一节介绍的权重衰减以外，深度学习模型常常使用丢弃法（dropout）来应对过拟合问题。1.方法这里有一个单隐藏层的多层感知机。其中输入个数为4，隐藏单元个数为5，且隐藏单元hih_ihi（i=1,…,5i=1,\ldots,5i=1,…,5）的计算表达式为hi=ϕ(x1w1i+x2w2i+x3
逐梦er·2020-08-03 10:30

Pytorch学习笔记（I）——预训练模型（五）：VGG16网络结构

VGGVGG11VGG13VGG16VGG19ResNetResNet18ResNet34ResNet50ResNet101ResNet152VGG((features):Sequential((0):Conv2d(3,64,kernel_size=(3,3),stride=(1,1),padding=(1,1))(1):ReLU(inplace)(2):Conv2d(64,64,kernel_s
lockonlxf·2020-08-03 03:10

（一）pytorch学习笔记

作者：chen_h微信号&QQ：862251340微信公众号：coderpai用Numpy还是Torch?torch自称为神经网络界的Numpy,因为他能将torch产生的tensor放在GPU中加速运算(前提是你有合适的GPU),就像Numpy会把array放在CPU中加速运算.所以神经网络的话,当然是用Torch的tensor形式数据最好咯.就像Tensorflow当中的tensor一样。当然
coderpai·2020-08-02 15:53

最全莫烦pytorch学习笔记基础部分

一、作者简介作者：周沫凡MofanZhou,所以“莫烦”这个名字也是取了个谐音而已.他就用名字鼓励大家.即使遇到再多再大的困难,我们还是要抱着一种莫烦的态度,努力到底.原本,他只是一名普普通通的PhD学生,因为专业不对口,之前学的东西在PhD的时候统统用不上,然后我就开始了我漫长的自学道路.你在这个网页看到的所有内容,都是我在网上探索,自学而来的.所以说,真正的大学,其实就是锻炼你自学能力的地方.
wotaifuzao·2020-08-02 14:38
上一页 16 17 18 19 20 21 22 23 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他