PyTorch学习笔记

pytorch学习笔记-学习率调整策略

class_LRScheduler主要属性：•optimizer：关联的优化器•last_epoch：记录epoch数•base_lrs：记录初始学习率class_LRScheduler(object):def__init__(self,optimizer,last_epoch=-1):主要方法：•step()：更新下一个epoch的学习率•get_lr()：虚函数，计算下一个epoch的学习率c
化茧成蝶梦成真·2020-08-19 00:58

Pytorch学习笔记之调整学习率

当网络的学习指标不再提升时，可以torch.optim.lr_scheduler.ReduceLROnPlateau类降低学习率。classtorch.optim.lr_scheduler.ReduceLROnPlateau(optimizer,mode='min',factor=0.1,patience=10,verbose=False,threshold=0.0001,threshold_mo
道墟散人·2020-08-19 00:28

Pytorch学习笔记-RNN

文章目录1.时间序列表示方法1.1Sequencerepresentation1.2Batch1.3word2vecvsGloVe2.RNN原理2.1SentimentAnalysis2.2WeightSharingandConsistentMemory2.3Howtotrain？3.RNNLayer使用3.1SignalLayer3.2nn.RNN()3.3MultiLayers3.4nn.RN
燥栋·2020-08-17 17:32

pytorch学习笔记（一）cifar10分类

"""preparethedata"""importtorchimporttorch.nnasnnimporttorchvisionimporttorchvision.transformsastransformstransform=transforms.Compose([transforms.ToTensor(),transforms.Normalize((0.5,0.5,0.5),(0.5,0.
hellosonny·2020-08-17 12:47

pytorch学习笔记——mini SqueezeNet（15）

之前的紧凑型网络存在着明显的欠拟合问题。为了进一步在参数容量不变的情况下增大网络的容量，我们参考SqeezeNet的设计理念：主干网络之前使用卷积进行升通道，连续采用Fire模块来进行挤压与扩张，以减小参数数量。基于此，我们构建了我们的miniSqueezeNet，用于该数据集上的分类任务。我们的网络架构如下：CompactNet((conv1):Sequential((0):Conv2d(1,1
wuzhiyuan2000·2020-08-17 03:22

pytorch学习笔记——数据归一化（8）

卧槽！我们之前光顾着调架构，一直都忘了数据归一化了！！！虽然归一化以后之前调整得到的部分超参数得进一步调整，但是没关系，相信结果不会太差。训练出来的结果如图所示：还不错，20epoch以后几乎所有的测试集精度都达到了99%以上。下一次我们将尝试在这一个微型数据集上使用数据增强，看看准确率还能不能进一步提高~~附相关代码：importtorchimporttorch.nnasnnimporttorc
wuzhiyuan2000·2020-08-17 03:22

pytorch学习笔记——紧凑型神经网络设计（13）

光有精确度是不够的，部分神经网络有部署到嵌入式和移动设备上的需求，因而具有设计紧凑型神经网络的现实需要。我们在原先网络的基础上采用卷积核拆分、多通道融合等策略减小参数数量，同时增加网络的深度，使得新的网络架构在与原先网络容量相当的前提下参数数量减小到原先的不到1/3。我们的新架构如下：SimpleNet((conv1):Sequential((0):Conv2d(1,4,kernel_size=(
wuzhiyuan2000·2020-08-17 03:22

pytorch学习笔记——网络架构四调整与数据再增强（10）

训练集和测试集准确率纠缠不清，准确有没有再提升的可能？一种可能的情况就是过拟合了。基于之前训练准确率与测试集准确率十分接近的情况，我们再次增加网络的规模，同时使用对比度变换的数据增强方案，看看是不是有可能使准确率进一步提升。改变后的网络架构如下：SimpleNet((conv1):Sequential((0):Conv2d(1,8,kernel_size=(3,3),stride=(1,1),pa
wuzhiyuan2000·2020-08-17 03:22

pytorch学习笔记——知识蒸馏（14）

利用大型教师网络辅助小型学生网络进行训练的知识蒸馏方法如今已经被开始用于模型的压缩。鉴于之前的紧凑型神经网络容量的限制，捕获数据集中特征的能力有限；大型教师网络输出的标签富含更多的语义信息，因而我们使用之前的较为复杂的网络作为教师网络，利用之前设计的紧凑型神经网络作为学生网络进行知识蒸馏。我们冻结教师网络的权重，对学生网络和教师网络的输出进行min_max_scale，再进行均方误差的计算，以此作
wuzhiyuan2000·2020-08-17 03:51

pytorch学习笔记——模型的保存与载入（12）

训练模型的结果得保存起来才能得到迭代的改进吖！我们使用了torch.save和torch.load方法对原先的模型进行保存与载入。代码如下：importtorchimporttorch.nnasnnimporttorch.utils.dataasDataimporttorchvisionfromsklearn.datasetsimportload_digitsimportnumpyasnpfrom
wuzhiyuan2000·2020-08-17 03:51

PyTorch学习笔记（1）-finetune网络的一些注意事项

1.TransferLearningtransferlearning是十分重要的技术，尤其是在实际应用中，往往数据很大但是有标签的（即训练样本）样本是十分稀少的，我们对数据进行标注十分耗时耗力的事情。这个时候就需要使用迁移学习，通过不同的任务对网络进行finetune。transferlearning有以下几种场景：1.将ConvNet作为特征提取器：将预训练好的网络去掉最后一层，前面的层作为特征
二楼后座Scarlett·2020-08-17 03:19

Pytorch学习笔记（I）——预训练模型（七）：ResNet18网络结构

VGGVGG11VGG13VGG16VGG19ResNetResNet18ResNet34ResNet50ResNet101ResNet152ResNet((conv1):Conv2d(3,64,kernel_size=(7,7),stride=(2,2),padding=(3,3),bias=False)(bn1):BatchNorm2d(64,eps=1e-05,momentum=0.1,af
lockonlxf·2020-08-17 01:55

pytorch学习笔记——VGG迁移学习（11）

把一个88的图片用VGG来做迁移学习确实有一点点夸张，但是我还是确实这么做了。修改vgg的首个卷积层和最后的全连接层的尺寸，将88的图像利用双线性插值进行放大，标签不变。将预训练的vgg模型的权重进行冻结，训练少量的头部卷积层和尾部全连接层，有利于保证模型强大的泛化能力。修改后模型的架构如下：-----------------------------------------------------
wuzhiyuan2000·2020-08-16 23:17

PyTorch学习笔记（九）—— 不同的优化器

直接上代码，注释已经很清楚了。#coding=gbkimporttorchimporttorch.utils.dataasDataimporttorch.nn.functionalasFimportmatplotlib.pyplotaspltLR=0.01BATCH_SIZE=32EPOCH=12#伪数据x=torch.unsqueeze(torch.linspace(-1,1,1000),dim
Le_ander·2020-08-16 14:21

PyTorch学习笔记（七）——两种方法保存训练好的神经网络

将代码和解释放在了一起：#coding=gbkimporttorchimportmatplotlib.pyplotasplt#训练好了一个模型,保存它,留到下次要用的时候直接提取直接用#数据，以回归的模型作为例子x=torch.unsqueeze(torch.linspace(-1,1,100),dim=1)#xdata(tensor),shape=(100,1)y=x.pow(2)+0.2*to
Le_ander·2020-08-16 14:20

PyTorch学习笔记（八）——将数据分批训练

代码和解释如下，最后附上了输出结果：#coding=gbkimporttorchimporttorch.utils.dataasData#将数据分批次需要用到它torch.manual_seed(1)#种子，可复用BATCH_SIZE=8#设置批次大小x=torch.linspace(1,15,15)#1到15共15个点y=torch.linspace(15,1,15)#15到1共15个点torc
Le_ander·2020-08-16 11:07

Pytorch学习笔记【8】：批量训练数据（自定义每次训练数据量）

注意看代码注释，解析全在注释里1.代码：importtorchimporttorch.utils.dataasDatatorch.manual_seed(1)#reproducibleBATCH_SIZE=5#每次训练5个数据#BATCH_SIZE=8x=torch.linspace(1,10,10)#thisisxdata(torchtensor)y=torch.linspace(10,1,10
strong tyj·2020-08-16 11:01

pytorch学习笔记2：比较操作

目录torch.eqtorch.equaltorch.getorch.gttorch.eqtorch.eq(input,other,out=None)→Tensor比较元素相等性。第二个参数可为一个数或与第一个参数同类型形状的张量。参数：input(Tensor)–待比较张量other(Tensororfloat)–比较张量或数out(Tensor,optional)–输出张量，须为ByteTen
洛洛洛洛洛洛洛·2020-08-16 09:21

pytorch学习笔记（七）：pytorch hook 和 关于pytorch backward过程的理解

水平有限，如有错误，请不吝指正，谢谢！pytorch的hook机制在看pytorch官方文档的时候，发现在nn.Module部分和Variable部分均有hook的身影。感到很神奇，因为在使用tensorflow的时候没有碰到过这个词。所以打算一探究竟。Variable的hookregister_hook(hook)注册一个backward钩子。每次gradients被计算的时候，这个hook都被
ke1th·2020-08-16 02:53

PyTorch学习笔记——softmax和log_softmax的区别、CrossEntropyLoss() 与 NLLLoss() 的区别、log似然代价函数

版权声明：本文为博主原创文章，未经博主允许不得转载。https://blog.csdn.net/hao5335156/article/details/806077321、softmax函数Softmax(x)也是一个non-linearity,但它的特殊之处在于它通常是网络中一次操作.这是因为它接受了一个实数向量并返回一个概率分布.其定义如下.定义x是一个实数的向量(正数或负数都无所谓,没有限制)
zhuiqiuk·2020-08-14 00:23

pytorch学习笔记：tensorboard使用

0、安装1、使用方法当设置log_dir时，comment参数不起作用；当未设置时，会在当前目录创建一个文件夹runs，里面还有一个文件夹以comment为后缀，再进去就是记录的文件，以filename_suffix设置的为后缀。1.1、记录标量scalarflag=0#flag=1ifflag:max_epoch=100writer=SummaryWriter(comment='test_com
小杰.·2020-08-13 22:05

pytorch学习笔记：损失函数

0.定义损失函数：衡量模型输出与真实标签的差异Cost：希望训练使得预测与标签的差异小一些Regularization：对模型增加一些约束，防止过拟合1.损失函数1.1交叉熵损失函数labels必须是dtype=torch.long关于weight的设置，有多少个类别，就要设置一个多长的向量，分别代表各weight损失的权重。mean计算是加权平均，即1.8210/(1+2+2)=0.3642代码
小杰.·2020-08-13 22:05

pytorch学习笔记（七）——loss及其梯度

pytorch学习笔记（七）——loss及其梯度目录典型lossMSEsoftmax激活函数目录典型loss典型的loss有两种，第一种是均方差简称MSE。
南风渐起·2020-08-13 22:36

pytorch学习笔记（七）——激活函数

pytorch学习笔记（七）——激活函数目录激活函数的由来sigmoid激活函数tanh激活函数ReLU激活函数目录激活函数的由来1959年，生物科学家研究青蛙神经元的时候发现，青蛙的神经元有多个输入，
南风渐起·2020-08-13 22:36

pytorch学习笔记（十五）————Early Stop，Dropout

pytorch学习笔记（十五）————EarlyStop，Dropout，SGD目录EarlyStopDropoutSGD随机梯度下降目录EarlyStop（1）EarlyStop的概念EarlyStop
南风渐起·2020-08-13 22:36

pytorch学习笔记（十二）————全连接层

pytorch学习笔记（十二）————全连接层nn.Linear()classtorch.nn.Linear（in_features，out_features，bias=True）对传入数据应用线性变换
南风渐起·2020-08-13 22:36

pytorch学习笔记（六）——pytorch进阶教程之broadcast自动扩展

pytorch学习笔记（六）——pytorch进阶教程之broadcast自动扩展目录broadcast的两个特点主要思想原理示例存在意义目录broadcast的两个特点broadcast的两个特点：1
南风渐起·2020-08-13 22:36

Pytorch学习笔记——卷积神经网络基础

卷积神经网络基础卷积神经网络包含卷积层、池化层1、卷积层二维互相关运算输入的二维矩阵与一个二维核矩阵的二维互相关计算，通常情况下核矩阵size小于输入矩阵，举例这里实现为0×0+1×1+3×2+4×3=19，然后核矩阵在输入矩阵中向右移动一格，再算1×0+2×1+4×2+5×3=25，以此类推importtorchimporttorch.nnasnn#corr2d函数实现二维互相关运算，输入矩阵X
DanzerWoo·2020-08-13 21:53

PyTorch学习笔记6—PyTorch深度学习入门（四）—入门实例

PyTorch学习笔记6—PyTorch深度学习入门（四）—入门实例4.实例：训练cifar10图像分类器4.1前言：关于数据4.1.1Dataset4.1.2Datalorder4.1.3torchvision
北街末雨Yyg·2020-08-13 21:52

PyTorch学习笔记4—PyTorch深度学习入门（二）—自动求导

PyTorch学习笔记4—PyTorch深度学习入门（二）—自动求导2.Autograd:自动求导机制2.1Tensor类的一些相关属性和方法2.2Function类的一些相关属性和方法2.3一个例子2.3.1
北街末雨Yyg·2020-08-13 21:52

PyTorch学习笔记5—PyTorch深度学习入门（三）—神经网络

PyTorch学习笔记5—PyTorch深度学习入门（三）—神经网络3.神经网络3.1定义神经网络模型3.2损失函数3.3反向传播3.4更新权重本篇是pytorch学习笔记系列第五篇，这一系列博客应该大多会来自于开源教程书
北街末雨Yyg·2020-08-13 21:52

机器学习概论4—神经网络简介

1.3.3tanh函数1.3.4ReLU函数1.3.5LeakyRelu函数1.4正向传播和反向传播1.4.1正向传播1.4.2反向传播机器学习概论系列主要整理机器学习方面的一些理论知识，而具体实现则主要在PyTorch
北街末雨Yyg·2020-08-13 21:52

PyTorch学习笔记1—PyTorch简介

PyTorch学习笔记1—PyTorch简介1.1PyTorch的由来1.2Torch是什么？
北街末雨Yyg·2020-08-13 21:51

pytorch 学习笔记(一)

pytorch学习笔记(一)pytorch是一个动态的建图的工具。不像Tensorflow那样，先建图，然后通过feed和run重复执行建好的图。相对来说，pytorch具有更好的灵活性。
舒琪·2020-08-13 18:26

pytorch学习笔记 1.3 激励函数(Activation Function)

一、什么是激励函数？1.激励函数1、激励函数就是解决现实生活中不能用线性方程所概括的问题。2、对于线性问题，用y=Wx表示；对于非线性问题，用y=AF(Wx)表示3、AF指激励函数，也就是非线性函数，将其嵌套在原有的结果上，强行把原有的线性结果扭曲，使得输出结果y也有了非线性的特征；例如：relu、sigmoid、tanh；4、可以创造自己的激励函数，但是激励函数必须是可微分的，因为在误差反向传递
·Tu me manques·2020-08-13 18:22

深度学习入门之PyTorch学习笔记：卷积神经网络

深度学习入门之PyTorch学习笔记绪论1深度学习介绍2深度学习框架3多层全连接网络4卷积神经网络4.1主要任务及起源4.2卷积神经网络的原理和结构4.2.1卷积层1.概述2.局部连接3.空间排列4.零填充的使用
紫芝·2020-08-13 17:05

pytorch学习笔记三：torch.nn下常见的几个损失函数详解

在盘点常见损失函数之前，有必要先说一下在很多的损失函数中都出现的三个参数，也即size_average,reduce以及reduction，并且它们三个之间还存在一定的关系。size_average：bool类型；默认情况下，如果只有一个batch，每个batch有多个元素，那么误差计算结果是这个batch中多个元素的平均值；如果是有多个batch，然后每个batch有多个元素，那么误差计算的结果
万能的小黑Alex·2020-08-13 17:05

Pytorch学习笔记【4】：激活函数

一.激活函数的作用神经网络之间的传递其实是线性的，但是我们有时候需要模拟的图形或许是非线性的，这种时候怎么办呢？这种时候就需要激活函数站出来了。激活函数就能够实现非线性化。让我们的神经网络能够支持更多的图形模式。二.激活函数的种类常用的激活函数是四类：1.Relu2.Sigmoid3.Tanh4.Softplus我们来看看他们的图形长什么样子：三.我们用具体代码看看，经过激活函数后，数据都变成了什
strong tyj·2020-08-13 17:58

PyTorch学习笔记（13）卷积

卷积卷积运算：卷积核在输入信号(图像)上滑动，相应位置上进行乘加卷积核：又称为滤波器，过滤器，可认为是某种模式，某种特征卷积过程类似于一个模板去图像上寻找与它相似的区域，与卷积核模式越相似，激活值越高，从而实现特征提取AlexNet卷积核可视化，发现卷积核学习到的是边缘，条纹，色彩这些细节模式卷积维度：一般情况下，卷积核在几个维度上滑动，就是几维卷积nn.Conv2d功能：对多个二维信号进行二维卷
TongYixuan_LUT·2020-08-13 17:10

PyTorch学习笔记（10）transforms(4)

自定义transforms自定义transforms要素仅接收一个参数，返回一个参数2.注意上下游的输出与输入通过类实现多参数传入：classYourTransforms(object):def__init__(self,...):...def__call__(self,img):...returnimg椒盐噪声椒盐噪声又称为脉冲噪声，是一种随机出现的白点或黑点，白点成为盐噪声，黑点称为椒噪声信噪
TongYixuan_LUT·2020-08-13 17:39

pytorch学习心得

Pytorch学习笔记（原创）操作系统：ubuntu18.04显卡：GTX1080tipython版本：2.7（3.7）ＱＱ群：加入深度学习交流群获取更多环境配置细节和学习资料(147960154)一、
water&12·2020-08-13 16:30

【PyTorch学习笔记】7：激活函数,损失函数,使用PyTorch求导

激活函数在PyTorch的老版本里这些激活函数在torch.nn.functional下，现在大多已经改到了torch下。有多个输入，通过进行加权求和，然后来判断是否超出一个阈值。Sigmoid数据将被映射到0到1之间。importtorcha=torch.linspace(-100,100,10)print(torch.sigmoid(a))运行结果：tensor([0.0000e+00,1.6
qq_16739693·2020-08-13 16:41

Pytorch学习笔记(2)

1.定义自己的模型（SometimesyouwillwanttospecifymodelsthataremorecomplexthanasequenceofexistingModules;forthesecasesyoucandefineyourownModulesbysubclassingnn.ModuleanddefiningaforwardwhichreceivesinputTensorsa
croleone·2020-08-13 16:43

Pytorch学习笔记-第六章

Pytorch学习笔记-第六章猫狗大战数据处理和加载模型定义训练和测试训练测试过程可视化工程思想记录一下个人学习和使用Pytorch中的一些问题。
Sigyc·2020-08-13 14:37

Pytorch学习笔记--1 AUTOGRAD

Pytorch学习笔记--1AUTOGRADAUTOGRAD：全自动微分Tensor梯度AUTOGRAD：全自动微分Autograd–automaticgradient，顾名思义，是能够帮我们自动求解梯度的包
caiyyyyy·2020-08-13 13:27

pytorch学习笔记（六）--典型函数（普通函数、激活函数、损失函数）梯度

分类主要有导数（标量）、偏微分（特殊的导数，标量）、梯度（由偏微分组成的向量）三类极小值求解影响因素：初始状态学习率，影响收敛速度和精度动量，逃离局部最小值常见函数的梯度若f（x）=g（x）/h(x)则f'(x)=[g'(x)h(x)-h'(x)g(x)]/[h(x)]^2激活函数及其梯度**sigmoid/logistic**Sigmoid函数的梯度求解单层感知器损失函数的梯度对应的梯度求解步骤
ThetaQing·2020-08-13 12:10

PyTorch学习笔记 —— Softmax函数

一、Softmax函数作用Softmax函数是一个非线性转换函数，通常用在网络输出的最后一层，输出的是概率分布（比如在多分类问题中，Softmax输出的是每个类别对应的概率），计算方式如下：得到的是第i个位置对应的概率,每个位置的概率之和为1（可以看出Softmax仅进行计算，没有需要学习的参数）。二、PyTorch计算方式在PyTorch中，包torch.nn.functional中实现了Sof
ProQianXiao·2020-08-13 12:01

pytorch学习笔记——二分类交叉熵损失函数

pytorch学习笔记——二分类交叉熵损失函数二分类交叉熵函数二分类交叉熵函数binary_cross_entropy公式：loss=−y∗log⁡(y^)−(1−y)∗log(1−y^)loss=-y
我要吃泡菜·2020-08-13 11:18

pytorch学习笔记（十六）————卷积神经网络

pytorch学习笔记（十六）————卷积神经网络目录发展背景和基本概念CNN的引入感受野参数共享CNN架构卷积层----CONV什么是卷积？
南风渐起·2020-08-13 11:16

PyTorch学习笔记3—PyTorch深度学习入门（一）—基本方法

PyTorch学习笔记3—PyTorch深度学习入门（一）—基本方法1.基本方法1.1创建未初始化的矩阵1.2创建一个随机初始化的矩阵1.3创建一个0填充的矩阵，数据类型为long1.4创建tensor
北街末雨Yyg·2020-08-13 11:54
上一页 13 14 15 16 17 18 19 20 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他