pytorch学习

Pytorch学习整理笔记（一）

文章目录数据处理DatasetTensorboard使用Transformstorchvision数据集使用DataLoader使用nn.Module的使用神经网络数据处理Dataset主要是对Dataset的使用：继承Dataset实现init方法，主要是进行一些全局变量的定义，在对其初始化时需要赋值。实现getitem方法，获取每个数据实现len方法，获取数据sizefromtorch.uti
高 朗·2023-09-15 03:24

Pytorch学习：卷积神经网络—nn.Conv2d、nn.MaxPool2d、nn.ReLU、nn.Linear和nn.Dropout

文章目录1.torch.nn.Conv2d2.torch.nn.MaxPool2d3.torch.nn.ReLU4.torch.nn.Linear5.torch.nn.Dropout卷积神经网络详解：csdn链接其中包括对卷积操作中卷积核的计算、填充、步幅以及最大值池化的操作。1.torch.nn.Conv2d对由多个输入平面组成的输入信号应用2D卷积。官方文档：torch.nn.Conv2dCL
緈福的街口·2023-09-14 05:35

Pytorch学习：torch.max()

文章目录torch.max()dimkeepdimdim=0dim=1out：返回命名元组(values,indices)torch.max()torch.max(input)→Tensor：返回input张量中所有元素的最大值。注意输入的必须是张量形式，输出的也为张量形式当输入为tuple类型时，会报错，需要将输入改为tensor类型，输出也为tensor类型torch.max()：官方文档to
緈福的街口·2023-09-14 05:32

PyTorch学习笔记：nn.SmoothL1Loss——平滑L1损失

PyTorch学习笔记：nn.SmoothL1Loss——平滑L1损失torch.nn.SmoothL1Loss(size_average=None,reduce=None,reduction='mean
视觉萌新、·2023-09-13 09:09

pytorch学习——LSTM和GRU

参考书籍：https://zh-v2.d2l.ai/chapter_recurrent-modern/lstm.html参考论文：https://colah.github.io/posts/2015-08-Understanding-LSTMs/简介：LSTM（长短期记忆网络）和GRU（门控循环单元）是两种常用的改进型循环神经网络（RNN），用于解决传统RNN中的长期依赖性和梯度消失/梯度爆炸等问
一只小百里·2023-09-12 12:03

PyTorch学习之 自动微分

PyTorch学习之自动微分autograd包autograd包是PyTorch中所有神经网络的核心。该autograd软件包为Tensors上的所有操作提供自动微分。
坐在墙上的猫·2023-09-12 09:30

PyTorch学习之 图像分类器

PyTorch学习之图像分类器学习网站http://pytorch123.com/SecondSection/neural_networks/训练一个图像分类器通过前面的章节，我们已经知道怎样定义一个神经网络
坐在墙上的猫·2023-09-12 09:30

图像的读取与加载-PyTorch

图像的读取与加载-PyTorch学习网站https://www.jianshu.com/p/cfca9c4338e71.从文件中读取图像数据importmatplotlib.pyplotaspltimportskimage.ioasioimportcv2fromPILimportImageimportnumpyasnpimporttorch
坐在墙上的猫·2023-09-12 09:30

pytorch中的常用损失函数整理

参考博文：1、Pytorch学习之十九种损失函数2、PyTorch基础（五）--损失函数有示例代码3、PyTorch中的损失函数有示例代码1基本用法criterion=LossCriterion()#构造函数有自己的参数
wuling129·2023-09-09 19:29

李沐pytorch学习-DropOut

DropOut即丢弃法，一般用于全连接层的隐含层，卷积层一般不用。在训练时随机把一些神经元丢弃，不参与运算，防止过度依赖某个神经元。可用于防止过拟合。DropOut过程如图1所示，隐含层每个神经元丢弃概率为p，丢弃前隐含层的数值为：丢弃后h2和h3被丢弃，丢弃后隐含层的数值为：图1.DropOut示意图因此梯度计算如下：先只看分量因为：因此：可见更新权重时，与被DropOut的神经元相连的梯度为零
三年级王垄翔·2023-09-08 01:27

pytorch学习——循环神经网络RNN讲解及其实现

参考书籍：8.6.循环神经网络的简洁实现—动手学深度学习2.0.0documentation参考视频：54循环神经网络RNN【动手学深度学习v2】_哔哩哔哩_bilibili一.介绍循环神经网络RNN（RecurrentNeuralNetwork）是一类广泛应用于序列数据建模和处理的神经网络模型。相比于传统的前馈神经网络，RNN在处理序列数据时引入了时间维度的循环连接，使得网络能够保持对先前信息的
一只小百里·2023-09-08 00:56

pytorch学习过程中一些基础语法

1、tensor.view()函数，通俗理解就是reshape，#参数这里的-1需要注意，可以根据原张量size自行计算data1=torch.randn((4,2))data2=data1.view(2,4)data3=data2.view(-1,8)2、tensor.max()函数，在分类问题中，通常需要使用max()函数对softmax函数的输出值进行操作，求出预测值索引，然后与标签进行比对
mm_exploration·2023-09-05 23:56

pytorch学习：Focal loss

1.总述Focalloss主要是为了解决one-stage目标检测中正负样本比例严重失衡的问题。该损失函数降低了大量简单负样本在训练中所占的权重，也可理解为一种困难样本挖掘。2.损失函数形式Focalloss是在交叉熵损失函数基础上进行的修改，首先回顾二分类交叉熵损失：是经过激活函数的输出，所以在0-1之间。可见普通的交叉熵对于正样本而言，输出概率越大损失越小。对于负样本而言，输出概率越小则损失越
BBB7788·2023-09-05 10:46

Pytorch自定义自己的dataset和dataloader

Pytorch自定义自己的dataset和dataloaderPytorch学习（三）定义自己的数据集及加载训练pytorch的自定义数据集/DataLoader和Dataset重写Dataset和DataLoader
^_^linger^_^·2023-09-05 07:09

pytorch学习 nn.Conv2d(nc, ndf, 4, 2, 1, bias=False)

nn.Conv2d(nc,ndf,4,2,1,bias=False)如何理解这里的nc和ndf呢？首先，nc这里是输入的通道数，比如说图片的RGB三通道，当然这里的通道数是不限的。ndf是filter的数量，因为算的时候，就是先对每一个滤波器去计算每一个通道的，然后把每个通道的结果加和，这个和就是这个滤波器的结果，输出的就是由ndf个滤波器算出的结果的向量。后面三个4，2，1分别是kernel_s
朝不闻道，夕不可死·2023-09-03 11:08

李沐pytorch学习-BatchNormalization

一、意义在使用较深的网络时，BatchNormalization（批量归一化）几乎是必需的，可以加速收敛。对于图1所示的全连接层神经网络，输出节点的GroundTruth为，损失函数为，则损失对权重的梯度为：更新权重的梯度为：图1.网络结构如果该网络有5个隐含层，那么更新底层权重的梯度为：从上面的推导可知，如果网络非常深，那么更新底层权重的梯度后面会乘很多偏导数，而偏导数一般比较小，小于1，所以网
三年级王垄翔·2023-09-03 07:38

Pytorch学习系列-04-构建卷积神经网络实现CIFAR-10图片分类

对CIFAR-10数据集进行图像分类。数据集中的图像大小为32x32x3。定义卷积神经网络的结构这里，将定义一个CNN的结构。将包括以下内容：(1)卷积层：可以认为是利用图像的多个滤波器（经常被称为卷积操作）进行滤波，得到图像的特征。(2)通常，我们在PyTorch中使用nn.Conv2d定义卷积层，并指定以下参数：nn.Conv2d(in_channels,out_channels,kernel
骚火棍·2023-09-02 11:37

Pytorch学习：神经网络模块torch.nn.Module和torch.nn.Sequential

文章目录1.torch.nn.Module1.1add_module（name，module）1.2apply(fn)1.3cpu()1.4cuda(device=None)1.5train()1.6eval()1.7state_dict()2.torch.nn.Sequential2.1append3.torch.nn.functional.conv2d1.torch.nn.Module官方文档
緈福的街口·2023-08-31 09:43

PyTorch学习笔记（一）：基本操作

PyTorch学习笔记（一）：基本操作简介环境搭建数据操作Tensor创建Tensor获取Tensor形状加法操作索引改变形状线性代数广播机制内存开销Tensor与Numpy相互转换Tensor在GPU
FriendshipT·2023-08-30 23:43

Pytorch学习(3) transforms使用

Transforms的使用介绍:transforms是一个用于转化图片格式/大小的模块,用起来比较方便,工具也比较全面导入模块fromtorchvisionimporttransforms1.ToTensorToTensor是transforms中的一个类,用于将PIL或ndarray类型转化为tensor类型#获取PIL图片img=Image.open('xx.jpg')#实例化对象trans_
alBeLine·2023-08-26 10:04

PyTorch学习之Transforms模块

以下内容全部来自TransformsⅠ.Transforms简而言之，就是训练的数据有时候并不是机器学习训练的数据格式，这个时候就需要Transforms对数据进行一些操作（转换），使其适合做神经网络的输入。比如对于图像数据，通常是一个三维度Tensor（长、宽、channels），但是神经网络通常需要一个拉直成一维的Tensor，这个时候就需要用到Transforms对三维Tensor进行拉直。
aW5jaXBl·2023-08-26 10:02

PyTorch学习笔记

PyTorch学习笔记1PyTorch简介与安装2PyTorch的基本操作2.1张量的创建2.2张量的属性2.3张量的运算2.4获取张量元素2.5类型转换3Pytorch中的autograd3.1torch.Tensor
夏木夕·2023-08-26 08:58

Pytorch学习：torchvison.transforms常用包（ToTensor、Resize、Compose和RandomCrop）

torchvision.transforms常用包1.torchvision.transforms.ToTensor2.torchvision.transforms.Resize3.torchvision.transforms.Compose4.torchvision.transforms.Normalize5.torchvision.transforms.RandomCrop1.torchvis
緈福的街口·2023-08-25 02:39

Pytorch学习：常见数据集torchvision.datasets及数据集的使用DataLoader

文章目录1.Datasets常见数据集1.1CIFAR101.2Fashion-MNIST1.3ImageNet2.DataLoader2.1shuffle2.2drop_last1.Datasets常见数据集Torchvision在torchvision.datasets模块中提供了许多内置的数据集，以及用于构建自己的数据集的实用程序类。官方文档：Datasets所有数据集都是torch.uti
緈福的街口·2023-08-25 02:36

李沐pytorch学习-经典CNN的原理及代码实现

一、LeNet1.1模型结构LeNet结构如图1所示，汇聚层即池化层，这里池化Stride（步幅）与池化层长宽一致，因此使得池化后大小减半。图1.LeNet结构1.2代码实现代码实现如下：importtorchfromtorchimportnnfromd2limporttorchasd2lnet=nn.Sequential(nn.Conv2d(1,6,kernel_size=5,padding=2
三年级王垄翔·2023-08-21 21:31

PyTorch学习笔记（十七）——完整的模型验证（测试，demo）套路

完整代码：importtorchimporttorchvisionfromPILimportImagefromtorchimportnnimage_path="../imgs/dog.png"image=Image.open(image_path)print(image)#因为png格式是四个通道，除了RGB三通道外，还有一个透明度通道image=image.convert("RGB")trans
小乖路路通·2023-08-21 02:03

PyTorch学习笔记（十五）——完整的模型训练套路

以CIFAR10数据集为例，分类问题（10分类）model.pyimporttorchfromtorchimportnn#搭建神经网络classMyNN(nn.Module):def__init__(self):super(MyNN,self).__init__()self.model=nn.Sequential(nn.Conv2d(3,32,5,1,2),nn.MaxPool2d(2),nn.C
小乖路路通·2023-08-21 02:02

PyTorch学习笔记（十六）——利用GPU训练

一、方式一网络模型、损失函数、数据（包括输入、标注）找到以上三种变量，调用它们的.cuda()，再返回即可iftorch.cuda.is_available():mynn=mynn.cuda()iftorch.cuda.is_available():loss_function=loss_function.cuda()fordataintrain_dataloader:imgs,targets=da
小乖路路通·2023-08-21 02:02

Pytorch学习笔记1——Pytorch基础

Pytorch学习笔记1——Pytorch基础1.张量(Tensor)张量的英文是Tensor，它是PyTorch里面基础的运算单位，与Numpy中的ndarray相同都表示的是一个多维的矩阵。
Kadima°·2023-08-21 02:02

PyTorch学习笔记1——PyTorch介绍

PyTorch是Torch在Python上的衍生，与TensorFlow不同的是，它在搭建神经网络时不是先建立好一个静态图，然后再把数据放到图计算，而是一个动态的过程，边搭图边计算。PyTorch与Numpy对比：Torch自称为神经网络界的Numpy，因为他能将torch产生的tensor放在GPU中加速运算，就像Numpy会把array放在CPU中加速运算。不过，torch和Numpy能够很好
pissjello·2023-08-21 02:02

李沐pytorch学习-卷积网络及其实现

一、卷积定义卷积计算过程如图1所示，即输入矩阵和核函数对应的位置相乘，然后相加得到输出对应位置的数。图1.卷积计算过程该过程可以形象地从图2中展现。图2.二维卷积示意图二、代码实现2.1实现互相关运算importtorchfromtorchimportnnfromd2limporttorchasd2ldefcorr2d(X,K):#@save"""计算二维互相关运算"""h,w=K.shapeY=
三年级王垄翔·2023-08-20 06:48

pytorch优化器——add_param_group()介绍及示例、Yolov7 优化器代码示例

系列文章目录pytorch优化器——add_param_group()介绍及示例、Yolov7优化器代码示例pytorch学习率设置——optimizer.param_groups、对不同层设置学习率、
Chaoy6565·2023-08-20 02:01

PyTorch学习笔记（十三）——现有网络模型的使用及修改

以分类模型的VGG为例vgg16_false=torchvision.models.vgg16(weights=False)vgg16_true=torchvision.models.vgg16(weights=True)设置为False的情况，相当于网络模型中的参数都是初始化的、默认的设置为True时，网络模型中的参数在数据集上是训练好的，能达到比较好的效果print(vgg16_true)VG
小乖路路通·2023-08-19 08:12

PyTorch学习笔记（十四）——网络模型的保存与读取

两种方式保存和加载模型方式一保存模型不仅保存了网络模型的结构，也保存了网络模型的参数importtorchimporttorchvisionvgg16=torchvision.models.vgg16(weights=False)torch.save(vgg16,"vgg16_method1.pth")加载模型打印出的是网络模型的结构importtorchmodel=torch.load("vgg
小乖路路通·2023-08-19 08:40

学习pytorch----torch、torchvision库的安装

pytorch学习第一课：装torch、torchvision库常规操作：pipinstalltorch、pipinstalltorchvisiontorchvision必须在torch后安装，否则会报错但是
lmylmylmy2·2023-08-19 08:57

李沐pytorch学习-卷积神经网络及其实现

基于nn.Module自定义网络结构通过继承nn.module，仅需实现初始化函数和前向传播函数即可完成网络构建。importtorchfromtorchimportnnfromtorch.nnimportfunctionalasFclassMLP(nn.Module):#用模型参数声明层。这里，我们声明两个全连接的层def__init__(self):#调用MLP的父类Module的构造函数来执
三年级王垄翔·2023-08-17 18:03

李沐pytorch学习-矩阵求导

一、基础定义对于的计算结果，根据y和x的维度，可根据下图得到导数的维度图1.矩阵求导结果维度图例子：对于函数：此时y是标量，自变量为矩阵对自变量求导数注意到y为标量，x为向量时，求得导数需要进行转置，反之则不用。求导样例如下：图2.求导样例二、结论推导以下是根据个人理解对图2中一些样例的推导：2.1第一排第三个结论证明2.2第一排第四个结论证明2.3第二排第三个结论证明这里用黑体严格区分张量与标量
三年级王垄翔·2023-08-16 20:18

李沐pytorch学习-多层感知机及其实现

一、多层感知机的定义多层感知机就是全连接层神经网络，如图1所示，其中隐含层可以有多层图1.多层感知机结构（隐含层与输出层之间为全连接，图中少了几根连接线）二、运行原理2.1数据输入Input层输入向量，为每个输入层节点的数值，即，如图2所示。图2.多层感知机数据的输入（图中以输入层3个神经元，一个4神经元的隐含层，两个输出神经元为例，可包含多个隐含层，每层神经元个数不固定）2.2从输入层前向传播到
三年级王垄翔·2023-08-16 20:15

PyTorch学习—5.torch实现逻辑回归

文章目录  逻辑回归是线性的二分类模型。逻辑回归是分析自变量x与因变量v(概率)之间关系的方法。模型表达式为：y=f(WX+b)f(x)=1e−x+1y=f(WX+b)\\f(x)=\frac{1}{e^{-x}+1}y=f(WX+b)f(x)=e−x+11f(x)为Sigmoid函数f(x)为Sigmoid函数f(x)为Sigmoid函数下面展示torch实现逻辑回归的过程。#-*-coding
哎呦-_-不错·2023-08-15 07:25

pytorch学习之---squeeze()和unsqueeze()函数功能及使用

首先这个squeeze单词啥意思：1.squeeze(1)和squeeze(-1)作用：两者的效果一样，都是给张量tensor降维，但不是啥张量都可以用这两个函数来降维，它只能降维一种情况下张量的维度。就是我的张量tensor是一个n*1维度的张量，例如：张量[[1],[2],[3]]是一个3*1维的，调用这两个函数后效果如图：但是如果不是n*1的这种2维张量的话，如本就是1维的，或者m*n（其中
海木石·2023-08-14 21:15

pytorch学习笔记-----Resnet 残差网络论文学习

发现问题：深层网络训练的效果反而不如浅层网络效果解决办法：一方面更深卷积，另一方面要对未卷积之前的进行映射（个人理解即相当于未进网络的图片分成两条路一条走网络，一条直接拿过来，可以通过训练对两条路的训练效果进行比较调整比重，保证训练的结果至少不比未经网络之前的差）Resnet网络中体现：每个模块都要相上述方法两条路进网络，对于特征图数不同的，我们可以进行卷积操作来增加特征图数量（要求：两条路最终输
cvks·2023-08-13 06:55

Pytorch学习笔记:ResNet

Pytorch学习笔记:ResNet1.残差块2.残差网络结构2.1虚线与实线连接2.2BatchNormalization3.网络搭建3.118,34层网络的残差块3.250,101,152层网络的残差块
爱喝汽水的喵·2023-08-13 06:25

pytorch学习笔记 torchnn.ModuleList

1nn.ModuleList原理nn.ModuleList，它是一个储存不同module，并自动将每个module的parameters添加到网络之中的容器。你可以把任意nn.Module的子类(比如nn.Conv2d,nn.Linear之类的)加到这个list里面，方法和Python自带的list一样，无非是extend，append等操作。但不同于一般的list，加入到nn.ModuleLis
UQI-LIUWJ·2023-08-11 20:30

pytorch学习——卷积神经网络——以LeNet为例

目录一.什么是卷积？二.卷积神经网络的组成三.卷积网络基本元素介绍3.1卷积3.2填充和步幅3.2.1填充（Padding）填充是指在输入数据周围添加额外的边界值（通常是零），以扩展输入的尺寸。填充可以在卷积操作中起到两个主要的作用：3.2.2步幅（Stride）3.3多输入通道3.4池化层四.LeNet一.什么是卷积？当我们谈论"卷积"时，通常指的是数学中的卷积运算。在卷积神经网络中，卷积操作是
一只小百里·2023-08-06 19:35

pytorch学习——如何构建一个神经网络——以手写数字识别为例

目录一.概念介绍1.1神经网络核心组件1.2神经网络结构示意图1.3使用pytorch构建神经网络的主要工具二、实现手写数字识别2.1环境2.2主要步骤2.3神经网络结构2.4准备数据2.4.1导入模块2.4.2定义一些超参数2.4.3下载数据并对数据进行预处理2.4.4可视化数据集中部分元素2.4.5构建模型和实例化神经网络2.4.6训练模型2.4.7可视化损失函数2.4.7.1trainlos
一只小百里·2023-08-06 19:35

Pytorch学习——数据读取、数据预处理

一、DataLoader和DataSet1.1DataLoadertorch.utils.data.DataLoader#构建可迭代的数据装载器DataLoader（）参数：dataset:Dataset类，决定数据从哪读取及如何读取batchsize:批大小num_works:是否多进程读取数据shuffle:每个epoch是否乱序drop_last：当样本数不能被batchsize整除时，是否
东汄·2023-08-05 17:47

Pytorch学习笔记 | 构建神经网络模型 | 提升效果的优化方法

数据集下载Python深度学习018：MNIST数据集下载|将数值型数据转化成图片代码importpandasaspdimportmatplotlib.pyplotaspltimporttorchimporttorch.nnasnnfromtorch.utils.dataimportDataset#构建一个神经网络分类器classClassifier(nn
惊鸿若梦一书生·2023-08-04 02:41

pytorch学习——正则化技术——权重衰减

一、概念介绍权重衰减（WeightDecay）是一种常用的正则化技术，它通过在损失函数中添加一个惩罚项来限制模型的复杂度，从而防止过拟合。在训练参数化机器学习模型时，权重衰减（weightdecay）是最广泛使用的正则化的技术之一，它通常也被称为L2正则化。1.1理解：权重衰减（weight_decay）本质上是一个L2正则化系数那什么是参数的正则化？从我的理解上，就是让参数限定在一定范围，目的是
一只小百里·2023-08-02 08:11

pytorch学习——正则化技术——丢弃法（dropout）

一、概念介绍在多层感知机（MLP）中，丢弃法（Dropout）是一种常用的正则化技术，旨在防止过拟合。（效果一般比前面的权重衰退好）在丢弃法中，随机选择一部分神经元并将其输出清零，被清零的神经元在该轮训练中不会被激活。这样，其他神经元就需要学习代替这些神经元的功能，从而促进了神经元之间的独立性和鲁棒性。1.1思想原理丢弃法的基本思想是，在每一次训练中，随机选择一些神经元不参与训练，从而减少神经元之
一只小百里·2023-08-02 08:06

pytorch学习（5）——torchvision中的数据集使用

1数据集Dataset下载与使用进入pytorch官网（需要梯子）：https://pytorch.orgDocs->Torchvision（1）点击Modelsandpre-trainedweights可以下载已经训练好的神经网络。（2）点击Datasets可以下载数据集。包括Imageclassification（图像分类）、Imagedetectionorsegmentation（图像检测和
阳排·2023-07-30 06:26
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他