PyTorch学习笔记

Pytorch学习笔记——kaiming_uniform初始化

文章目录前言kaiming_uniform模型定义参数说明官方文档1.leaky_relu函数图像计算公式LeakyReLU模型定义参数说明Pytorch代码示例2.a参数前言在Pytorch的Linear层实现代码中，使用了kaiming均匀初始化，调用代码如下。init.kaiming_uniform_(self.weight,a=math.sqrt(5))本文是学习这个初始化方法的笔记。ka
coder1479·2022-11-30 22:05

Pytorch学习笔记——Linear模型源码学习

文章目录前言源码解读常量声明和类型提示初始化方法关于Parameter的讨论前言线性模型是最基本的模型，但包含了很多知识点，本文通过阅读pytorch的源码学习Linear层的构造和实现。源码解读常量声明和类型提示classLinear(Module):__constants__=['in_features','out_features']in_features:intout_features:i
coder1479·2022-11-30 22:35

pytorch学习笔记——常用函数

torch.softmax()torch.reduce_max()torch.pow()torch.subtrack()torch.gather()torch.log()
phily123·2022-11-30 22:29

pytorch学习笔记-入门-定义网络

%matplotlibUsingmatplotlibbackend:TkAgg神经网络的典型训练过程如下：1：定义包含一些参数（或者权重）的神经网络模型2：在数据集上迭代，3：通过神经网络处理输入4：计算损失，输出值和正确值的插值大小5：将梯度反向传播会回网络的参数6：更新网络的参数，主要使用如下的更新原则：weight=weight-learning_rate*gradient定义网络impor
wenqiang su·2022-11-30 18:01

Pytorch学习笔记【8】---经典MNIST

Pytorch学习笔记【8】—经典MNISTPytorch笔记目录：点击进入文章目录Pytorch学习笔记【8】---经典MNIST1.网络结构2.代码3.API分析torch.utils.data.DataLoader
AndSonder·2022-11-30 17:55

【Pytorch学习笔记】记录L1Loss实现附源码

文章目录前言一、实现步骤1.引入库2.读生成网络输出以及目标输出3.设置三种不同参数的L1Loss总结前言本章节简单介绍实现L1Loss的方法及源码，仅供学习参考！一、实现步骤1.引入库代码如下（示例）：#coding:utf-8importtorchimporttorch.nnasnn2.读生成网络输出以及目标输出代码如下（示例）：output=torch.ones(2,2,requires_g
秋天的波·2022-11-30 17:54

【Pytorch学习笔记】finetune一个cnn网络实现详细步骤

文章目录前言一、预处理1.引入库2.定义分类类别二、加载数据数据预处理设置构建MyDataset实例构建DataLoder三、定义网络四、定义损失函数和优化器五、训练六、绘制混淆矩阵图七、完整代码如下总结前言finetune一个cnn网络实现详细步骤，分为以下7步。提示：以下是本篇文章正文内容，下面案例可供参考一、预处理1.引入库代码如下（示例）：importtorchfromtorch.util
秋天的波·2022-11-30 17:53

【Pytorch学习笔记】 MSELoss使用案例

文章目录前言案例代码1.引入库2.生成网络输出以及目标输出3.设置三种不同参数的MSELoss4.完整代码总结前言MSELoss损失函数又称为“均方损失函数”，本文将使用该损失函数完成计算。提示：以下是本篇文章正文内容，下面案例可供参考案例代码1.引入库代码如下（示例）：importtorchimporttorch.nnasnn2.生成网络输出以及目标输出代码如下（示例）：output=torch
秋天的波·2022-11-30 17:46

【Pytorch学习笔记】交叉熵损失函数CrossEntropyLoss的案例使用

文章目录前言一、案例代码1.引入库2.生成网络输出以及目标输出3.熟悉计算公式，手动计算第一个样本4.交叉熵损失权重5.CrossEntropyloss:ignore_index二、完整代码总结前言分类问题常用的损失函数为交叉熵（CrossEntropyLoss）。交叉熵描述了两个概率分布之间的距离，交叉熵越小说明两者之间越接近。熵是信息量的期望值，它是一个随机变量的确定性的度量。熵越大，变量的取
秋天的波·2022-11-30 17:46

Pytorch学习笔记（3）线性回归从零开始实现

主要包括以下几个部分：构建数据集，读数据集，初始化参数，定义模型，定义损失函数，定义优化算法，训练模型。1.构建数据集构建一个带有噪声的线性模型的1000个样本的数据集，每个样本从标准正态分布中随机采样2个特征我们使用线性模型参数w=[2,−3.4]⊤、b=4.2和噪声项ϵ生成数据集及其标签：y=X*w+b+ϵ.首先引入库importrandomimporttorchdefcreate_data(
小帅吖·2022-11-30 14:10

pytorch学习笔记（二）——pytorch手写数字识别

手写数字识别原理每张照片用长28宽28个像元的灰度信息表示将28*28[28,28]的矩阵打平(flat)成784个像素[784]，则可以忽略二维位置相关性，再插入一个维度变成[1,784]使用三个线性函数y=wx+b的嵌套来解决手写数字识别问题H1=XW1+b1W1:[d1,dx],b1:[d1]H2=H1W2+b2W2:[d2,d1],b2:[d2]H3=H2W3+b3W3:[d3,d2],b
weixin_46753186·2022-11-30 11:19

Pytorch学习笔记（3）:前馈神经网络

本博客基于github上某位大神的pytorch入门学习代码，在他的基础上加上了更详细的中文注释以及不懂的模块使用方法。github连接：https://github.com/yunjey/pytorch-tutorial前馈神经网络在运行代码之前，请确保当前环境下已安装torch、torchvision。importtorchimporttorch.nnasnnimporttorchvision
马可仕马可仕·2022-11-30 10:53

pytorch学习笔记——requires_grad、detach、torch.no_grad

requires_grad()requires_grad表示这个tensor是否要求计算梯度，自己新建的tensor(即叶子节点）默认为False,不用计算梯度。如果创建一个张量x，并设置其requires_grad参数为True，程序将会追踪所有对于该张量的操作，当完成计算后通过调用.backward()，自动计算所有的梯度，这个张量的所有梯度将会自动积累到.grad属性。(即如果某个输入需要计
phily123·2022-11-30 10:26

PyTorch学习笔记（5）--神经网络基本骨架nn.Module的使用

PyTorch学习笔记（5）–神经网络基本骨架nn.Module的使用    本博文是PyTorch的学习笔记，第5次内容记录，主要介绍神经网络基本骨架nn.Module的基本使用。
我这一次·2022-11-30 01:00

【小土堆】Pytorch学习笔记_P16/17_nn.Module的使用、土堆说卷积

（0）摘要#课程链接PyTorch深度学习快速入门教程（绝对通俗易懂！）【小土堆】_哔哩哔哩_bilibili#笔记内容（1）P16_神经网络的基本骨架-nn.Module的使用（2）P17_土堆说卷积操作（可选看）（1）神经网络的基本骨架-nn.Moudle的使用#（1）torch.nn工具1）文档查阅方法。如下图所示，我们找到pytorch官网的Docs下的pytorch，然后选择左下角的py
惜年_night·2022-11-30 00:54

PyTorch学习笔记-现有网络模型的使用及修改

1.VGG16模型的使用我们以VGG16为例，该网络模型是用于大规模图像识别的超深度卷积神经网络，官方文档：VGG16。该网络模型主要有以下参数：weights：可以设置成torchvision.models.VGG16_Weights.DEFAULT，DEFAULT表示自动使用最新的数据。老版本为pretrained，如果为True，表示使用预先训练好的权重，在官网可以看到这个权重是在Image
柃歌·2022-11-30 00:53

PyTorch学习笔记-完整训练模型的方法

1.训练模型时的注意事项（1）通常我们会将超参数的设置放在一起，使代码更加直观且方便修改：BATCH_SIZE=64LEARNING_RATE=0.01EPOCH=10（2）我们在每一轮epoch中会先对训练集进行训练，然后使用测试集进行正确率的测试，因此一般我们会记录总共训练的次数total_train_step以及总共测试的次数total_test_step，方便后续绘图使用。（3）在开始训练
柃歌·2022-11-30 00:23

Pytorch学习笔记（三）：神经网络基本骨架

一、ContainersModule：给所有神经网络提供基本骨架，输入的参数x会经过一次卷积，一次非线性，再进行一次卷积与非线性才会得到输出。神经网络基本结构的使用：1.卷积层接下来卷积核会在图像上逐渐移动，移动的步长可以通过stride参数进行调整。输入的参数可以是一个数，也可以通过元祖来设置横向和纵向移动的步长。代码实现：##----nn.conv2dimporttorchimporttorc
银河甜弟学DL·2022-11-30 00:18

PyTorch学习笔记-神经网络Torch.NN基本骨架的使用及卷积原理

1.torch.nn.Module介绍torch.nn能够帮助我们更优雅地训练神经网络，使神经网络代码更加简洁和灵活。官方文档：Torch.NN。在文档中可以看到第一块内容叫做Container（容器），这就相当于神经网络的骨架，Container之后的东西就用于往骨架里面填充，如ConvolutionLayers（卷积层）、PoolingLayers（池化层），有卷积神经网络基础的小伙伴对这些词
柃歌·2022-11-30 00:16

Pytorch学习笔记(三) 图像分类器&数据并行处理

一、图像分类器1.加载并处理输入数据通常来说，处理图像、文本、语音或者视频数据时，可以使用标准python包将数据加载成numpy数组格式，然后将这个数组转换成torch.*Tensor。图像:Pillow，OpenCV语音:scipy，librosa文本:可以直接用Python或Cython基础数据加载模块，或者NLTK、SpaCy几种常用数据集：CIFAR-10、ImageNet、MS-COC
Nismilesucc·2022-11-29 17:57

pytorch学习笔记——2.4torch.nn模块简介

前言torch.nn模块包含torch为我们准备好的各种层，方便我们调用以构建网络。我们主要介绍卷积层、池化层、激活函数层、循环层、全连接层等的相关使用方法。一、卷积层卷积可以看作是输入与卷积核之间的内积运算，是两个实值函数之间的一种数学运算。在卷积层中，我们通常使用卷积核将输入数据进行卷积运算从而得到输出作为特征映射，通过每一个卷积核我们可以得到一个特征映射。例如下图中的使用2*2卷积核进行步长
学不来我就死·2022-11-29 17:25

PyTorch学习笔记——PyTorch模块和基础实战

文章目录前言一、pytorch基础知识2.1、张量代码演示2.2自动求导PyTorch实现模拟训练Tensor数据结构是实现自动求导的基础自动求导——数学基础代码展示2.3并行计算怎么并行？——CUDA并行计算的方法2.3并行计算——扩展二、Pytorch模块和基础实践2.1神经网络学习机制2.2深度学习在实现上的特殊性2.3PyTorch深度学习模块2.3.1基本配置2.3.2数据读入2.3.3
但愿此生，从未邂逅·2022-11-29 16:51

PyTorch学习笔记-Convolution Layers与Pooling Layers

1.ConvolutionLayers由于图像是二维的，因此基本上最常用到的就是二维的卷积类：torch.nn.Conv2d，官方文档：torch.nn.Conv2d。Conv2d的主要参数有以下几个：in_channels：输入图像的通道数，彩色图像一般都是三通道。out_channels：通过卷积后产生的输出图像的通道数。kernel_size：可以是一个数或一个元组，表示卷积核的大小，卷积核
柃歌·2022-11-29 11:15

PyTorch学习笔记-Non-linear Activations与Linear Layers

1.Non-linearActivations非线性激活函数官方文档：Non-linearActivations。有深度学习基础的同学应该知道最常用的非线性激活函数就是ReLU和Sigmoid函数，多分类问题会在输出层使用Softmax函数。这三个函数在PyTorch中分别为nn.ReLU、nn.Sigmoid和nn.Softmax。这两个函数的输入都是只需指明batch_size即可，在PyTo
柃歌·2022-11-29 11:15

PyTorch学习笔记-损失函数与反向传播

1.损失函数具有深度学习理论基础的同学对损失函数和反向传播一定不陌生，在此不详细展开理论介绍。损失函数是指用于计算标签值和预测值之间差异的函数，在机器学习过程中，有多种损失函数可供选择，典型的有距离向量，绝对值向量等。使用损失函数的流程概括如下：计算实际输出和目标之间的差距。为我们更新输出提供一定的依据（反向传播）。损失函数的官方文档：LossFunctions。（1）nn.L1Loss：平均绝对
柃歌·2022-11-29 11:15

PyTorch学习笔记-神经网络模型搭建小实战

1.torch.nn.Sequentialtorch.nn.Sequential是一个Sequential容器，能够在容器中嵌套各种实现神经网络中具体功能相关的类，来完成对神经网络模型的搭建。模块的加入一般有两种方式，一种是直接嵌套，另一种是以OrderedDict有序字典的方式进行传入，这两种方式的唯一区别是：使用OrderedDict搭建的模型的每个模块都有我们自定义的名字。直接嵌套默认使用从
柃歌·2022-11-29 11:07

【Pytorch学习笔记】torch.gather()与tensor.scatter_()

torch.gather()官方解释：torch.gather(input,dim,index,*,sparse_grad=False,out=None)→Tensor这里可以查看官方解释torch.gather()。个人理解：torch.gather()的作用？torch.gather()可以做什么？从某个tensor(input)按照某一纬中选取一部分数据。怎么选？需要提供一个index数组，
Small___ming·2022-11-29 10:56

【Pytorch学习笔记】torch.cat() 与 torch.stack()

torch.stack()stack在英文中有“堆叠的意思”。所以stack通常是把一些低纬(二维)的tensor堆叠为一个高维(三维)的tensor。stack()官方解释:torch.stack[source]→Tensor:函数目的：沿着一个新维度对输入张量序列进行拼接。其中序列中所有的张量都应该为相同形状。outputs=torch.stack(inputs,dim=0)#→Tensor参
Small___ming·2022-11-29 10:18

PyTorch学习笔记（七）进阶训练技巧

目录自定义损失函数以函数方式定义以类方式定义动态调整学习率使用官方scheduler自定义scheduler模型微调-torchvision模型微调的流程使用已有模型结构训练特定层模型微调-timm使用和修改预训练模型模型的保存半精度训练使用argparse进行调参argparse简介argparse的使用更加高效使用argparse修改超参数总结自定义损失函数以函数方式定义defmy_loss(
zhangmeizi1996·2022-11-29 01:27

nn.Conv2d——二维卷积运算解读

PyTorch学习笔记：nn.Conv2d——二维卷积运算解读nn.Conv2d——二维卷积运算代码案例一般用法输出卷积运算的参数填充方式零填充镜像填充复制填充循环填充官方文档nn.Conv2d——二维卷积运算
视觉萌新、·2022-11-28 22:49

【入门教程】使用预训练模型进行训练、预测（以VGG16为例）

【新手教程】使用预训练模型进行训练、预测（以VGG16为例）本文参考[csdn博文](Pytorch学习笔记（I）——预训练模型（一）：加载与使用_lockonlxf的博客-CSDN博客_pytorch
芥子微命·2022-11-28 21:55

pytorch学习笔记-各种Dataset的使用

Dataset使用前言-Dataset作用1.TensorDataset2.ListDataset3.TransformDataset4.自定义Dataset注意事项前言-Dataset作用通常在Dataset中进行数据集的“加载+预处理”，将数据集抽象成Dataset类。在神经网络训练时通常对一个batch数据进行处理，所以，dataset类数据通常还需送入dataloader中进行batch分
冲上云霄！·2022-11-28 11:32

pytorch学习笔记（七）——pytorch中现有网络模型的使用、修改、模型的保存、加载

目录一、pytorch中现有网络模型的使用、修改二、模型的保存和加载1.模型的保存2.模型的加载一、pytorch中现有网络模型的使用、修改位于torchvision.models使用vgg模型为例，采用的数据集是ImageNet，而ImageNet数据集使用前提需要有scipy包pipinstallscipy注意：ImageNet光训练集就有147.9G，而且不再能公开访问了pytorch中使用
M762B·2022-11-28 07:25

Pytorch学习笔记一：制作、加载自己的图像数据集

Pytorch学习笔记一：制作、加载自己的图像数据集文章目录Pytorch学习笔记一：制作、加载自己的图像数据集前言一、下载数据集二、加载自己的数据集1.制作数据集2.加载数据集Dataset类定义数据集
等风来~~·2022-11-28 01:58

Pytorch学习笔记（四）

下面的若干段代码是循循渐进的，而且保证了每段代码只对前一段代码进行最小程度的修改，方便连续阅读，这也是我学习的过程，有错误的地方希望不吝赐教，共同进步。纯手工实现线性回归10个样本，每个样本特征数为1，需要训练的参数为一个特征权重和一个偏置，所以总共两个要训练的超参数。采用批量梯度下降法，即使用全部样本的梯度更新权重和偏置。实现代码"""手工实现y=wx+b线性回归（梯度下降法）"""import
不牌不改·2022-11-27 21:02

Pytorch教程学习笔记

Pytorch教程学习笔记转载自：Teeyohuang分类专栏-Pytorch学习笔记Pytorch进行CIFAR-10分类CIFAR-10数据加载和处理定义卷积神经网络定义损失函数和优化器训练测试Pytorch
Axiiiz·2022-11-27 21:29

pytorch学习笔记

四个重要的包torch.Torchtorch.autogradtorch.nntorch.optim一、tensor转化到gpu上运算：默认情况下不允许跨GPU操作，除了copy_()和其他具有类似复制功能的方法，例如to()和cuda()。除非您启用点对点内存访问，否则任何在跨不同设备的张量上启动操作的尝试都会引发错误。cuda=torch.device('cuda')#DefaultCUDAd
phily123·2022-11-27 21:29

PyTorch学习笔记之基本配置&数据处理

PyTorch学习笔记之基本配置&数据处理文章目录PyTorch学习笔记之基本配置&数据处理2.1深度学习任务的整体流程2.1.1机器学习任务步骤2.1.2深度学习任务步骤2.1.3PyTorch基本配置
laffycat·2022-11-27 21:57

Pytorch学习笔记 （参考官方教程）

参考：pytorch官网教程文章目录一、快速开始（QuickStart）数据处理（Workingwithdata）创建模型（CreatingModels）优化模型参数（OptimizingtheModelParameters）保存模型（SavingModels）加载模型（LoadingModels）二、张量（Tensors）初始化张量（InitializingaTensor）张量的属性（Attri
zyw2002·2022-11-27 20:26

PyTorch学习笔记（二）——torch.nn解析

PyTorch提供了方便漂亮的类和模块，来帮助我们创建和训练神经网络，例如torch.nn,torch.optim等。为了更好地理解这些模块的功能和原理，我们在手动搭建的神经网络上，逐步添加这些模块，以显示每部分模块的功能，以及每部分是如何让代码更加灵活简洁的。1、手动搭建神经网络使用MNIST数据集，该数据集共有50000个图片，每一图片大小为2828，储存在长度为2828=784的扁平行。#定
Candyerer·2022-11-27 17:20

PyTorch学习笔记-TensorBoard

1.TensorBoard的安装与绘图TensorBoard原本是TensorFlow的可视化工具，PyTorch从1.2.0开始支持TensorBoard。之前的版本也可以使用TensorBoardX代替。先进入Anaconda的PyTorch环境，安装TensorBoard：pipinstalltensorboard在项目中新建一个文件夹logs：TensorBoard的工作流程简单来说是将代
柃歌·2022-11-27 10:11

PyTorch学习笔记-Transform

1.Transform的概念与基本用法transforms在计算机视觉工具包torchvision下，包含了很多种对图像数据进行变换的类，这些都是在我们进行图像数据读入步骤中必不可少的。transforms主要使用的类为：transforms.ToTensor，该类能够将PILImage或者ndarray转换为tensor，并且归一化至[0-1]。注意归一化至[0-1]是直接除以255，若自己的n
柃歌·2022-11-27 10:11

PyTorch学习笔记-常用函数与数据加载

1.PyTorch常用函数（1）路径相关的函数假设我们数据集的目录结构如下：首先需要importos，在os中常用的路径相关的函数有：os.listdir(path)：将path目录下的内容列成一个list。os.path.join(path1,path2)：拼接路径：path1\path2。例如：importosdir_path='dataset/hymenoptera_data/train/a
柃歌·2022-11-27 09:03

pytorch学习笔记（删繁就简，一篇入门）

官方教程：https://pytorch.org/tutorials/beginner/deep_learning_60min_blitz.html这是我在看官方教程过程中做的笔记，中间有一些东西是教程中没有讲到的，但是对理解代码，甚至是理解pytorch的一些思想很有用（王婆卖瓜，自卖自夸，溜…）相信你看了这一篇博客就基本入门pytorch了。1.数据处理pytorch的数据处理类似于numpy
Bonennult·2022-11-27 04:06

PyTorch学习笔记（1）- tensor、autograd、神经网络

1tensor【创建tensor】a=t.Tensor(2,3)：指定tensor形状a=t.Tensor((2,3))：创建一个元素为2和3的tensorx=t.Tensor([[1,2],[3,4]])：用list数据创建tensorb.tolist()：把tensor转为listc=t.Tensor(b_size)：创建一个和b形状一样的tensor，系统不会马上分配空间，会计算剩余内存是否
Rock Nut·2022-11-27 04:06

PyTorch学习笔记2——线性回归

本章内容较多，但是作为pytorch的基础却又是重中之重，需要巩固学习2.1线性回归线性回归输出主要可以用于解决回归问题，比如预测房屋价格、气温、销售额等连续值问题；与回归问题不同的分类问题，分类问题的模型最终输出是一个离散值，比如图像分类，垃圾分类、疾病监测，softmax回归用于解决分类问题线性回归和softmax回归都是单层神经网络，我们首先学习线性回归2.1.1线性回归基本要素我们以一个简
Moon_Boy_Li·2022-11-27 04:01

PyTorch学习笔记(七) ---- 小试牛刀

转载请注明作者和出处：http://blog.csdn.net/john_bh/文章目录1.PyTorch主要特征2.张量2.1基于Numpy实现网络2.2PyTorch：张量3.自动求导3.1PyTorch：张量和自动求导3.2PyTorch：定义新的自动求导函数3.3TensorFlow：静态图4.nn模块4.1PyTorch：nn4.2PyTorch：optim4.3PyTorch：自定义n
john_bh·2022-11-27 04:59

Pytorch学习笔记（二）官方60min入门教程之自动微分

目录一.相关包及函数介绍二.雅各比向量积三.练习代码一.相关包及函数介绍autograd包是PyTorch中所有神经网络的核心。首先让我们简要地介绍它，然后我们将会去训练我们的第一个神经网络。该autograd软件包为Tensors上的所有操作提供自动微分。它是一个由运行定义的框架，这意味着以代码运行方式定义你的后向传播，并且每次迭代都可以不同。我们从tensor和gradients来举一些例子。
深海鱼肝油ya·2022-11-27 04:25

Pytorch学习笔记|莫凡Python

目录PyTorch和Tensorflow的区别用Numpy还是TorchTorch中的数学运算变量(Variable)Torch中的激励函数关系拟合(回归)要点建立数据集建立神经网络训练网络可视化训练过程区分类型(分类)建立数据集建立神经网络训练网络可视化训练过程快速搭建批训练卷积神经网络原理池化(pooling)流行的CNN结构CNN实例（手写数据）训练可视化训练(视频中没有)什么是循环神经网络
元辰辰辰辰辰辰·2022-11-26 20:31

（四）pytorch学习笔记

作者：chen_h微信号&QQ：862251340微信公众号：coderpai（一）pytorch学习笔记（二）pytorch学习笔记（三）pytorch学习笔记（四）pytorch学习笔记什么是卷积神经网络
coderpai·2022-11-26 20:58
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他