PyTorch学习笔记

pytorch学习笔记：正则化

1、L2正则化（权重衰减）2、Dropout相当于训练了多个网络，测试时综合了多个网络的结果，使得网络泛化能力更强需要注意的一点是测试时需要对网络输出乘以（1-失活概率P），可以理解为假设训练时有30个神经元失活，因此训练时的输出为70个神经元的加权和，而测试时所有的100个神经元均会参与运算，那么数据的输出尺度发生了变化，因此需要乘以一项来抵消数据输出尺度的变化。3、BatchNormaliza
小杰.·2020-08-02 14:22

pytorch学习笔记：优化器

1、优化器的概念优化器的作用:管理并更新模型中可学习参数的值，使得模型输出更接近真实标签。管理：更新哪些参数更新：根据一定的优化策略更新参数的值2、基本属性为了避免一些意外情况的发生，每隔一定的epoch就保存一次网络训练的状态信息，从而可以在意外中断后继续训练。2.1、单步调试代码观察优化器建立过程首先运行到断点出stepinto2.进行到SGD初始化函数3.运行到64行stepinto进入父类
小杰.·2020-08-02 14:22

pytorch学习笔记（十五）————动量与学习率衰减

pytorch学习笔记（十五）————动量与学习率衰减目录动量学习率衰减目录动量从形式上看，动量算法引入了变量z充当速度角色——它代表参数在参数空间移动的方向和速率。速度被设为负梯度的指数衰减平均。
南风渐起·2020-08-02 14:15

Pytorch学习笔记(五)----多层神经网络

序言本次设计一个简单的三层神经网络模型。上一章学习了一个线性的分类模型。但如果数据集无法用一条线、一个面进行分类呢？此时神经网络就有用武之地了。但是本次实验还是用的上次的数据集，有效果就行~原理与数据集https://pan.baidu.com/s/1kkZl3Shj6D5djmx0H8ifqw为什么要标准化，有哪些标准化的方法，详细自行百度。本实验采用常用的简单标准化方法min-max。详细代码
oneday_某天·2020-08-02 14:11

莫烦pytorch学习笔记(一)——torch or numpy

Q1:什么是神经网络?Q2:torchvsnumpyNumpy：NumPy系统是Python的一种开源的数值计算扩展。这种工具可用来存储和处理大型矩阵，比Python自身的嵌套列表（nestedliststructure)结构要高效的多（该结构也可以用来表示矩阵（matrix））。专为进行严格的数字处理而产生。Q3:numpy和Torch的转换Q3torch中的数学运算torch中的tensor运
weixin_30685047·2020-08-02 14:40

Pytorch学习笔记（二）－－autograd and dynamic-graph

前请提要Pytorch学习笔记（一）－－Tensor和Variable一．Ｐycharm在上次pytorch的学习中是使用文本编辑的方式运行pytorch代码，缺少IDE的许多快捷键，于是本次学习前安装好了
屋顶数☆☆·2020-08-02 13:49

Pytorch学习笔记（四）－－Logistic 回归模型

前请提要Pytorch学习笔记（一）－－Tensor和VariablePytorch学习笔记（二）－－autogradanddynamic-graphPytorch学习笔记（三）－－linearregressionandgradientdescend
屋顶数☆☆·2020-08-02 13:49

Pytorch学习笔记（一）－－Tensor和Variable

本学习笔记均基于ubantu16.04上的pytroch，在正式笔记开始之前有两点一．安装问题在安装pytorch时候走了很多弯路和问题因每个人的问题不同，教程不在此赘述，但总的顺序如下：安装nvidacudacudnngpu版本的pytorch二．学习教程本次需系笔记全部基于廖星宇的＜深度学习入门之pytroch＞，git地址如下https://github.com/L1aoXingyu/cod
屋顶数☆☆·2020-08-02 13:49

Pytorch学习笔记（三）－－linear regression andgradient descend（线性回归和梯度下降）

前请提要Pytorch学习笔记（一）－－Tensor和VariablePytorch学习笔记（二）－－autogradanddynamic-graph一．一元线性回归线性模型简单通俗的讲就是已知很多个点
屋顶数☆☆·2020-08-02 13:49

pytorch学习笔记十：torch.optim下的优化算法的使用方法详解

这里，我们不对每一个具体的优化算法做解释，只是对torch.optim下的算法的使用方法以及有哪些属性做一下说明。一、torch.optimtorch.optim是一个实现了各种优化算法的库。大部分常用的方法得到支持，并且接口具备足够的通用性，使得未来能够集成更加复杂的方法。二、如何使用optimizer为了使用torch.optim，你需要构建一个optimizer对象。这个对象能够保持当前参数
万能的小黑Alex·2020-08-02 13:24

Pytorch学习笔记：Task01

第一部分：线性回归主要内容包括：线性回归的基本要素线性回归模型从零开始的实现线性回归模型使用pytorch的简洁实现模型：损失函数：优化函数-随机梯度下降：小批量随机梯度下降（mini-batchstochasticgradientdescent）在深度学习中被广泛使用。它的算法很简单：先选取一组模型参数的初始值，如随机选取；接下来对参数进行多次迭代，使每次迭代都可能降低损失函数的值。在每次迭代中
jianghusanren3·2020-08-02 13:32

莫烦Pytorch学习笔记

学习笔记整理连接莫烦Pytorch的github代码CNN章节：讲解CNN的时候padding的值等于(kernel_size-1)/2还有每一个层的参数的shape计算很重要还有卷积核的作用(过滤信息)池化层的作用降维并且抓住主要特征（为什么要用池化，池化mean和max方法的不同）padding的作用见https://blog.csdn.net/ningyanggege/article/det
FIXLS·2020-08-02 12:23

莫烦pytorch学习笔记6

莫烦pytorch学习笔记61.生成对抗网路gan1.1介绍1.2GAN的原理1.3L1正则化和L2正则化实现1.生成对抗网路gan1.1介绍生成式对抗网络（GAN,GenerativeAdversarialNetworks
dayday学习·2020-08-02 12:53

pytorch学习笔记（十二）：权重衰减

文章目录1.方法2.高维线性回归实验3.从零开始实现3.1初始化模型参数3.2定义L2L_2L2范数惩罚项3.3定义训练和测试3.4观察过拟合3.5使用权重衰减4.简洁实现小结本节介绍应对过拟合问题的常用方法：权重衰减（weightdecay）。1.方法权重衰减等价于L2L_2L2范数正则化（regularization）。正则化通过为模型损失函数添加惩罚项使学出的模型参数值较小，是应对过拟合的常
逐梦er·2020-08-02 12:00

pytorch学习笔记（八）：softmax回归的从零开始实现

文章目录1.获取和读取数据2.初始化模型参数3.实现softmax运算4.定义模型5.定义损失函数6.计算分类准确率7.训练模型8.预测9.总代码小结这一节我们来动手实现softmax回归。首先导入本节实现所需的包或模块。importtorchimporttorchvisionimportnumpyasnpimportsyssys.path.append("..")#为了导入上层目录的d2lzh_
逐梦er·2020-08-02 12:59

Pytorch学习笔记（五）－－多层神经网络

前请提要Pytorch学习笔记（一）－－Tensor和VariablePytorch学习笔记（二）－－autogradanddynamic-graphPytorch学习笔记（三）－－linearregressionandgradientdescend
屋顶数☆☆·2020-08-02 12:59

pytorch学习笔记（九）：softmax回归的简洁实现

文章目录1.获取和读取数据2.定义和初始化模型3.softmax和交叉熵损失函数4.定义优化算法5.训练模型6.总代码7.小结使用Pytorch实现一个softmax回归模型。首先导入所需的包或模块。importtorchfromtorchimportnnfromtorch.nnimportinitimportnumpyasnpimportsyssys.path.append("..")impor
逐梦er·2020-08-02 12:59

【PyTorch学习笔记】一、两个全连接层的感知机实现（损失函数及优化器的使用）

demo1importtorchfromtorchimportnn#全连接类classLinear(nn.Module):def__init__(self,in_dim,out_dim):super(Linear,self).__init__()#Parameter为Tensor的构造方法，默认求导#wb为网络需要学习的参数self.w=nn.Parameter(torch.randn(in_di
秦乐乐·2020-08-02 12:47

【PyTorch学习笔记】12：继承nn.Module定义MLP,使用GPU加速

继承nn.Module定义MLP上一节学习写LR多分类的时候，网络中的参数w和b都是自己手动定义的（而且w的shape是[输出,输入]），对深度学习框架来说其实没必要那么麻烦，可以直接用现成的定义层的方式来定义。importtorchfromtorchimportnnfromtorch.nnimportfunctionalasF#模拟一张28x28的图片摊平x=torch.randn(1,784)
LauZyHou·2020-08-02 12:56

pytorch学习笔记（十）：MLP

文章目录1.隐藏层2.激活函数2.1ReLU函数2.2sigmoid函数2.3tanh函数3多层感知机4.代码实现MLP4.1获取和读取数据4.2定义模型参数4.3定义激活函数4.4定义模型4.5定义损失函数4.6训练模型小结1.隐藏层多层感知机（multilayerperceptron,MLP)在单层神经网络的基础上引入了一到多个隐藏层（hiddenlayer）。隐藏层位于输入层和输出层之间。图
逐梦er·2020-08-02 12:12

pytorch学习笔记（十一）：pytorch实现多层感知机

下面我们使用PyTorch来实现上一节中的多层感知机。首先导入所需的包或模块。importtorchfromtorchimportnnfromtorch.nnimportinitimportnumpyasnpimportsyssys.path.append("..")importd2lzh_pytorchasd2l1.定义模型隐藏层单元个数为256，并使用ReLU函数作为激活函数。num_inpu
逐梦er·2020-08-02 12:40

Pytorch学习笔记（四）各组件的Debug记录

torch.nnDataParallel详解定义：model=torch.nn.DataParallel(model,device_ids=args.gpus).cuda()代码流程下面主要是详细介绍一下数据并行的流程，自己动手Debug一下更清晰！在调用网络模型model（DataParallel类实例）时，实际是进入模型基类Module的特殊方法__call__（module.py）。注：特殊
csdnromme·2020-07-31 09:28

深度学习文章整理

来自网络，学习使用线性回归–linearregression梯度消失和梯度爆炸问题详解机器学习笔记-神经网络中激活函数（activationfunction）对比--Sigmoid、ReLu，tanhPyTorch
yzm10·2020-07-30 17:00

Pytorch学习笔记08----优化器算法Optimizer详解（SGD、Adam）

1.优化器算法简述首先来看一下梯度下降最常见的三种变形BGD，SGD，MBGD，这三种形式的区别就是取决于我们用多少数据来计算目标函数的梯度，这样的话自然就涉及到一个trade－off，即参数更新的准确率和运行时间。2.BatchGradientDescent（BGD）梯度更新规则:BGD采用整个训练集的数据来计算costfunction对参数的梯度：缺点：由于这种方法是在一次更新中，就对整个数据
雨后观山色·2020-07-30 16:00

pytorch学习笔记（七）：图像分类数据集（Fashion-MNIST）

前言图像分类数据集中最常用的是手写数字识别数据集MNIST[1]。但大部分模型在MNIST上的分类精度都超过了95%。为了更直观地观察算法之间的差异，我们将使用一个图像内容更加复杂的数据集Fashion-MNIST[2]（这个数据集也比较小，只有几十M，没有GPU的电脑也能吃得消）。本节我们将使用torchvision包，它是服务于PyTorch深度学习框架的，主要用来构建计算机视觉模型。torc
逐梦er·2020-07-29 23:24

pytorch学习笔记（二）：gradient

在BP的时候，pytorch是将Variable的梯度放在Variable对象中的，我们随时都可以使用Variable.grad得到对应Variable的grad。刚创建Variable的时候，它的grad属性是初始化为0.0的（0.2版本已经是打印的结果是None。）。importtorchfromtorch.autogradimportVariablew1=Variable(torch.Ten
ke1th·2020-07-29 11:03

pytorch学习笔记（三）：自动求导

本片博文主要是对http://pytorch.org/docs/notes/autograd.html的部分翻译以及自己的理解，如有错误，欢迎指正！Backward过程中排除子图pytorch的BP过程是由一个函数决定的，loss.backward()，可以看到backward()函数里并没有传要求谁的梯度。那么我们可以大胆猜测，在BP的过程中，pytorch是将所有影响loss的Tensor都求
ke1th·2020-07-29 11:03

Pytorch学习笔记(七)----多层神经网络预测房价(回归模型)+GPU的使用

序言上一节学习了使用多层神经网络进行多分类问题的研究，这次我们使用多层神经网络进行回归问题的探索。同时学会如何在pytorch上使用GPU进行计算。本次的数据集不像上一节直接从网上下载就可以使用的标准数据集，模拟“自己采集的数据集”进行预处理，再进行训练。基础理论本节没有过多理论，只提一点，想使用GPU进行计算，只需要再输入的tensor与模型上加上‘.cuda()’就行，但想把计算结果转nump
oneday_某天·2020-07-28 20:32

pytorch学习笔记系列（5）：卷积神经网络Conv2d&&Conv1d

卷积层原理卷积层是用一个固定大小的矩形区去席卷原始数据，将原始数据分成一个个和卷积核大小相同的小块，然后将这些小块和卷积核相乘输出一个卷积值（注意这里是一个单独的值，不再是矩阵了）.卷积的本质就是用卷积核的参数来提取原始数据的特征，通过矩阵点乘的运算，提取出和卷积核特征一致的值，如果卷积层有多个卷积核，则神经网络会自动学习卷积核的参数值，使得每个卷积核代表一个特征.关于nn.torch.Conv2
BruceWu1234·2020-07-28 14:45

pytorch学习笔记（四）：输入流水线(input pipeline)

input-pipeline引包fromtorchvisionimporttransformsfromtorch.utils.dataimportDatasetfromtorch.utils.dataimportDataLoader图像预处理#创建个transform用来处理图像数据transform=transforms.Compose([transforms.Scale(40),transfo
ke1th·2020-07-28 14:54

【深度学习】Pytorch学习笔记（五）

pytorch实现卷积神经网络（执行效率相对于keras慢太多）importtorchimportwarningsimporttorchvisionfromtorchvision.datasetsimportMNISTfromtorch.utils.dataimportDataLoaderwarnings.filterwarnings("ignore")BATCH_SIZE=32train_dat
Legolas~·2020-07-28 11:38

(二)pytorch学习笔记 torch.nn 神经网络实现回归

来源于pytorch的官方学习资料的总结y=[0.5,14.0,15.0,28.0,11.0,8.0,3.0,-4.0,6.0,13.0,21.0]x=[35.7,55.9,58.2,81.9,56.3,48.9,33.9,21.8,48.4,60.4,68.4]现在我们有十个点，横纵坐标如上所示，点的在坐标中的分布如下图所示。我们可以通过torch.nn来实现一个简单的线性回归。也就是y=ax+
le_sheng·2020-07-28 09:11

（一）pytorch学习笔记（线性回归 梯度下降）

机器学习中梯度下降法的简单例子来源于pytorch的官方学习资料的总结y=[0.5,14.0,15.0,28.0,11.0,8.0,3.0,-4.0,6.0,13.0,21.0]x=[35.7,55.9,58.2,81.9,56.3,48.9,33.9,21.8,48.4,60.4,68.4]现在我们有十个点，横纵坐标如上所示，再图中可以表示为：那我们要做的就是预测出a和b去生成一条直线。无限的拟
le_sheng·2020-07-28 09:11

Pytorch学习笔记

PyTorch入门为什么使用PyTorchPyTorch是PyTorch在Python上的衍生.因为PyTorch是一个使用PyTorch语言的神经网络库,Torch很好用,但是Lua又不是特别流行,所有开发团队将Lua的Torch移植到了更流行的语言Python上.与Tensorflow不同的是：Tensorflow先搭建静态流程图然后代入数据进行计算；PyTorch边代入数据边构建图；二分分类
Collapsar_G·2020-07-17 18:06

Pytorch学习笔记【10】：实战！CNN手写数字识别

注意看代码注释！！！解析都在注释里，不要怕麻烦，自己复制代码，运行一遍，然后结合运行结果和代码注释就能够看懂代码1.代码：importos#引入一些包importtorchimporttorch.nnasnnimporttorch.utils.dataasDataimporttorchvisionimportmatplotlib.pyplotasplt#定义一些参数EPOCH=1#训练数据的次数，
strong tyj·2020-07-16 06:26

Pytorch学习笔记（III）——提取特征

目录一、引言二、具体步骤1、参数模型2、网络结构3、参数载入4、特征提取器5、读取图片三、完整代码一、引言  深度学习在许多任务中主要充当着特征学习的作用，而学习完的特征才是后续应用的一个关键。本文将主要介绍，如何提取任意目标层的特征图。  本文以输入数据为图片为例。二、具体步骤1、参数模型博主使用了ResNet50训练了一个人脸识别的网络  训练完成的深度学习模型，我们会保存一个参数文件，文件中
lockonlxf·2020-07-16 06:08

【PyTorch学习笔记】开始MNIST手写识别数字实战

分类问题图像表示每一张手写数字的图片在MNIST中图片大小是28×28的单通道图片我们可以把这个图片打平成一个长度为784长度为784长度为784的数组，也就是忽略它的二维之间的相关性。然后在前面插入一个维度就变成了一个[1,784][1,784][1,784]的一个矩阵。单个线性模型无法解决这个问题，所以目前使用三个线性模型进行嵌套X=[v1,v2,...,v784]X=[v_1,v_2,...
Delv_Peter·2020-07-15 16:15

PyTorch学习笔记5 实现L1，L2正则化以及Dropout

本期作业主要涉及深度学习中的几个技巧：L1,L2正则化以及dropout。1.L1,L2正则化1.1正则化的概念在机器学习中，正则化的主要目的是防止训练出现过拟合的情况。当我们采用经验风险最小化(EmpiricalRiskMinimization,ERM,如极大似然估计）原则来优化模型时，如果样本容量不够大，模型很容易学习到数据的一些无关特征（噪声等），造成过拟合的现象。结构风险最小化(Struc
小新_XX·2020-07-15 13:07

Pytorch学习笔记【整理】

Pytorch学习笔记【整理】1.Tensor/numpy：（1）Tensor是pytorch中的重要数据结构，可以被认为是一个高维数组。
小娜美要努力努力·2020-07-15 06:03

CS230学习笔记(一)

CS230学习笔记(一)1.前言ok，前思后想，左思右想，我还是觉得自己得督促一下自己，所以，我觉得开始更新cs230的笔记，当然，我前面的六篇pytorch学习笔记我是不会放着不管的，后面肯定会继续更新
小小yoghurt·2020-07-14 18:06

Pytorch学习笔记系列-Variable

回顾：在上一节中介绍了tensor的基本构造方法--->Pytorch学习笔记系列-Torch基本操作本节将介绍Variable1什么是Variable？
带鱼工作室·2020-07-13 07:01

Pytorch学习笔记系列-Torch基本操作

目录1.Pytorch介绍与安装1.1介绍1.2Pytorch安装2Torch2.1Tensor构造2.1.1torch.from_numpy构造-维度任意2.1.2使用数组直接构造-维度任意2.1.3torch.eye构造-多维2.1.4torch.linspace构造-一维2.1.5torch.logspace构造-一维2.1.6torch.ones构造-多维2.1.7torch.zeros构
带鱼工作室·2020-07-13 07:01

PyTorch学习笔记----自动求梯度

在深度学习中，我们经常需要对函数求梯度(gradient)。PyTorch提供的autograd包能够根据输⼊和前向传播过程自动构建计算图，并执行反向传播。本节将介绍如何使用autograd包来进行自动求梯度的有关操作。1、Tensor创建⼀个Tensor并设置requires_grad属性为True：x=torch.ones(2,2,requires_grad=True)print(x)prin
K.SHI·2020-07-13 00:25

pytorch学习笔记(一)---创建Tensor的多种方法

一.创建Tensor的多种方法使用numpy创建importtorchimportnumpyasnp#利用numpy创建a=np.array([1,2])a_torch=torch.from_numpy(a)print(type(a),type(a_torch))输出使用list创建a=torch.FloatTensor([2,3.3])#尽量少用这种方式,容易和给shape的情况看混淆b=tor
zjw19950129·2020-07-12 20:39

Pytorch学习笔记（II）——自定义数据集载入方式（二）

目录一、引言二、自定义数据集载入方式1、准备工作2、  init  3、  getitem  4、  len  5、载入三、完整代码一、引言  深度学习中主要分为两大任务，分类和回归。  1、分类即classification，就是将具有相同属性的样本划分为同一类，具有不同属性的样本划分为不同类。  以往我们需要通过对样本打标签来划分类别，用0，1，2，3，…表示类别。而在Pytorch中只需要将
lockonlxf·2020-07-11 17:50

Pytorch学习笔记

文章目录配置环境机器学习中的分类与回归问题PyTorch的基本概念Tensor的类型Tensor的创建Tensor的属性Tensor的算术运算in-place操作Pytorch中的广播机制取整、取余运算Tensor的比较运算Tensor的三角函数Tensor中其他的数学函数PyTorch与统计学方法Pytorch的分布函数Tensor中的随机抽样Tensor中范数的运算Tensor中的矩阵分解Te
很好的坏人·2020-07-11 15:48

【one way的pytorch学习笔记】(三)leaf 叶子(张量)

先导在pytorch的tensor类中,有个is_leaf的属性,姑且把它作为叶子节点.is_leaf为False的时候,则不是叶子节点,is_leaf为True的时候为叶子节点(或者叶张量)所以问题来了:leaf的作用是什么?为什么要加leaf?我们都知道tensor中的requires_grad()属性,当requires_grad()为True时我们将会记录tensor的运算过程并为自动求导
One__Way·2020-07-08 12:43

五天学会Pytorch

文章目录我的Pytorch学习笔记前言:Day1数据的基本操作Tensor的使用Tensor的基础使用**Tensor重点知识**:自动求梯度Autograd概念例子TensorDay2&3深度学习基础线性回归
等待戈多。·2020-07-08 03:09

pytorch学习笔记4：网络和损失函数的可视化

文章目录1.效果2.环境3.用到的代码1.效果2.环境1.pytorch2.visdom3.python3.53.用到的代码#coding:utf8importtorchfromtorchimportnn,optim#nn神经网络模块optim优化函数模块fromtorch.utils.dataimportDataLoaderfromtorch.autogradimportVariablefrom
xz1308579340·2020-07-06 09:12

Pytorch学习笔记

Pytorch如何定义自己的数据集数据集：Penn-Fudan数据集前言在学习pytorch官网教程时，作者对Penn-Fudan数据集进行了定义，并且在自定义的数据集上实现了对R-CNN模型的微调。此篇笔记简单总结一下pytorch如何实现定义自己的数据集数据集必须继承torch.utils.data.Dataset类，并且实现__len__和__getitem__方法其中__getitem__
璐璐yao·2020-07-05 08:16
上一页 17 18 19 20 21 22 23 24 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他