PyTorch学习笔记

pytorch学习笔记（三）——MNIST手写数据集

配套视频1配套视频2pytorch入门之手写数字识别目录引言——MINIST是什么？基本构造loss小结非线性模型构造梯度下降优化参数如何进行预测目录引言——MINIST是什么？现如今诸如车牌识别，验证码识别，身份证识别等应用在我们的日常生活中被使用的越来越广泛。为此有专门学者收集了基本数字从0-9不同写法的书写方式，形成一个专门的数据集，这便是MINIST手写数据集的由来。MINIST手写数据集
南风渐起·2020-01-29 16:39

PyTorch学习笔记(四)：构建神经网络

Tensor和自动求导属于PyTorch中较为底层的特性，如果要实现一个神经网络我们不需要从Tensor开始，PyTorch已经为我们封装了专门为深度学习而设计的模块，这个模块就是torch.nn。NN工具箱为方便用户使用，PyTorch实现了神经网络中绝大多数的layer，这些layer都继承于nn.Module。这个类封装了可学习参数，并实现了forward函数，且很多都专门针对GPU运算进行
洛荷·2020-01-06 20:56

PyTorch学习笔记

Pytorch:人工智能开发库文章目录初识张量张量的数学定义Pytorch里的张量torch.Tensor实例构造含有特定数据的张量构造特定大小的张量构造等比数列和等差数列构造随机张量组织张量的元素重排张量元素选取部分张量张量的扩展与拼接初识张量张量的数学定义张量可看作是多维数组。维度（dimension）,大小（size）,元素个数是张量的属性。标量可看作是零维张量，向量可看作是一维张量，矩阵可
芳杨·2020-01-06 14:10

PyTorch学习笔记(三)：自动求导Autograd

现代神经网络依靠反向传播(BackPropogation)算法来对模型进行优化，其本质是大规模链式求导。因此，能够对通过编程来对网络参数进行求导是非常重要的。目前的深度学习框架神经网络如PyTorch和TensorFlow等都实现了自动求梯度的功能。计算图计算图(ComputationGraph)是现代深度学习框架的核心，其为高效自动求导算法——反向传播(BackPropogation)提供了理论
洛荷·2019-12-20 00:16

PyTorch学习笔记(一)：PyTorch简介与安装

简介PyTorch是一个Python深度学习框架，旨在实现简单灵活的实验，其提供两个高级功能：具有强大的GPU加速的张量计算（如NumPy）包含自动求导系统的的深度神经网络考虑到Python在计算科学领域的领先地位，以及其生态完整性和接口易用性，几乎任何框架都不可避免地要提供Python接口。在2017年，Torch的幕后团队推出了PyTorch。PyTorch不是简单地封装LuaTorch提供P
洛荷·2019-12-13 04:24

Pytorch学习笔记【11】：pytorch中RNN的一些参数解释

今天做RNN识别手写数字，发现参数的意义对于模型的理解影响重大，所以想记录一些常用参数，以后忘记了来看看hn就是RNN的最后一个隐含状态，output就是RNN最终得到的结果。numlayer是隐藏层的层数。
strong tyj·2019-11-19 14:13

Pytorch学习笔记

文章目录数据操作index_select(input,dim,index)masked_select(input,mask)nonzero(input)gather(input,dim,index)view()改变张量的形状item()内存开销Tensor,Numpy互转Tensor放到GPU上自动求梯度requires_grad梯度实战线性回归数据输入定义模型nn.Modulenet.param
yuyijie_1995·2019-11-14 18:01

PyTorch学习笔记1 - PyTorch简介

1.PyTorch简介1.1什么是PyTorchPyTorch是一个基于Python的科学计算包，主要用途有两个：作为Numpy的替代，可利用GPU性能进行计算；作为深度学习开发平台，提供很高的灵活性和速度。PyTorch是Torch7团队开发的。Torch是一个开源科学计算框架，可以追溯到2002年纽约大学的项目。Torch的核心在于在构建深度神经网络及其优化和训练，为图像，语音，视频处理以及大
小新_XX·2019-11-08 19:05

PyTorch学习笔记三——搭建简单的CNN手写数字识别网络

本文学习自莫烦的教程importtorchimporttorch.nnasnnimporttorch.utils.dataasDatafromtorch.autogradimportVariableimporttorchvisiontorch.manual_seed(1)#保证生成的随机数不发生改变EPOCH=1#迭代轮数BATCH_SIZE=50#批量大小LR=0.001#学习率DOWNLOAD
润°·2019-11-07 20:29

【PyTorch学习笔记】5.Broadcasting,对Tensor的合并与拆分,Tensor运算

参考：https://blog.csdn.net/SHU15121856/article/details/87886885BroadcastingBroadcasting也就和之前学MPI时候学的广播一样，能够实现自动维度扩展，有点像上节学的expand的功能，但是是自动完成的，而且不需要像repeat那样对数据进行拷贝，可以节省内存。从最后面的维度开始匹配。在前面插入若干维度。将维度的size从
qq_16739693·2019-11-04 15:44

PyTorch学习笔记 —— Categorical函数

一、介绍Categorical函数来自包torch.distributions，官方定义的接口如下：classtorch.distributions.Categorical(probs)作用是创建以参数probs为标准的类别分布，样本是来自“0…K-1”的整数，其中K是probs参数的长度。也就是说，按照传入的probs中给定的概率，在相应的位置处进行取样，取样返回的是该位置的整数索引。如果pro
ProQianXiao·2019-11-04 12:02

Pytorch学习笔记（一）搭建一个CNN神经网络

本文根据pytorch官方教程编写，如果有兴趣的人可以直接去查看pytorch的官方文档。那么现在就直接开始吧！第一步就是直接导入包importtorch.nnasnnimporttorch.nn.functionalasFimporttorch然后嘛！就是通过继承nn.Module来编写模型类。classNet(nn.Module):def__init__(self):super(Net,sel
永远的小白虾·2019-10-21 21:07

PyTorch学习笔记——图像处理（transforms）

PyTorch学习笔记——图像处理（transforms）PyTorch框架中有一个很常用的包：torchvisiontorchvision主要由3个子包构成：torchvision.datasets、
SUNNY小飞·2019-10-03 16:21

Pytorch学习笔记（三）-——《深度学习入门之pytorch》

目录卷积层提取层结构提取参数卷积层提取层结构提取网络中的某一层或者几层nn.Module的属性children()：返回下一级模块的迭代器（下图中只会返回到：layer1、layer2）named_children()：迭代器+网络层的名字modules()：返回模型中所有模块的迭代器，访问到最内层(可以访问到conv层等)named_mudules()：迭代器+网络层的名字提取出网络的前两层：提
包子爱跑步·2019-09-04 23:51

pytorch学习笔记-实践-CNN-minst手写数字识别

importtorchimporttorch.nnasnnimporttorch.nn.functionalasFimporttorch.optimasoptimfromtorchvisionimportdatasets,transformstorch.__version__'1.2.0'首先定义一些超参数BATCH_SIZE=512EPOCHS=10DEVICE=torch.device("cu
wenqiang su·2019-09-04 15:21

pytorch学习笔记

一、激活函数以及图像的学习#coding:utf-8importtorchimporttorch.nn.functionalasF#log(1+e^x)激励函数fromtorch.autogradimportVariable#做一些假数据来观看图像x=torch.linspace(-5,5,200)#xdata(tensor),shape=(100,1)x=Variable(x)x_np=x.da
6个小石头·2019-09-04 09:44

Pytorch学习笔记（二）-——《深度学习入门之pytorch》

简单的三层全连接神经网络改进网络：添加激活函数nn.Sequential()函数将网络的层组合在一起改进网络：添加BN注意BN一般放在全连接层的后面、非线性层(激活函数)的前面训练一个网络导入一些相关的包数据预处理transforms.ToTensor（）：将图片转换成Tensor，转换的过程中自动将图片标准化，Tensor的范围是（0,1）transforms.Noramlize（均值，方差）：
包子爱跑步·2019-09-02 22:38

Pytorch学习笔记（一）-——《深度学习入门之pytorch》

pytorch链接http://pytorch123.com/https://pytorch-cn.readthedocs.io/zh/latest/目录1.tensor2.Variable(变量)3.nn.Module4.模型的保存和加载5.一个回归例子1.tensorTensor是一个多维矩阵PyTorch的Tensor可以和numpyndarray相五转换，唯一不同的是PyTorch的ten
包子爱跑步·2019-08-29 23:21

pytorch学习笔记

1、基本数据类型importtorchfromtorch.autogradimportVariableimportnumpyasnpimporttime#一基本数据类型，IntTensor，FloatTensor与python中的int，float对应，对应的array与Tensor的size对应'''#CPU版本,下边生成的是维度为1的矩阵，而非标量数据a=torch.FloatTensor(1
Zhen大虾·2019-08-15 20:34

Pytorch学习笔记（三）——手写数字识别

1.首先导入所需要的包，其中torchvision包主要实现数据的处理、导入和预览importtorchfromtorchvisionimportdatasets,transformsfromtorch.autogradimportVariable2.torchvision中的datasets可以实现对数据集的下载，例如MNIST、COCO、ImageNet、CIFCAR，代码如下：#Downlo
Armain·2019-08-06 09:52

PyTorch学习笔记及问题处理

1、torch.nn.state_dict()：返回一个字典，保存着module的所有状态（state）。parameters和persistent_buffers都会包含在字典中，字典的key就是parameter和buffer的names。例子：importtorchfromtorch.autogradimportVariableimporttorch.nnasnnclassModel(nn.
穷酸秀才大艹包·2019-08-05 19:00

Pytorch学习笔记（二）——从零手动搭建一个神经网络开始

一、按原理手动搭建神经网络 1.1定义数据batch大小，输入输出特征，神经网络特征大小importtorchbatch_n=100#一个批次输入数据的数量hidden_layer=100#经过隐藏层后保留的特征个数input_data=1000#每个输入数据的特征个数output_data=10#每个输出数据的特征个数（分类结果值）#1000->100->101.2定义数据集，网络权重#定义一个
Armain·2019-08-05 10:28

pytorch学习笔记（4）(Module类、实现Flatten类、Module类作用、数据增强)

原文链接：http://www.cnblogs.com/leokale-zz/p/11294912.html一、继承nn.Module类并自定义层我们要利用pytorch提供的很多便利的方法，则需要将很多自定义操作封装成nn.Module类。首先，简单实现一个Mylinear类：fromtorchimportnn#Mylinear继承ModuleclassMylinear(nn.Module):#
dianshu9815·2019-08-03 15:00

Pytorch学习笔记（一）——数据&&运算

一、Tensor的数据类型1.1torch.FloatTensortorch.FloatTensor(2,3)  #随机生成torch.FloatTensor([2,3,4,5])1.2 torch.IntTensortorch.IntTensor(2,3)  #随机生成torch.IntTensor([2,3,4,5])1.3 torch.randtorch.rand(2,3)#0~1均匀分布浮
Armain·2019-08-02 17:35

pytorch学习笔记7--循环神经网络、GAN

文章目录循环神经网络序列的表示方法RNNLayer的使用nn.RNNnn.RNNCell预测sin(x)曲线trainpredict梯度弥散和梯度爆炸gradientclippinggradientvanishingLSTM的使用LSTMCell的使用情感分类实战GAN损失纳什均衡transposedconvolutionWGAN使用wasserteinDistance代替了Discriminat
niklaus.z.lee·2019-07-24 10:30

pytorch学习笔记6--过拟合，交叉验证，正则化

文章目录过拟合过拟合、欠拟合交叉验证regularization动量与学习率衰减dropout，earlystop卷积神经网络resnetdensenetnn.Module数据增强实战lenet5resnet过拟合过拟合、欠拟合交叉验证regularizationoccam’srazormorethingsshouldnotbeusedthanarenecessaryreduceoverfitti
niklaus.z.lee·2019-07-24 09:43

pytorch学习笔记5--pytorch基本运算2

文章目录感知机的梯度推导单输出单层感知机多输出感知机梯度推导链式法则多层感知机反向传播LogisticregressionQ1:whynotmaximizeaccuracy?Q2:whycalllogisticregressionsoftmax交叉熵EntropyCrossEntropy对于分类问题为什么不用MSEsoftmax和sigmoid？多分类全连接层nn.ReLUv.s.F.relu()
niklaus.z.lee·2019-07-24 09:59

pytorch学习笔记(3) 动态调整学习率和hook函数的使用

pytorch学习笔记(3)动态调整学习率和hook函数的使用.动态调整学习率defadjust_learning_rate(optimizer,epoch,params):lr=params["LEARNING_RATE
wanglei_1996·2019-07-23 00:53

PyTorch之前向传播函数自动调用forward

参考：1.pytorch学习笔记（九）：PyTorch结构介绍2.pytorch学习笔记（七）：pytorchhook和关于pytorchbackward过程的理解3.Pytorch入门学习（三）：NeuralNetworks4
kyle1314608·2019-07-16 18:00

pytorch学习笔记（四）--tensor的基本运算

加减乘除矩阵相乘torch.mm只适用于2d，不推荐torch.matmul推荐使用@运算符重载次方运算a=torch.full([2,2],3)aa=a.pow(2)操作运算如下：a.pow(n)表示ana**n表示anaa.sqrt()表示aa1/2aa.rsqrt()表示aa1/3注意这里没有torch.幂/对数a=torch.exp(torch.one(2,2))#指数运算b=torch.
ThetaQing·2019-07-11 21:03

pytorch学习笔记（三）--张量的高阶操作

Broadingcasting自动扩展特点：实现维度扩展不需要拷贝数据原理：先在高维度上unsqueeze一个维度，然后将维度为1的expend到相对应的维度使用条件：从低维度开始匹配所以如果操作是中间维度的运算，则需要手动unsqueeze低维度为1.对应运算的维度要么为1，为1表示适用于所有其他维度对应运算的维度与另一个操作数据的对应维度相同对应维度不存在，空值，broadcast会自动uns
ThetaQing·2019-07-11 17:58

pytorch学习笔记（一）

一、索引与切片1.index_select：给定如下一个a：a=np.arange(2*2*2*2)a=torch.from_numpy(a)a=torch.reshape(a,[2,2,2,2])aout:tensor([[[[0,1],[2,3]],[[4,5],[6,7]]],[[[8,9],[10,11]],[[12,13],[14,15]]]],dtype=torch.int32)#对a
一只小白dog·2019-07-11 11:55

Pytorch学习笔记

Pytorch学习笔记目录Pytorch学习笔记1.nn.moduleList和Sequential用法和实例1.1、nn.Sequential():模型建立方式2.Pytorch基本操作expand(
pan_jinquan·2019-07-10 08:21

Pytorch学习笔记（I）——预训练模型（二）：修改网络结构（ResNet34及以下）

（pytorch1.0）最近在研究pytorch如何修改与训练模型的网络结构，然后发现了两种版本，一种是细调版，一种是快速版经过一番钻研后发现细调版适合对网络模型进行大幅度的改动（如在原有的结构上穿插着增减层），而快速版适合直接对网络末端的层进行增减。虽然快速版简单易懂，但是还是要对细调版有所了解才能比较，万一以后用的上呢。因此，我就好好研究了一番细调版，结果发现网上的代码或者博客基本都是相互搬运
lockonlxf·2019-07-05 18:34

PyTorch学习笔记(16)——编写你自己的PyTorch kernel(基于PyTorch1.2.0)

在前一阵看过PyTorch官方核心开发者EdwardZ,Yang的在纽约举办的PyTorchNYCMeetup的关于PyTorch内部机制的讲解。从通过strides指定逻辑布局，tensorwrapper到autograd机制以及对PyTorch内部最重要的几个基本代码模块的扼要说明，让人受益匪浅。其中，在PyTorch写kernel是一个非常让人兴奋的内容，作为一个contributor，我对
sooner高·2019-06-25 14:15

PyTorch学习笔记

参考1：https://www.jianshu.com/p/d5af8aea4229参考2：https://pytorch.org/docs/stable/index.html1、torch.nn.Conv2d(in_channels,out_channels,kernel_size,stride=1,padding=0,dilation=1,groups=1,bias=True,padding_
Mr.Q·2019-06-24 15:50

PyTorch学习笔记之CBOW模型实践

1importtorch2fromtorchimportnn,optim3fromtorch.autogradimportVariable4importtorch.nn.functionalasF56CONTEXT_SIZE=2#2wordstotheleft,2totheright7raw_text="Weareabouttostudytheideaofacomputationalprocess
kyle1314608·2019-06-24 14:00

Pytorch学习笔记(2): 一维卷积, RNN, LSTM详解

一维卷积torch.nn.Conv1d(in_channels,out_channels,kernel_size,stride=1,padding=0,dilation=1,groups=1,bias=True,padding_mode=‘zeros’)这个函数用来对输入张量做一维卷积in_channel和out_channel是卷积核个数kernel_size是卷积核的大小stride是卷积核移
wanglei_1996·2019-06-19 15:05

pytorch学习笔记5--pytorch基本运算

文章目录基本运算add/minus/multiply/dividematmul基本函数统计属性normmean,sum,min,max,prod,argmin,argmaxkthvalue,topk\>,>=,,>=,0返回的是对应的maska>0等价于torch.ge(a,0)torch.eq(a,b),比较a,b中的每个元素的值，返回一个masktorch.equal(a,b)比较a,b中每个
niklaus.z.lee·2019-06-12 20:28

pytorch学习笔记4--pytorch数据类型

文章目录pytorch数据类型创建tensor将numpy数据转化为Tensor：从pythonlist中导入数据：uninitialized设置默认类型：随机初始化，rand/rand_like,randint正态分布：randn全部赋值为相同的元素：torch.arange(start,end,step)等分：torch.eye(d1,d2)ortorch.eye(num)randperm索引
niklaus.z.lee·2019-06-12 17:35

pytorch学习笔记3--回归问题

回归问题linearregressiony∈[−∞,+∞]y\in[-\infty,+\infty]y∈[−∞,+∞]logisticsregression把y值压缩到[0,1]，变为概率问题代码：loss=(WX+b−y)2loss=(WX+b-y)^2loss=(WX+b−y)2代码实现如下：defcompute_error_for_line_given_points(b,w,points):
niklaus.z.lee·2019-06-12 17:25

pytorch学习笔记1--开发环境安装（windows）

先附两个apipytorchAPIpytorchapi开发环境安装(windows)安装anaconda勾选AddAnacondatomyPATHenvironmentvariable安装CUDA10到CUDA官网下载，选择local版本安装过程中如果没有CUDAVisualStudioIntegration可以勾选然后跳过如果在cuda>v10.0>bin目录下找到nvcc.exe则安装成功。也
code_fighter·2019-06-12 17:23

莫烦PyTorch学习笔记(二)——回归

莫烦PyTorch学习笔记(二)——回归本文主要是用PyTorch来实现一个简单的回归任务。
baidu_huihui·2019-05-26 22:34

Datawhale——Pytorch基础(六)

随机梯度下降法进行优化实现Ada自适应梯度调节法RMSPropAdamPyTorch种优化器选择参考资料新手必备|史上最全的PyTorch学习资源汇总快速上手笔记，PyTorch模型训练实用教程（附代码）PyTorch
黑桃5200·2019-05-24 22:31

PyTorch学习笔记(15) ——PyTorch中的contiguous

本文转载自栩风在知乎上的文章《PyTorch中的contiguous》。我觉得很好，特此转载。0.前言本文讲解了pytorch中contiguous的含义、定义、实现，以及contiguous存在的原因，非contiguous时的解决办法。并对比了numpy中的contiguous。contiguous本身是形容词，表示连续的，关于contiguous，PyTorch提供了is_contiguou
sooner高·2019-05-21 23:20

Pytorch学习笔记（I）——预训练模型（十）：ResNet101网络结构

ResNet((conv1):Conv2d(3,64,kernel_size=(7,7),stride=(2,2),padding=(3,3),bias=False)(bn1):BatchNorm2d(64,eps=1e-05,momentum=0.1,affine=True,track_running_stats=True)(relu):ReLU(inplace)(maxpool):MaxPoo
lockonlxf·2019-05-21 09:00

Pytorch学习笔记（I）——预训练模型（九）：ResNet50网络结构

ResNet((conv1):Conv2d(3,64,kernel_size=(7,7),stride=(2,2),padding=(3,3),bias=False)(bn1):BatchNorm2d(64,eps=1e-05,momentum=0.1,affine=True,track_running_stats=True)(relu):ReLU(inplace)(maxpool):MaxPoo
lockonlxf·2019-05-21 09:15

Pytorch学习笔记（I）——预训练模型（六）：VGG19网络结构

VGG((features):Sequential((0):Conv2d(3,64,kernel_size=(3,3),stride=(1,1),padding=(1,1))(1):ReLU(inplace)(2):Conv2d(64,64,kernel_size=(3,3),stride=(1,1),padding=(1,1))(3):ReLU(inplace)(4):MaxPool2d(ker
lockonlxf·2019-05-21 09:31

Datawhale——Pytorch基础(四)

，读取数据构建计算图（构建网络模型）损失函数与优化器开始训练模型对训练的模型预测结果进行评估参考资料新手必备|史上最全的PyTorch学习资源汇总快速上手笔记，PyTorch模型训练实用教程（附代码）PyTorch
黑桃5200·2019-05-18 07:11

pytorch学习笔记 | Focal loss的原理与pytorch实现

Focal原理简述Focalloss是一个针对单阶段物体检测任务中正负样本不均衡而提出来的损失函数，论文地址来自arxiv数学定义先放focalloss（FL）和crossentropy（CE）两个函数的数学定义。其中p为概率，而y为0或1的标签。可以看到focalloss的设计很简单明了，就是在标准交叉熵损失函数的引入一个因子(1−pt)λ(1-p_t)^\lambda(1−pt)λ，λ=0\l
qyhyzard·2019-05-17 20:43
上一页 19 20 21 22 23 24 25 26 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他