PyTorch学习笔记

pytorch学习笔记（二十八）：循环神经网络的从零开始实现

文章目录1.one-hot向量2.初始化模型参数3.定义模型4.定义预测函数5.裁剪梯度6.困惑度7.定义模型训练函数8.训练模型并创作歌词小结在本节中，我们将从零开始实现一个基于字符级循环神经网络的语言模型，并在周杰伦专辑歌词数据集上训练一个模型来进行歌词创作。首先，我们读取周杰伦专辑歌词数据集：importtimeimportmathimportnumpyasnpimporttorchfrom
逐梦er·2020-08-08 11:47

pytorch学习笔记（二十九）：简洁实现循环神经网络

本节将使用PyTorch来更简洁地实现基于循环神经网络的语言模型。首先，我们读取周杰伦专辑歌词数据集。importtimeimportmathimportnumpyasnpimporttorchfromtorchimportnn,optimimporttorch.nn.functionalasFimportsyssys.path.append("..")importd2lzh_pytorchasd
逐梦er·2020-08-08 10:41

pytorch学习笔记 —— torch.nn.LSTM

使用torch.nn.LSTM可以方便的构建LSTM，不熟悉LSTM的可以先看这两篇文章：RNN：https://blog.csdn.net/yizhishuixiong/article/details/105588233LSTM：https://blog.csdn.net/yizhishuixiong/article/details/105572296下面详细讲述torch.nn.LSTM的使用
piupiurui·2020-08-06 11:39

PyTorch 学习笔记（三）：transforms的二十二个方法

项目代码：https://github.com/tensor-yu/PyTorch_Tutorial系列回顾：PyTorch学习笔记（一）：让PyTorch读取你的数据集Py
spectre7·2020-08-06 11:04

pytorch学习笔记（二十六）：NIN

LeNet、AlexNet和VGG在设计上的共同之处是：先以由卷积层构成的模块充分抽取空间特征，再以由全连接层构成的模块来输出分类结果。其中，AlexNet和VGG对LeNet的改进主要在于如何对这两个模块加宽（增加通道数）和加深。本节我们介绍网络中的网络（NiN）。它提出了另外一个思路，即串联多个由卷积层和“全连接”层构成的小网络来构建一个深层网络。1.NiN块我们知道，卷积层的输入和输出通常是
逐梦er·2020-08-06 11:11

pytorch学习笔记（二十二）：Pooling

文章目录1.二维最大池化层和平均池化层2.填充和步幅3.多通道小结实际图像里，我们感兴趣的物体不会总出现在固定位置：即使我们连续拍摄同一个物体也极有可能出现像素位置上的偏移。这会导致同一个边缘对应的输出可能出现在卷积输出Y中的不同位置，进而对后面的模式识别造成不便。在本节中我们介绍池化（pooling）层，它的提出是为了缓解卷积层对位置的过度敏感性。1.二维最大池化层和平均池化层同卷积层一样，池化
逐梦er·2020-08-06 10:41

pytorch学习笔记（二十三）：卷积神经网络（LeNet）

LeNet使用多层感知机构造一个含单隐藏层的多层感知机模型来对Fashion-MNIST数据集中的图像进行分类。每张图像高和宽均是28像素。我们将图像中的像素逐行展开，得到长度为784的向量，并输入进全连接层中。然而，这种分类方法有一定的局限性。图像在同一列邻近的像素在这个向量中可能相距较远。它们构成的模式可能难以被模型识别。对于大尺寸的输入图像，使用全连接层容易造成模型过大。假设输入是高和宽均为
逐梦er·2020-08-06 10:41

pytorch学习笔记（二十五）：VGG

1.VGG块VGG块的组成规律是：连续使用数个相同的填充为1、窗口形状为3×33\times33×3的卷积层后接上一个步幅为2、窗口形状为2×22\times22×2的最大池化层。卷积层保持输入的高和宽不变，而池化层则对其减半。我们使用vgg_block函数来实现这个基础的VGG块，它可以指定卷积层的数量和输入输出通道数。importtimeimporttorchfromtorchimportnn
逐梦er·2020-08-06 10:57

pytorch学习笔记（二十四）：深度卷积神经网络（AlexNet）

1.AlexNetAlexNet与LeNet的设计理念非常相似，但也有显著的区别。第一，与相对较小的LeNet相比，AlexNet包含8层变换，其中有5层卷积和2层全连接隐藏层，以及1个全连接输出层。下面我们来详细描述这些层的设计。AlexNet第一层中的卷积窗口形状是11×1111\times1111×11。因为ImageNet中绝大多数图像的高和宽均比MNIST图像的高和宽大10倍以上，Ima
逐梦er·2020-08-06 10:57

深度学习入门之PyTorch学习笔记：深度学习框架

深度学习入门之PyTorch学习笔记绪论1深度学习介绍2深度学习框架2.1深度学习框架介绍2.1.1TensorFlow2.1.2Caffe2.1.3Theano2.1.4Torch2.1.5MXNet2.2PyTorch
紫芝·2020-08-05 19:01

深度学习入门之PyTorch学习笔记：深度学习介绍

深度学习入门之PyTorch学习笔记：深度学习介绍绪论1深度学习介绍1.1人工智能1.2数据挖掘、机器学习、深度学习1.2.1数据挖掘1.2.2机器学习1.2.3深度学习第一代神经网络（1958-1969
紫芝·2020-08-05 19:00

pytorch学习笔记3：网络的构建

pytorch学习笔记3：网络的构建参考网址pytorch学习笔记3：网络的构建构建网络定义一个网络lossFunctionBackprop更新权值构建网络我们可以通过torch.nn包来构建网络，现在你已经看过了
xz1308579340·2020-08-05 11:56

PyTorch学习笔记之--环境搭建

PyTorch目前支持的环境PyTorch官方网站是https://pytorch.org/官网上面提供了对应的安装方法。目前已经有了Windows版本的PyTorch，这是令人十分开心的。但是Windows版的只支持Python3，不支持Python2，所以对于Windows用户，如果需要使用Python2，还是需要用Linux虚拟机或者双系统。安装过程安装过程相对来说还是很简单的。可以使用an
xiaoyuge16·2020-08-05 11:16

PyTorch学习笔记四——LSTM手写数字识别

本文学习自莫烦教程importtorchimporttorch.nnasnnfromtorch.autogradimportVariableimporttorchvision.datasetsasdsetsimporttorchvision.transformsastransformsfromtorch.utils.dataimportDataLoaderimportmatplotlib.pypl
润°·2020-08-05 11:05

PyTorch学习笔记：Torchvision数据增强

I前言训练一个优秀的神经网络需要上万的图片数据，而当自己目前的数据集数据不足时（只有几百张图片数据），可以使用数据增强（DataAugmentation）方法来扩充自己的图片数据集。Trochvision是PyTorch框架下的一个图像处理库，其中torchvision.transforms包中的函数可以对数据集中的图片进行处理，以实现数据增强的效果.IIAnaconda环境下安装见https:/
leungwilliams·2020-08-05 11:24

pytorch学习笔记(二十一): 使用 pack_padded_sequence

20191130更新:修改代码中的问题下面附上一张pack_padded_sequence原理图（其实只是将三维的输入去掉PAD的部分搞成了二维的。在RNN前向的时候，根据batch_sizes参数取对应的时间步计算。）在使用pytorch的RNN模块的时候,有时会不可避免的使用到pack_padded_sequence和pad_packed_sequence,当使用双向RNN的时候,必须要使用p
ke1th·2020-08-05 11:50

Pytorch学习笔记

Pytorch学习笔记简介安装安装包方式在线安装本地安装包安装源码方式构建文档使用问题与解决安装PyQt使用找不到torchCUDA相关找不到torchvision简介pytorchpytorchgithubpytorch
如若明镜·2020-08-05 11:11

【Pytorch_2】搭建一个简单的分类器

参考《pytorch学习笔记(1)：开始一个简单的分类器》首先，运行完整代码，看看效果：可以看出来，实现了分类功能，损失值降到了0.33左右。下面开始解析代码。
酸梅果茶·2020-08-05 11:03

pytorch学习笔记（一）-----基础使用篇

这是学习pytorch的学习笔记，个人记录篇pytorch是一个基于Python的科学计算包，目标用户有两类为了使用GPU来替代numpy一个深度学习研究平台：提供最大的灵活性和速度张量Tensor类似于numpy,但是可以使用GPU来进行相关的计算。创建数组：x=torch.Tensor(5,3)维度x=torch.zeros(5,3,dtype=torch.long)维度类型x=torch.t
pure water·2020-08-05 11:02

pytorch学习笔记四：torch.nn下常用网络层(layer)详解

一、卷积层卷积：Conv2d'''in_channels:输入通道数out_channels：输出通道数kernel_size：卷积核尺寸，整数或者元组stride：卷积操作的步幅，整数或者元组padding：数据hw方向上填充的层数，整数或者元组，默认填充的是0dilation：卷积核内部各点的间距，整数或者元组groups：控制输入和输出之间的连接；group=1，输出是所有输入的卷积；gro
万能的小黑Alex·2020-08-05 11:18

pytorch学习笔记十一：查看模型的层和参数信息的几种方式

首先，我们先创建一个只有两层的简单的模型，第一层是没有参数的FlattenLayer,第二层是有参数的Linear.importtorchfromtorchimportnnnum_inputs=784num_outputs=10classFlattenLayer(nn.Module):def__init__(self):super(FlattenLayer,self).__init__()deff
万能的小黑Alex·2020-08-05 11:47

Pytorch学习笔记【12】：RNN（LSTM）实现手写数字识别

注意看代码注释，解析全在注释里面了。1.代码importtorchfromtorchimportnnimporttorchvision.datasetsasdsetsimporttorchvision.transformsastransformsimportmatplotlib.pyplotasplt#torch.manual_seed(1)#reproducible#定义一些参数EPOCH=1#
strong tyj·2020-08-05 10:05

pytorch学习笔记1：线性回归（含代码）亲测可用

回归VS分类对连续型变量做预测叫回归，对离散型变量做预测叫分类线性回归的主要任务是什么？线性回归的任务是找到一个从特征空间X到输出空间Y的最优的线性映射函数。损失：我们要做的是依据我们的训练集，选取最优的θ，在我们的训练集中让h(x)尽可能接近真实的值。h(x)和真实的值之间的差距，我们定义了一个函数来描述这个差距，这个函数称为损失函数，表达式如下：这里的这个损失函数就是著名的最小二乘损失函数，这
跟着小冶一起干·2020-08-05 10:34

pytorch学习笔记（四）ResNet

ResNet以及在CIFAR上实现分类ResNet介绍ResNet全名ResidualNetwork残差网络。KaimingHe的《DeepResidualLearningforImageRecognition》获得了CVPR最佳论文。他提出的深度残差网络在2015年可以说是洗刷了图像方面的各大比赛，以绝对优势取得了多个比赛的冠军。而且它在保证网络精度的前提下，将网络的深度达到了152层，后来又进
UESTC_liuxin·2020-08-05 10:40

PyTorch学习笔记(五) ---- 数据并行处理

转载请注明作者和出处：http://blog.csdn.net/john_bh/文章目录1.使用说明2.完整代码总结1.使用说明学习如何用DataParallel来使用多GPU。通过PyTorch使用多个GPU非常简单。你可以将模型放在一个GPU：device=torch.device("cuda:0")model.to(device)然后，复制所有的张量到GPU：mytensor=my_tens
john_bh·2020-08-05 10:55

Pytorch学习笔记（一）Numpy SciPy MatPlotlib Tutorial

英文原文链接：http://cs231n.github.io/python-numpy-tutorial/NumpyNumpy是Python中科学计算的核心库。它提供了一个高性能的多维数组对象，以及处理这些数组的工具。如果您已经熟悉MATLAB，那么在开始学习Numpy时，您可能会发现本教程非常有用。Arraysnumpy数组是由所有类型相同的值组成的网格，由非负整数的元组索引。维数为数组的秩;数
ditangbi1614·2020-08-05 10:41

【PyTorch学习笔记】23：nn.LSTM和nn.LSTMCell的使用

1nn.LSTM该模块一次构造完若干层的LSTM。1.1构造方法使用nn.LSTM可以直接构建若干层的LSTM，构造时传入的三个参数和nn.RNN一样，依次是：[feature_len,hidden_len,num_layers][feature\_len,hidden\_len,num\_layers][feature_len,hidden_len,num_layers]其中hidden_len
LauZyHou·2020-08-05 10:14

Pytorch学习笔记（二）LSTM

毕业设计的核心算法是LSTM。所以这里用来记录学习LSTM的原理和实现方法。主要的学习材料来源于以下几篇博客：TheUnreasonableEffectivenessofRecurrentNeuralNetworksUnderstandingLSTMNetworksPyTorch实现序列模型和基于LSTM的循环神经网络好了，接下来让我们一起学习吧。（本文图片均出自以上博客）RNN简介：RNN（Re
有理想的熊猫·2020-08-05 10:25

pytorch学习笔记（7）：RNN和LSTM实现分类和回归

参考文档：https://mp.weixin.qq.com/s/0DArJ4L9jXTQr0dWT-350Q在第三篇文章中，我们介绍了pytorch中的一些常见网络层。但是这些网络层都是在CNN中比较常见的一些层，关于深度学习，我们肯定最了解的两个知识点就是CNN和RNN。那么如何实现一个RNN呢？这篇文章我们用RNN实现一个分类器和一个回归器。本文需要你最好对RNN相关的知识有一个初步的认识，然
BUAA～冬之恋·2020-08-05 10:53

pytorch学习笔记（3）：常用网络层介绍

参考文档：https://mp.weixin.qq.com/s/Wxx-8b_36unlimLKBUl8zA前两篇文章了解了如何用pytorch创建一个CNN网络，实现对MNIST数据集的图片分类。其中用到了一些函数，我们从字面意思也可以理解其功能。但是如何灵活自由的构建自己想要的网络结构呢？今天我们介绍一些在DeepLearning中经常听到的一些网络层，以及在pytorch中它们的使用方法。1
BUAA～冬之恋·2020-08-05 10:53

pytorch学习笔记（二十一）：Channels

很多真实数据的维度经常更高。例如，彩色图像在高和宽2个维度外还有RGB（红、绿、蓝）3个颜色通道。假设彩色图像的高和宽分别是hhh和www（像素），那么它可以表示为一个3×h×w3\timesh\timesw3×h×w的多维数组。我们将大小为3的这一维称为通道（channel）维。本节我们将介绍含多个输入通道或多个输出通道的卷积核。1.多输入通道当输入数据含多个通道时，我们需要构造一个输入通道数与
逐梦er·2020-08-05 10:49

pytorch学习笔记（二十）：Padding-And-Strides

假设输入形状是nh×nwn_h\timesn_wnh×nw，卷积核窗口形状是kh×kwk_h\timesk_wkh×kw，那么输出形状将会是(nh−kh+1)×(nw−kw+1).(n_h-k_h+1)\times(n_w-k_w+1).(nh−kh+1)×(nw−kw+1).所以卷积层的输出形状由输入形状和卷积核窗口形状决定。本节我们将介绍卷积层的两个超参数，即填充和步幅。它们可以对给定形状的输
逐梦er·2020-08-05 10:48

pytorch学习笔记（十七）：Read-Write

文章目录1.读写Tensor2.读写模型2.1state_dict2.2保存和加载模型1.保存和加载`state_dict`(推荐方式)2.保存和加载整个模型小结在实际中，我们有时需要把训练好的模型部署到很多不同的设备。在这种情况下，我们可以把内存中训练好的模型参数存储在硬盘上供后续读取使用。1.读写Tensor我们可以直接使用save函数和load函数分别存储和读取Tensor。save使用Py
逐梦er·2020-08-05 10:48

pytorch学习笔记（十八）：Use-Gpu

在本节中，我们将介绍如何使用单块NVIDIAGPU来计算。所以需要确保已经安装好了PyTorchGPU版本。准备工作都完成后，下面就可以通过nvidia-smi命令来查看显卡信息了。!nvidia-smi#对Linux/macOS用户有效输出：SunMar1714:59:572019+---------------------------------------------------------
逐梦er·2020-08-05 10:48

pytorch学习笔记（十六）：Parameters

文章目录1.访问模型参数2.初始化模型参数3.自定义初始化方法4.共享模型参数小结本节将深入讲解如何访问和初始化模型参数，以及如何在多个层之间共享同一份模型参数。我们先定义含单隐藏层的多层感知机。我们使用默认方式初始化它的参数，并做一次前向计算。在这里我们从nn中导入了init模块，它包含了多种模型初始化方法。importtorchfromtorchimportnnfromtorch.nnimpo
逐梦er·2020-08-05 10:48

pytorch学习笔记

一pytorch数据结构Tensor有自己的数据类型，也有CPU和GPU版本的Tensor。torch.set_default_tensor_type修改指定tensor类型，默认是torch.float32ortorch.float。每个元素占用32bit/8=4Byte内存。torch和numpy二者用法类似，二者可以互相转换。有共享内存和不共享内存的情况1.numpy转tensor(1)to
生变论·2020-08-05 10:40

pytorch学习笔记（十九）：二维卷积层

文章目录1.二维互相关运算2.二维卷积层3.图像中物体边缘检测4.通过数据学习核数组卷积神经网络（convolutionalneuralnetwork）是含有卷积层（convolutionallayer）的神经网络。本章中介绍的卷积神经网络均使用最常见的二维卷积层。它有高和宽两个空间维度，常用来处理图像数据。本节中，我们将介绍简单形式的二维卷积层的工作原理。1.二维互相关运算虽然卷积层得名于卷积（
逐梦er·2020-08-05 09:04

pytorch学习笔记-模型保存与加载，断点续训练

一、模型的保存与加载PyTorch中的保存（序列化，从内存到硬盘）与反序列化（加载，从硬盘到内存）torch.save主要参数：•obj：对象•f：输出路径torch.load主要参数•f：文件路径•map_location：指定存放位置,cpuorgpu两种方法：法1:保存整个Moduletorch.save(net,path)法2:保存模型参数state_dict=net.state_dict
化茧成蝶梦成真·2020-08-04 07:24

pytorch学习笔记（十四）————正则化惩罚（减轻overfitting）

pytorch学习笔记（十四）————正则化惩罚（减轻overfitting）目录回顾降低过拟合方法正则化惩罚项常用的正则化公式目录回顾在上一篇博客中我们讲到，当训练模型比真实模型复杂度低的情况叫做underfitting
南风渐起·2020-08-04 07:38

PyTorch学习笔记之数据加载和预处理

PyTorch通过torch.utils.data对一般常用的数据加载进行了封装，可以很容易地实现多线程数据预读和批量加载。并且torchvision已经预先实现了常用图像数据集，包括前面使用过的CIFAR-10,ImageNet,COCO,MNIST,LSUN等数据集，可通过torchvision.datasets方便的调用。DatasetDataset是一个抽象类，为了能够方便的读取，需要将使
汤姆鱼·2020-08-04 06:44

PyTorch学习笔记之神经网络包 nn 和优化器 optim

torch.nn是专门为神经网络设计的模块化接口。构建于Autograd之上，可用来定义和运行神经网络。下面介绍几个常用的类：注：torch.nn为了方便使用，将它设置成nn的别名。除了nn别名以外，我们还引用了nn.functional，这个包中包含了神经网络中使用的一些常用的函数，这些函数的特点是，不具有可学习的参数（ReLu,pool,DropOut等），这些函数可以放在构造函数中，也可以不
汤姆鱼·2020-08-04 06:12

PyTorch学习笔记之自动求导（AutoGrad)

1、使用PyTorch计算梯度数值PyTorch的Autograd模块实现了深度学习的算法中的反向传播求导数，在张量（Tensor类）上的所有操作，Autograd都能为他们自动提供微分，简化了手动计算导数的复杂过程。在04以前的版本中，Pytorch使用Variabe类来自动计算所有的梯度Variable类主要包含三个属性Variable所包含的Tensor；grad：保存data对应的梯度，g
汤姆鱼·2020-08-04 06:12

（五）pytorch学习笔记---内容为学习资源摘录整合のLogistic 回归模型

Logistic回归是一种广义的回归模型，其与多元线性回归有着很多相似之处，模型的形式基本相同，虽然也被称为回归，但是其更多的情况使用在分类问题上，同时又以二分类更为常用。一、模型形式Logistic回归的模型形式和线性回归一样，都是y=wx+b，其中x可以是一个多维的特征，唯一不同的地方在于Logistic回归会对y作用一个logistic函数，将其变为一种概率的结果。Logistic函数作为L
weixin_40245436·2020-08-04 06:54

莫烦PyTorch学习笔记(六)——批处理

1.要点Torch中提供了一种帮你整理你的数据结构的好东西,叫做DataLoader,我们能用它来包装自己的数据,进行批训练.而且批训练可以有很多种途径。2.DataLoaderDataLoader是torch给你用来包装你的数据的工具.所以你要讲自己的(numpyarray或其他)数据形式装换成Tensor,然后再放进这个包装器中.使用DataLoader有什么好处呢?就是他们帮你有效地迭代数据
weixin_30685047·2020-08-04 04:50

pytorch学习笔记（十二）：详解 Module 类

Module是pytorch提供的一个基类，每次我们要搭建自己的神经网络的时候都要继承这个类，继承这个类会使得我们搭建网络的过程变得异常简单。本文主要关注Module类的内部是怎么样的。初始化方法中做了什么def__init__(self):self._backend=thnn_backendself._parameters=OrderedDict()self._buffers=OrderedDi
weixin_30302609·2020-08-04 03:05

pytorch学习笔记(1)—基本类型、运算和简单模型

pytorch学习这篇文章主要讲pytorch框架的学习笔记1.基本数据类型和基本运算1.1张量python导入pytorch为：importtorch在torch中，常量通常表示成张量的类型(Tensor)，与numpy中的array类似。创建一个5行3列的随机初始化张量矩阵为：x=torch.Tensor(5,3)创建5行3列的[0,1]均匀分布的张量矩阵x=torch.rand(5,3)创建
小cui童鞋·2020-08-04 03:07

pytorch学习笔记(2)—构建数据类、图像预处理、读写模型

2.pytorch读数据可以numpy读数据，然后torch.from_numpy转化成torch数据。pytorch中提供了torchvision包可以读入常用的图像数据集CIFAR10,MNIST,也有针对于这些图像的简单变换。importtorchvision.datasetsimporttorch.utils.data.DataLoaderimporttorchvision.transfo
小cui童鞋·2020-08-04 03:35

pytorch学习笔记（十八）：C 语言扩展 pytorch

上篇博文已经介绍了如何通过继承Function，然后使用python来扩展pytorch，本文主要介绍如何通过cffi来扩展pytorch。官网给出了一个MyAdd的Demogithub地址，本文通过这个Demo来搞定如何通过cffi来扩展pytorch。自定义OPpytorch自定义op的基本步骤总结如下。一、C部分：new_op.h:CPUforward(),backward()接口声明new
ke1th·2020-08-04 02:21

pytorch学习笔记（十七）：python 端扩展 pytorch

pytorch虽然提供了很多的op使得我们很容易的使用。但是当已有的op无法满足我们的要求的时候，那就需要自己动手来扩展。pytorch提供了两种方式来扩展pytorch的基础功能。通过继承autograd.Function通过C来扩展本篇博客主要介绍继承autograd.Function来扩展pytorch。官方文档链接继承autograd.Function的子类只需要实现两个静态方法：forw
ke1th·2020-08-04 02:50

pytorch学习笔记（九）：PyTorch结构介绍

PyTorch结构介绍对PyTorch架构的粗浅理解，不能保证完全正确，但是希望可以从更高层次上对PyTorch上有个整体把握。水平有限，如有错误，欢迎指错，谢谢！几个重要的类型和数值相关的TensorVariableParameterbuffer(这个其实不能叫做类型，其实他就是用来保存tensor的)Tensor:PyTorch中的计算基本都是基于Tensor的，可以说是PyTorch中的基本
ke1th·2020-08-04 02:49
上一页 15 16 17 18 19 20 21 22 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他