PyTorch学习笔记

PyTorch学习笔记（三）——激活函数

一、什么是Activation（激活函数）一句话概括激活函数：就是让神经网络可以描述非线性问题的步骤，使神经网络功能变得更强大。如果还不是特别了解,可以参看莫烦制作的动画短片，浅显易懂的阐述了激励函数的作用。二、Torch中的激励函数Torch中的激励函数有很多，不过我们平时要用到的就这几个。relu、sigmoid、tanh和softplus。那我们就看看他们各自长什么样啦。importtorc
Le_ander·2020-07-05 08:10

pytorch学习笔记（三）

文章目录CIFAR图片分类实现数据获取数据分析网络构建训练与可视化CIFAR图片分类实现数据获取这里数据获取依旧使用torchvision，后面会尝试做一点自己的数据集。这里关注一下归一化这个问题,在没有使用BN的情况下，我们通常会对数据进行归一化或者标准化，好处我大概总结了一下：计算机大数吞小数的情况，也就是数值方面的问题在训练中，针对激活函数的非线性性，在区间限制内才有比较好的非线性性。梯度的
UESTC_liuxin·2020-07-05 03:38

Pytorch学习笔记【5】---tensor的拼接和拆分

Pytorch学习笔记【5】—tensor的拼接和拆分Pytorch笔记目录：点击进入文章目录Pytorch学习笔记【5】---tensor的拼接和拆分1.cat2.stack3.根据长度来分割4.通过通道数来分割
Keter_·2020-07-05 02:07

pytorch学习笔记（五）--tensor的高阶操作

wheretorch.where(condition,x,y)#condition必须是tensor类型condition的维度和x，y一致，用1和0分别表示该位置的取值例：输入：cond=torch.tensor([[0.6,0.7],[0.3,0.6]])a=torch.tensor([[1.,1.],[1.,1.]])b=torch.tensor([[0.,0.],[0.,0.]])c=to
ThetaQing·2020-07-04 08:35

【PyTorch学习笔记】6：Broadcasting,对Tensor的合并与拆分,Tensor运算

BroadcastingBroadcasting也就和之前学MPI时候学的广播一样，能够实现自动维度扩展，有点像上节学的expand的功能，但是是自动完成的，而且不需要像repeat那样对数据进行拷贝，可以节省内存。从最后面的维度开始匹配。在前面插入若干维度。将维度的size从1通过expand变到和某个Tensor相同的维度。总之，Broadcasting也就是自动实现了若干unsqueeze和
LauZyHou·2020-07-04 08:25

pytorch学习笔记（3）

#FizzBuzzdeffizz_buzz_encode(i):ifi%15==0:return3elifi%5==0:return2elifi%3==0:return1else:return0deffizz_buzz_decode(i,prediction):return[str(i),'fizz','buzz','fizzbuzz'][prediction]defhelper(i):print
Turing-dz·2020-07-03 09:00

pytorch学习笔记（2）

论文写完了也不让实习，糟糕的环境就不用吐槽了，感觉被生活蹂躏的我身心疲惫，能做的只有忍下去，每天一个人这么将就的活着。没事我还能忍，既然如此，暑假的我还是踏踏实实学习，只希望将来能不辜负自己受的这些苦难，让我爱的人都能幸福的活着，加油。#1.神将网络天气预测,线性回归importnumpyasnpimportpandasaspdimportmatplotlib.pyplotaspltimportt
Turing-dz·2020-07-02 10:00

Pytorch学习笔记之语言模型（四）

语言模型的目标是计算一句话出现的概率有多高？最好的应用即生成类模型，根据一个主题完成一篇描述性文章。最近精彩的项目狗屁不通文章生成器就是典型代表。在线版本请尝试.理论一句话出现的概率：根据条件概率定义，可以推导出因此Markov提出假设：每个单词只跟它之前的n个单词有关。进而推广二元模型（每个单词由它前面一个单词决定）、N元模型（每个单词由它前面N-1个单词决定）。评价语义模型的标准困惑度（Per
GTFQAQ·2020-07-02 01:47

深度学习pytorch学习笔记之自动梯度

上一篇笔记中搭建了一个简单的神经网络模型，前向学习和反向传播都是使用简单的计算，但是随着模型网络的复杂，反向梯度会变得不容易直接计算，因此引入pytorch中的自动梯度降低代码复杂度1.autograd和variabletorch.autograd包主要功能是完成网络反向传播时的链式求导过程大致为：先通过输入的tensor数据类型的变量在神经网络的前向传播中生成一张计算图，然后再根据这个计算图和输
余生相_·2020-07-01 15:33

【PyTorch学习笔记】22：使用nn.RNN构建循环网络预测序列数据的例子

简述在这个例子中，从[k,k+n)[k,k+n)[k,k+n)时刻的正弦函数，要去预测[k+t,k+n+t)[k+t,k+n+t)[k+t,k+n+t)时刻的正弦曲线。因为在每个时刻曲线上的点是一个值，所以这个例子中不需要做embedding，也就是feature_len=1。如果要给出49个时刻的点，也就是seq_len=49。如果只提供一条曲线在训练时喂入，也就是batch=1。按照之前学的表
LauZyHou·2020-07-01 13:13

Datawhale——PyTorch基础(一)

管理器通过命令行安装PyTorchPyTorch基础概念通用代码实现流程(实现一个深度学习的代码流程)参考资料：新手必备|史上最全的PyTorch学习资源汇总快速上手笔记，PyTorch模型训练实用教程（附代码）PyTorch
黑桃5200·2020-07-01 10:49

PyTorch学习笔记——常用函数总结（一）

PyTorch学习笔记——常用函数总结（一）torch.squeeze()和torch.unsqueeze()——对数据的维度进行压缩或者解压torch.linspace()——线性间距向量torch.randn
Yale曼陀罗·2020-06-29 06:53

Pytorch学习笔记-Pytorch的安装和简单测试

安装：1：直接condainstallpytorch-cpu-cpytorch结果：网络超时报错2：把下载源转化到清华镜像https://blog.csdn.net/watermelon1123/article/details/88122020condainstallpytorch-cpupytorch结果：仍然下载报错，网络超时3：去清华软件园直接下载安装包，网址如下：https://mirro
wenqiang su·2020-06-29 06:53

Pytorch学习笔记——过拟合、欠拟合及其解决方案

过拟合、欠拟合及其解决方案1、预备知识1.1模型选择验证数据集：测试集不可用于模型参数的调试，所以需要从训练数据集中分离出一部分数据作为验证数据集用来调参1.2K折交叉验证目前来说深度学习研究的普遍情况是数据量不够庞大，而我们要把模型数据分成训练集、验证集，这样就会导致训练数据更加少，K折交叉验证可以解决这个问题。算法思想大概是，将训练数据集均分成K个不同子集，第i次选取K[i]作为验证集，其余的
DanzerWoo·2020-06-28 21:54

【one way的pytorch学习笔记】(六) 构建网络的标准流程

构建分类网络的套路流程引用相关包写一段代码,先引个包:importtorchimporttorchvisionimporttorchvision.transformsastransformsfromtorch.utils.dataimportDataset,DataLoaderimportmatplotlib.pyplotaspltimportnumpyasnpimporttorch.nnasnn
One__Way·2020-06-27 13:32

pytorch学习笔记（1）

糟糕的环境下除了学习，没什么能做的了，假期不能出去玩，只能一个人在宿舍学习了。刚开始接触pytorch，记录一下学习笔记importtorchprint(torch.__version__)#1.5.1print('gpu:',torch.cuda.is_available())1.手写梯度运算importnumpyasnp#y=wx+bdefcompute_error_for_line_give
Turing-dz·2020-06-27 09:00

pytorch学习笔记(十):learning rate decay(学习率衰减)

pytorchlearningratedecay本文主要是介绍在pytorch中如何使用learningratedecay.先上代码:defadjust_learning_rate(optimizer,decay_rate=.9):forparam_groupinoptimizer.param_groups:param_group['lr']=param_group['lr']*decay_rat
ke1th·2020-06-27 03:11

pytorch学习笔记（十四）： DataLoader源码阅读

pytorch数据加载部分的接口可以说是现存深度学习框架中设计的最好的，给了我们足够的灵活性。本博文就对pytorch的多线程加载模块（DataLoader）进行源码上的注释。输入流水线pytorch的输入流水线的操作顺序是这样的：创建一个Dataset对象创建一个DataLoader对象不停的循环这个DataLoader对象dataset=MyDataset()dataloader=DataLo
ke1th·2020-06-27 03:11

pytorch学习笔记二：pytorch构建模型的几种方式

pytorch构建模型整体上看主要有两种方式，一种是继承torch.nn.Module类，另一种就是直接使用继承自该类的子类：Sequential，ModuleList，ModuleDict。一、继承torch.nn.Module类Module类是nn模块里提供的一个模型构造类，是所有神经网络模块的基类，我们可以继承它来定义我们想要的模型。这里定义的MLP类重载了Module类的__init__函
万能的小黑Alex·2020-06-25 16:51

YOLOv3-Pytorch学习笔记

五月一直埋头钻研FasterR-CNN，但苦于电脑不支持GPU，一直连个简单的结果都没跑出来（期间还挣扎着安装CUDA，结果就是Ubuntu系统一崩再崩）,心情经常很低落。终于在五月末决定先转到YOLOv3,毕竟人生苦短...下面附上我最近对于YOLOv3的学习：YOLO官网：https://pjreddie.com/darknet/yolo/YOLOv3论文链接：https://pjreddie
是木对啊·2020-06-25 10:10

[Python/PyTorch基础] PyTorch学习笔记

目录Numpy与TensorTensor概述创建Tensor修改Tensor形状PyTorch采用Python语言接口来实现编程，它就像带GPU的Numpy，与Python一样都属于动态框架。PyTorch继承了Torch灵活、动态的编程环境和用户友好的界面，支持以快速和灵活的方式构建动态神经网络，还允许在训练过程中快速更改代码而不妨碍其性能，支持动态图形等尖端AI模型的能力，是快速实验的理想选择
吃吃爱学习·2020-06-24 12:50

Pytorch学习笔记之训练词向量（三）

Pytorch学习笔记之Pytorch训练词向量（三）学习目标学习词向量的概念用Skip-thought模型训练词向量学习使用PyTorchdataset和dataloader学习定义PyTorch模型学习
GTFQAQ·2020-06-23 11:44

Pytorch学习笔记-第五章

Pytorch学习笔记-第五章常用模块数据处理视觉工具包torchvisionImageFolderDataLoader多进程Sample可视化工具TensorboardVisdomGPU加速cuda损失函数使用建议并行化固化数据一般
Sigyc·2020-06-23 10:13

PyTorch学习笔记(18) ——基于pytorch 1.1.0编写cuda扩展

0.前言对于一些特殊的算子,我们需要进行定制其前向和反向的过程,从而使得其能够获得更快的速度,加速模型的训练.这样,我们自然会想到使用PyTorch的cuda扩展来实现,这里,我将以一个简单且易于理解的例子出发,详细的介绍如何构造一个属于你的cuda扩展.1.为什么需要写cuda扩展?由于我们的一些特殊结构可以由基础的pytorch提供的算子进行组合而形成,但是,其问题是[1]:虽然已经使用了NV
sooner高·2020-06-23 09:05

PyTorch学习笔记(21) ——损失函数

.^1.损失函数本文是PyTorch学习笔记(20)——激活函数的姊妹篇。PyTorch实现了许多损失函数，这些我们将介绍其中的一些。
sooner高·2020-06-23 09:05

PyTorch学习笔记(19) ——NIPS2019 PyTorch: An Imperative Style, High-Performance Deep Learning Library

0.前言波兰小哥AdamPaszke从15年的Torch开始，到现在发表了关于PyTorch的Neurips2019论文(令我惊讶的是只中了Poster？而不是Spotlight？)。中间经历了漫长的过程。这里，把原文进行翻译放出来，以供读者了解这几个问题：为什么要设计PyTorch？PyTorch与之前的深度学习framework的区别是什么？PyTorch有什么设计准则？是什么导致了PyTor
sooner高·2020-06-23 09:05

PyTorch学习笔记(20) ——激活函数

0.前言本博客内容翻译自纽约大学数据科学中心在2020发布的《DeepLearning》课程的ActivationFunctionsandLossFunctions部分.废话不多说，下面直接开始吧^.^1.激活函数本内容将回顾一些重要的激活函数以及其在PyTorch中的实现，它们来自各种各样的论文，并在一些任务上有着优异的表现~ReLUtorch.nn.ReLU()ReLU的函数图示如下:RReL
sooner高·2020-06-23 09:05

pytorch学习笔记——网络架构再调整（6）

之前使用了BatchNorm方案进行正则化，效果尚不是很好。是不是我们的网络没有提升空间了呢？我们换一个角度对我们之前的网络架构进行审视。之前的架构，每次卷积层的padding都为0，从某个层面上来说我们并没有充分利用好图像的边缘信息，于是我们对网络的架构进行了再次的调整。将部卷积层的padding置为1，并使用大卷积核，与此同时在末尾增加了池化层。改良后的网络架构如下：Layer(type)Ou
wuzhiyuan2000·2020-06-23 09:55

pytorch之dataloader深入剖析

本文内容转自：https://www.cnblogs.com/ranjiewen/p/10128046.htmlPyTorch学习笔记(6)——DataLoader源代码剖析dataloader本质是一个可迭代对象
flying_ant2018·2020-06-23 08:45

动手深度学习Pytorch笔记

Pytorch学习笔记参考资料数据操作第三章3.1线性回归3.2线性回归的从零开始实现3.3线性回归的简洁实现3.4SOFTMAX回归3.5图像分类数据集(FASHION-MNIST)3.5.1获取数据集
duter_sun先生·2020-06-23 06:07

Pytorch学习手札(一)---安装、数据类型、张量

Pytorch学习笔记系列一1.安装2.PyTorch基本数据类型3.数据类型14.数据类型25.张量的定义6.张量的形状大小7.DIM和size8.张量的创建9.张量的初始化9.1设置默认的类型10.
郑德帅·2020-06-19 23:10

Pytorch学习笔记-第二章

Pytorch学习笔记第二章快速入门Tensor初始化Tensor之间运算索引选取复制autogradNN小试牛刀记录一下个人学习和使用Pytorch中的一些问题。
Sigyc·2020-06-12 10:30

Pytorch学习笔记【3】 --tensor切片

Pytorch学习笔记【3】--tensor切片Pytorch笔记目录：点位进入文章目录Pytorch学习笔记【3】--tensor切片1.indexing索引2.切片3....4.通过掩码来处理flattenindex1
Keter_·2020-05-09 12:50

pytorch学习笔记 —— torch.nn.Module

torch.nn.Module（以下简称Module）是所有神经网络模块的基类，在pytorch中，自定义层、自定义块、自定义模型都可以通过继承Module类来实现；Module中有许多方法，在自定义类时必须重写其中的两个方法：__init__和forward；__init__中存放模型的固有属性，如：全连接层、卷积层等等；forward中写各层之间的连接计算关系，即前向传播（实现模型的功能）；注
piupiurui·2020-04-25 13:31

pytorch学习笔记(2)—构建数据类、图像预处理、读写模型

2.pytorch读数据可以numpy读数据，然后torch.from_numpy转化成torch数据。pytorch中提供了torchvision包可以读入常用的图像数据集CIFAR10,MNIST,也有针对于这些图像的简单变换。importtorchvision.datasetsimporttorch.utils.data.DataLoaderimporttorchvision.transfo
cuiyr123·2020-04-11 08:02

pytorch学习笔记九：通过torch.utils.tensorboard在pytorch中使用tensorboard

参考文章：详解PyTorch项目使用TensorboardX进行训练可视化这篇文章虽然说的是TensorboardX,但其实只要我们把TensorboardX直接换成torch.utils.tensorboard就可以了，至少经过我的测试是没有问题的，如果有问题欢迎大家指出来！！！一、环境准备：我的环境是最新的pytorch1.4，然后使用pipinstalltensorflow在pytorch中
2021_277·2020-04-09 14:21

pytorch学习笔记七：torchvision.datasets.ImageFolder使用详解

一、数据集组织方式ImageFolder是一个通用的数据加载器，它要求我们以下面这种格式来组织数据集的训练、验证或者测试图片。root/dog/xxx.pngroot/dog/xxy.pngroot/dog/xxz.pngroot/cat/123.pngroot/cat/nsdf3.pngroot/cat/asd932_.png对于上面的root，假设data文件夹在.py文件的同级目录中，那么r
2021_277·2020-04-08 21:51

pytorch学习笔记（五）调参优化

在CIFAR上的优化调参前言这次的实验主要是为了针对笔记（三）和笔记（四）上的后续的操作，同时也是为了撰写高级数字图像处理的论文而做理论和数据准备。网络结构更换自定义网络第一次实验是在自己设计的一个7层网络上进行的，2层卷机层，2层池化层，3层全连接层。训练过程未做任何处理，最后结果在40%。包括后来调整了很多参数，最后只能达到下面的效果。从上面的图可以明显的看到，此模型的训练误差不能收敛到一个较
灯晃码农liuxin·2020-04-08 09:11

动手学深度学习pytorch学习笔记—基于锚框的目标检测基础

目标检测基础（学渣版）代码没几行，注释写成翔参考文献：1）动手学DLPyTorch版本2）MXNet版本(原版)目标检测算法通常会在输入图像中采样大量的区域，然后判断这些区域中是否包含我们感兴趣的目标，并调整区域边缘从而更准确地预测目标的真实边界框（ground-truthboundingbox）。不同的模型使用的区域采样方法可能不同。这里我们介绍其中的一种方法：它以每个像素为中心生成多个大小和宽
卡塞尔学院临时副主任·2020-04-05 12:40

pytorch学习笔记：dataloader与dataset

sampler:生成索引dataset:根据索引读取图片及标签DataloaderEpoch:所有训练样本都输入到模型中，成为一个epochiteration：一批样本输入到模型中，称之为一个iterrationbatchsize：批大小，决定一个epoch有多少iterationDataset加入transform后的流程图sampler：选出读取数据的indexdataset：设置读取数据的目
小杰.·2020-03-27 10:55

PyTorch学习笔记——图像处理（transforms.Normalize 归一化）

PyTorch学习笔记——图像处理transforms.Normalize归一化回顾torchvision.ToTensor归一化transforms.Normalize公式回顾torchvision.ToTensor
WinstonYF·2020-03-10 11:38

PyTorch学习笔记4——神经网络快速搭建法（torch.nn.Sequential））

torch.nn.Sequential是一个Sequential容器，可以按照自己的需求，把不同的函数或组合成的模块添加到自己定义的网络中。比如，搭建一个两层神经网络（输入特征数为2，隐藏层神经元数为10且使用ReLu激活函数，输出特征数为2）有两种方法定义该网络：1.定义网络类并继承torch.nn.Module模块，这样可以根据自己的需求改变传播过程，forward函数是自己定义的。class
pissjello·2020-03-05 14:27

PyTorch学习笔记3——搭建分类模型

莫烦PYTHONPyTorch教程P12搭建分类模型代码importtorchfromtorch.autogradimportVariableimportmatplotlib.pyplotaspltimporttorch.nn.functionalasF'''教程P12：利用torch解决分类问题'''n_data=torch.ones(100,2)#normal函数表示表示张量2*n_data附
pissjello·2020-03-03 18:30

Pytorch学习笔记Day一（Numpy学习）

Numpy学习数组有几个非常重要的概念1、维度Dimensions,叫作轴axes2、轴的个数叫作秩rank例：[[0,0,0],[0,0,0]]ndarray.ndim=2：数组轴的个数。二维数组ndarray.shape=（2，3）:数组的维度。(n,m)ndarray.size=6:数组元素总个数。n*mndarray.dtype=int64:数组元素数据类型。ndarray.itemsiz
sinxuesong1·2020-02-17 21:05

Pytorch的优化器总结

本文是从网上的资料加上自己的总结而来的，要感谢PyTorch学习笔记（七）：PyTorch的十个优化器：https://blog.csdn.net/u011995719/article/details/
ForCLovC·2020-02-06 17:50

pytorch学习笔记（六）——pytorch进阶教程之tensor数学运算

pytorch学习笔记（六）——pytorch进阶教程之合并与分割目录tensor的加减乘除----add/sub/mul/divtensor的矩阵相乘----mm,matmul/@2d以上的tensor
南风渐起·2020-02-04 19:13

pytorch学习笔记（六）——pytorch进阶教程之合并与分割

pytorch学习笔记（六）——pytorch进阶教程之合并与分割目录合并----cat合并----stack拆分----split拆分----chunk目录合并----cat假设有两份数据，一份是属于班级
南风渐起·2020-02-04 17:07

（五）pytorch学习笔记

作者：chen_h微信号&QQ：862251340微信公众号：coderpai（一）pytorch学习笔记（二）pytorch学习笔记（三）pytorch学习笔记（四）pytorch学习笔记（五）pytorch
coderpai·2020-02-04 11:20

pytorch学习笔记（五）——pytorch基础之索引与切片

pytorch学习笔记（五）——pytorch基础之索引与切片目录索引切片步长具体的索引...使用mask索引使用打平后的序列目录索引a=torch.rand(4,3,28,28)#随机生成一个四维度的
南风渐起·2020-02-02 16:39

莫烦 - Pytorch学习笔记 [ 一 ]

1.NumpyVSTorch#相互转换np_data=torch_data.numpy()torch_data=torch.from_numpy(np_data)#absdata=[1,2,-2,-1]#arraytensor=torch.FloatTensor(data)#32bit传入普通数组np.abs(data);torch.abs(tensor);#矩阵相乘data.dot(data)#
Sonata爱学习·2020-02-01 23:00
上一页 18 19 20 21 22 23 24 25 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他