PyTorch学习笔记

深度学习入门之PyTorch学习笔记

深度学习入门之PyTorch学习笔记绪论1深度学习介绍2深度学习框架3多层全连接网络4卷积神经网络5循环神经网络6生成对抗网络7深度学习实战绪论深度学习如今已经称为科技领域最炙手可热的技术，帮助你入门深度学习
紫芝·2020-08-13 10:33

【深度学习】Pytorch学习笔记（二）

pytorch搭建神经网络进行回归：importtorchimportimageioimporttorch.nn.functionalasFimportmatplotlib.pyplotaspltx=torch.sort(5*torch.rand(100,1),dim=0)[0]y=torch.sin(x)y[::5,:]+=3*(0.5-torch.rand(20,1))classModel(t
Legolas~·2020-08-13 10:27

pytorch学习笔记（四）之mnist数字识别_多层卷积层网络

pytorch学习笔记（四）之mnist数字识别_多层卷积层网络2020.2.5pytorch学习笔记1.与神经元连接的空间大小叫做神经元的感受野(receptivefield),其实就是滤波器的宽和高
薄小盒子·2020-08-13 10:46

PyTorch学习笔记（15）权值初始化

权值初始化梯度消失梯度爆炸两个相互独立的随机变量乘积的期望等于他们各自期望的乘积1.E(X∗Y)=E(X)∗E(Y)\text{1.}\mathrm{E}(\boldsymbol{X}*\boldsymbol{Y})=\boldsymbol{E}(\boldsymbol{X})*\boldsymbol{E}(\boldsymbol{Y})1.E(X∗Y)=E(X)∗E(Y)方差的公式2.D(X)=
TongYixuan_LUT·2020-08-13 10:39

Pytorch学习笔记系列 - 激活函数

1什么是激活函数（activationfunctions）？在神经网络中经常会提及激活函数的概念，那么什么是激活函数？为什么要使用激活函数？激活函数是为了解决实际生活中不能使用线性方程概括的问题。那么什么是线性方程呢？举个例子来说，一道菜越好吃，那么吃的人越多，这就是一个线性问题（Linear）。现在将例子所处的环境改成在校园中，菜越好吃，吃的人数也不能无穷增长下去，那么此时线性问题就转化为非线性
带鱼工作室·2020-08-13 10:25

深度学习之PyTorch学习笔记一

本文是记录在学习深度学习的过程中对PyTorch框架的学习过程，1.什么是PyTorch？为什么选择PyTorch？PyTorch是一个开源的Python机器学习库，基于Torch，由Facebook推出，应用于人工智能领域。PyTorch主要有两大特征：NumPy的张量计算，但使用GPU加速基于带基自动微分系统的深度神经网络为什么要选择PyTorch呢？下面以应用最广泛的框架TensorFlow
cannibalistic-galaxy·2020-08-13 10:38

pytorch学习笔记3--activation function 激活函数

一、什么是激活函数激活函数在深度学习中应用广泛。所谓激活函数，就是在神经网络的神经元上运行的函数，负责将神经元的输入(inputlayer)映射到输出端(outputlayer)，也就是对隐藏层(hiddenlayer)进行处理的函数。常见的激活函数包括sigmoid、tanh、relu、softplus和softmax函数。二、这些函数的图像这些函数的共同特点就是他们都是非线性函数，下面它们各自
赵 XiaoQin·2020-08-13 10:57

PyTorch学习笔记1---张量

PyTorch中数据集用Tensor来表示，Tensor与Python中的List类似，但是其内部存储时以连续内存单元存储，可以通过下标计算出内存地址，然后直接读出数值，因此存取效率很高，同时由于与Numpy的内存存储基本相同，所以numpy的ndarray与Tensor之间转换，不论有多少元素，其转换只需数毫秒，非常高效。同时，Tensor可以在GPU上运行，因此比numpy的效率要高。Tens
最老程序员闫涛·2020-08-13 10:13

pytorch学习笔记（三十八）：Image-Augmentation

文章目录图像增广1.常用的图像增广方法1.1翻转和裁剪1.2变化颜色1.3叠加多个图像增广方法2.使用图像增广训练模型2.1使用图像增广训练模型小结图像增广图像增广（imageaugmentation）技术通过对训练图像做一系列随机改变，来产生相似但又不同的训练样本，从而扩大训练数据集的规模。图像增广的另一种解释是，随机改变训练样本可以降低模型对某些属性的依赖，从而提高模型的泛化能力。例如，我们可
逐梦er·2020-08-13 09:37

莫烦pytorch学习笔记5

莫烦pytorch学习笔记51自编码器2代码实现1自编码器自编码，又称自编码器（autoencoder），是神经网络的一种，经过训练后能尝试将输入复制到输出。
dayday学习·2020-08-12 13:47

Pytorch学习笔记(一)----安装Pytorch

Pytorch学习笔记(一)----安装Pytorch说明：默认已安装好Anaconda3与CUDA。因之前有用python研究过爬虫与tensorflow，所以这两个电脑里有。
oneday_某天·2020-08-12 13:45

Pytorch学习笔记

Pytorch学习笔记Pytorch基础Tensor数据类型Tensor的运算torchandtorchvisiontorch.nn使用torch.nn搭建简单模型的代码如下：torch.optimtroch.transformstorch.transforms.Composetorch.nn.Conv2dtroch.nn.MaxPool2dtorch.nn.BatchNorm2dtorch.nn
iceks·2020-08-12 11:51

PyTorch学习笔记(九) ---- PyTorch保存和加载模型

转载请注明作者和出处：http://blog.csdn.net/john_bh/文章目录1.state_dict2.保存和加载推理模型2.1保存/加载state_dict（推荐使用）2.2保存/加载完整模型2.3保存/加载.t72.4保存模型文件类型.pt,.pth,.pkl,.t7的区别3.保存和加载Checkpoint用于推理/继续训练4.在一个文件中保存多个模型5.使用在不同模型参数下的热启
john_bh·2020-08-12 10:43

PyTorch 学习笔记(二): 可视化与模型参数计算

PyTorch学习笔记PyTorch学习笔记(二):可视化与模型参数计算1.可视化2.计算模型参数PyTorch学习笔记(二):可视化与模型参数计算1.可视化frommodelsimportDarknetfromtorchvizimportmake_dot
狒狒空空·2020-08-12 10:38

Pytorch学习笔记【15】：Q-learning强化学习算法简单实现

这个没有基础没法看的，建议没有基础的先看看我的另一篇博客，会介绍强化学习以及Q-learng算法流程：https://blog.csdn.net/qq_36499794/article/details/103162841一.代码importtorchimporttorch.nnasnnimporttorch.nn.functionalasFimportnumpyasnpimportgym#定义参数
strong tyj·2020-08-12 10:28

Pytorch学习笔记【17】：pytorch的多个参数可以动态改变？

1.代码动态体现：stepimporttorchfromtorchimportnnimportnumpyasnpimportmatplotlib.pyplotasplt#torch.manual_seed(1)#reproducible#HyperParametersINPUT_SIZE=1#rnninputsize/imagewidthLR=0.02#learningrateclassRNN(n
strong tyj·2020-08-12 10:28

Pytorch学习笔记【14】：自编码（autoencoder）

一.什么是自编码自编码是什么呢？就是说假如我们需要训练的数据量非常大，那么神经网络的压力是很大的，所以我们可以将其压缩一下，再解压，通过对比解压之后的和原来的数据，反向传播去训练，训练好之后，我们再需要用到这批数据，就只需用压缩之后的数据即可，这样就大大减小了神经网络的训练压力，增加了训练效率。看下图就明白了：二.简单自编码模型实现（以手写数字数据集为例子）1.代码importtorchimpor
strong tyj·2020-08-12 10:27

PyTorch 学习笔记(一)：transforms&imgaug

PyTorch学习笔记(一)：transforms&imgaug1.transformshttps://blog.csdn.net/u011995719/article/details/851070092
狒狒空空·2020-08-12 10:22

pytorch学习笔记（三十七）：Adam

文章目录Adam算法1.算法2.从零开始实现3.简洁实现小结Adam算法Adam算法在RMSProp算法基础上对小批量随机梯度也做了指数加权移动平均[1]。下面我们来介绍这个算法。所以Adam算法可以看做是RMSProp算法与动量法的结合。1.算法Adam算法使用了动量变量vt\boldsymbol{v}_tvt和RMSProp算法中小批量随机梯度按元素平方的指数加权移动平均变量st\boldsy
逐梦er·2020-08-12 10:17

pytorch学习笔记（一）：ignite（训练模型的高级API）

例子fromargparseimportArgumentParserfromtorchimportnnfromtorch.optimimportSGDfromtorchvision.transformsimportCompose,ToTensor,Normalizefromignite.enginesimportEvents,create_supervised_trainer,create_sup
i偏闹ii·2020-08-11 22:57

Pytorch学习笔记

Pytorch学习笔记深度学习中的batch、epoch、iteration的含义深度学习的优化算法，说白了就是梯度下降。每次的参数更新有两种方式。
长安过客君·2020-08-11 04:28

PyTorch 学习笔记（五）：Finetune和各层定制学习率

项目代码：https://github.com/tensor-yu/PyTorch_Tutorial系列回顾：PyTorch学习笔记（一）：让PyTorch读取你的数据集Py
spectre7·2020-08-11 04:51

（八）pytorch学习笔记---内容为学习资源摘录整合の梯度下降方法--Adagrad（3）

Adagrad这个优化算法被称为自适应学习率优化算法，之前我们讲的随机梯度下降以及动量法对所有的参数都使用的固定的学习率进行参数更新，但是不同的参数梯度可能不一样，所以需要不同的学习率才能比较好的进行训练，但是这个事情又不能很好地被人为操作，所以Adagrad便能够帮助我们做这件事。Adagrad的想法非常简单，在每次使用一个batchsize的数据进行参数更新的时候，我们需要计算所有参数的梯度，
weixin_40245436·2020-08-11 04:12

（九）pytorch学习笔记---内容为学习资源摘录整合の梯度下降方法--RMSProp（4）

RMSPropRMSprop是由GeoffHinton在他Coursera课程中提出的一种适应性学习率方法，至今仍未被公开发表。前面我们提到了Adagrad算法有一个问题，就是学习率分母上的变量s不断被累加增大，最后会导致学习率除以一个比较大的数之后变得非常小，这不利于我们找到最后的最优解，所以RMSProp的提出就是为了解决这个问题。RMSProp算法defrmsprop(parameters,
weixin_40245436·2020-08-11 04:12

Pytorch学习笔记（1）第四章 神经网络工具箱nn

今天学习内容：https://github.com/chenyuntc/pytorch-book/blob/master/chapter4-%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C%E5%B7%A5%E5%85%B7%E7%AE%B1nn/chapter4.ipynb#Sequential的三种写法net1=nn.Sequential()net1.add_modul
weixin_39759634·2020-08-11 04:37

3.0 神经网络 - PyTorch学习笔记

神经网络(NEURALNETWORK)神经网络可以通过torch.nn包来构建上节课已经学习了autograd，nn是在autograd的基础上定义和区分模型。一个nn.Module包含了层，和一个forward(input)来返回output。以典型LetNet-5网络举例：这是一个简单的前馈（feed-forward）网络。具有输入，将输入馈送到一层接一层，最后输出。结构详解参考：Fly~~~
Jichao Zhao·2020-08-11 04:30

【one way的pytorch学习笔记】(五)构建基础神经网络LeNet

基础LeNet定义网络importtorchimporttorch.nnasnnimporttorch.nn.functionalasFclassNet(nn.Module):def__init__(self):super(Net,self).__init__()#1inputimagechannel,6outputchannels,3x3squareconvolution#kernelself.
One__Way·2020-08-11 04:17

PyTorch学习笔记-4.PyTorch损失优化

4.PyTorch损失优化4.1.权值初始化4.1.1.梯度消失与爆炸对于一个含有多层隐藏层的神经网络来说，当梯度消失发生时，接近于输出层的隐藏层由于其梯度相对正常，所以权值更新时也就相对正常，但是当越靠近输入层时，由于梯度消失现象，会导致靠近输入层的隐藏层权值更新缓慢或者更新停滞。这就导致在训练时，只等价于后面几层的浅层网络的学习。梯度爆炸与之相反。例如下图的神经网络：其中，，，对求导得：从上式
ruoqi23·2020-08-11 04:12

一、pytorch学习笔记之简单分类器的构建

1.下载训练集数据和测试集数据2.利用pytorch定义一个CNN：CNN结构：conv1-->relu-->pool-->conv2-->relu-->pool-->view()-->fc1-->relu-->fc2-->relu-->f3pytorch中神经网络的一般形式:classNet(nn.Module):def__init__(self):super(Net,self).__init_
Traviscxy·2020-08-11 03:39

Pytorch学习笔记【9】：实战！对比各种优化器的训练效率

注意看代码注释，解析全在注释里面！！！1.代码：importtorchimporttorch.utils.dataasDataimporttorch.nn.functionalasFimportmatplotlib.pyplotasplt"""此段代码用于对比各种优化器在神经网络训练时候的训练速度"""#定义一些参数，学习率，每一批的训练数据，以及训练的次数LR=0.01BATCH_SIZE=32
strong tyj·2020-08-11 03:17

PyTorch学习笔记

关于Pytorch！原文网址见Pytorch是什么？关于Pytorch！PyTorch是一个提供两个高级功能的python包：具有强GPU加速度的张量计算（如numpy）深层神经网络建立在基于磁带的自动调整系统上PyTorch在细粒度级别是由以下组件组成的库：包:描述torch:像NumPy这样的Tensor图书馆，拥有强大的GPU支持torch.autograd:一种基于磁带的自动分类库，支持所
Florence_Janie·2020-08-11 03:35

pytorch学习笔记

pytorch学习笔记文章目录pytorch学习笔记第一部分：pytorch入门1.1介绍pytorch1.2安装1.3张量1.4自动求导机制1.5神经网络包nn和优化器optm1.6数据的加载与预处理第一部分
今天又是充满希望的一天·2020-08-11 03:45

pytorch学习笔记（三）Pytorch 神经网络

参考package的使用方法：https://pytorch-cn.readthedocs.io/zh/latest/神经网络可以通过torch.nn包来构建。一个典型的神经网络训练过程包括以下：定义一个包含可训练参数的神经网络迭代整个输入通过神经网络处理输入计算损失loss反向传播梯度到神经网络的参数更新网络的参数，典型的更新方法是：weight=weight-learning_rate*gra
Tra_cy·2020-08-11 02:24

【PyTorch学习笔记】21：nn.RNN和nn.RNNCell的使用

这节学习PyTorch的循环神经网络层nn.RNN，以及循环神经网络单元nn.RNNCell的一些细节。1nn.RNN涉及的TensorPyTorch中的nn.RNN的数据处理如下图所示。每次向网络中输入batch个样本，每个时刻处理的是该时刻的batch个样本，因此xtx_txt是shape为[batch,feature_len][batch,feature\_len][batch,featur
LauZyHou·2020-08-11 02:45

Pytorch学习笔记——nn.RNN()

pytorch中使用nn.RNN类来搭建基于序列的循环神经网络，其构造函数如下：nn.RNN(input_size,hidden_size,num_layers=1,nonlinearity=tanh,bias=True,batch_first=False,dropout=0,bidirectional=False)RNN的结构如下：RNN可以被看做是同一神经网络的多次赋值，每个神经网络模块会把消
Marilynmontu·2020-08-11 02:58

Pytorch学习笔记

问题7：在预训练模型基础上fine-tune时，loss变为nana.梯度爆炸造成loss爆炸原因很简单，学习率较高的情况下，直接影响到每次更新值的程度比较大，走的步伐因此也会大起来。过大的学习率会导致无法顺利地到达最低点，稍有不慎就会跳出可控制区域，此时我们将要面对的就是损失成倍增大(跨量级)。解决方法也很简单，降低初始的学习率，并设置学习率衰减。b.输入数据的正确性（是否存在脏样本）在训练的时
Jeremy_lf·2020-08-11 02:47

pytorch学习笔记（三十七）：RMSProp

文章目录RMSProp算法1.算法2.从零开始实现3.简洁实现小结RMSProp算法AdaGrad算法中因为调整学习率时分母上的变量st\boldsymbol{s}_tst一直在累加按元素平方的小批量随机梯度，所以目标函数自变量每个元素的学习率在迭代过程中一直在降低（或不变）。因此，当学习率在迭代早期降得较快且当前解依然不佳时，AdaGrad算法在迭代后期由于学习率过小，可能较难找到一个有用的解。
逐梦er·2020-08-11 02:34

pytorch学习笔记（三十四）：MiniBatch-SGD

文章目录小批量随机梯度下降1.读取数据2.从零开始实现3.简洁实现小结小批量随机梯度下降在每一次迭代中，梯度下降使用整个训练数据集来计算梯度，因此它有时也被称为批量梯度下降（batchgradientdescent）。而随机梯度下降在每次迭代中只随机采样一个样本来计算梯度。正如我们在前几章中所看到的，我们还可以在每轮迭代中随机均匀采样多个样本来组成一个小批量，然后使用这个小批量来计算梯度。下面就来
逐梦er·2020-08-11 02:33

pytorch学习笔记（三十五）：Momentum

文章目录动量法1.梯度下降的问题2.动量法2.1指数加权移动平均2.2由指数加权移动平均理解动量法3.从零开始实现4.简洁实现小结动量法目标函数有关自变量的梯度代表了目标函数在自变量当前位置下降最快的方向。因此，梯度下降也叫作最陡下降（steepestdescent）。在每次迭代中，梯度下降根据自变量当前位置，沿着当前位置的梯度更新自变量。然而，如果自变量的迭代方向仅仅取决于自变量当前位置，这可能
逐梦er·2020-08-11 02:33

pytorch学习笔记（三十六）：AdaGrad

文章目录AdaGrad算法1.算法2.特点3.从零开始实现4.简洁实现小结AdaGrad算法在之前介绍过的优化算法中，目标函数自变量的每一个元素在相同时间步都使用同一个学习率来自我迭代。举个例子，假设目标函数为fff，自变量为一个二维向量[x1,x2]⊤[x_1,x_2]^\top[x1,x2]⊤，该向量中每一个元素在迭代时都使用相同的学习率。例如，在学习率为η\etaη的梯度下降中，元素x1x_
逐梦er·2020-08-11 02:33

pytorch学习笔记（三十二）：长短期记忆（LSTM）

文章目录1.长短期记忆1.1输入门、遗忘门和输出门1.2候选记忆细胞1.3记忆细胞1.4隐藏状态2.读取数据集3.从零开始实现3.1初始化模型参数4.定义模型4.1训练模型并创作歌词5简洁实现小结本节将介绍另一种常用的门控循环神经网络：长短期记忆（longshort-termmemory，LSTM）。它比门控循环单元的结构稍微复杂一点。1.长短期记忆LSTM中引入了3个门，即输入门（inputga
逐梦er·2020-08-11 02:33

pytorch学习笔记（十五）：模型构造

文章目录1.继承Module类来构造模型2.Module的子类2.1Sequential类2.2ModuleList类2.3ModuleDict类3.构造复杂的模型小结这里我们介绍一种基于Module类的模型构造方法：它让模型构造更加灵活。1.继承Module类来构造模型Module类是nn模块里提供的一个模型构造类，是所有神经网络模块的基类，我们可以继承它来定义我们想要的模型。下面继承Modul
逐梦er·2020-08-11 02:32

pytorch学习笔记（三十三）：梯度下降和随机梯度下降

文章目录前言1.一维梯度下降2.学习率3.多维梯度下降4.随机梯度下降小结前言在本节中，我们将介绍梯度下降（gradientdescent）的工作原理。虽然梯度下降在深度学习中很少被直接使用，但理解梯度的意义以及沿着梯度反方向更新自变量可能降低目标函数值的原因是学习后续优化算法的基础。随后，我们将引出随机梯度下降（stochasticgradientdescent）。1.一维梯度下降我们先以简单的
逐梦er·2020-08-11 02:39

pytorch学习笔记系列（3）：Logistic Regression实现MNIST数据集分类

importtorchimporttorch.nnasnnimporttorchvisionimporttorchvision.transformsastransforms#超参数input_size=784num_classes=10num_epochs=5batch_size=100learning_rate=0.001#MNISTdataset(imagesandlabels)train_d
BruceWu1234·2020-08-10 02:57

深度学习入门之PyTorch学习笔记：多层全连接网络

深度学习入门之PyTorch学习笔记绪论1深度学习介绍2深度学习框架3多层全连接网络3.1PyTorch基础3.2线性模型3.2.1问题介绍3.2.2一维线性回归3.2.3多维线性回归3.2.4一维线性回归的代码实现
紫芝·2020-08-10 00:57

pytorch学习笔记（三十一）：门控循环单元（GRU）

文章目录前言1.门控循环单元1.1重置门和更新门1.2候选隐藏状态1.3隐藏状态2.读取数据集3.从零开始实现3.1初始化模型参数3.2定义模型3.3训练模型并创作歌词4.简洁实现小结前言当时间步数较大或者时间步较小时，循环神经网络的梯度较容易出现衰减或爆炸。虽然裁剪梯度可以应对梯度爆炸，但无法解决梯度衰减的问题。通常由于这个原因，循环神经网络在实际中较难捕捉时间序列中时间步距离较大的依赖关系。门
逐梦er·2020-08-09 11:00

pytorch学习笔记（三十）：RNN反向传播计算图公式推导

前言本节将介绍循环神经网络中梯度的计算和存储方法，即通过时间反向传播（back-propagationthroughtime）。正向传播在循环神经网络中比较直观，而通过时间反向传播其实是反向传播在循环神经网络中的具体应用。我们需要将循环神经网络按时间步展开，从而得到模型变量和参数之间的依赖关系，并依据链式法则应用反向传播计算并存储梯度。1.定义模型简单起见，我们考虑一个无偏差项的循环神经网络，且激
逐梦er·2020-08-09 11:59

pytorch学习笔记（十四）：实战Kaggle比赛——房价预测

文章目录1.Kaggle比赛2.获取和读取数据集3.预处理数据4.训练模型5.KKK折交叉验证6.模型选择7.预测并在Kaggle提交结果1.Kaggle比赛Kaggle是一个著名的供机器学习爱好者交流的平台。图3.7展示了Kaggle网站的首页。为了便于提交结果，需要注册Kaggle账号。我们可以在房价预测比赛的网页上了解比赛信息和参赛者成绩，也可以下载数据集并提交自己的预测结果。该比赛的网页地
逐梦er·2020-08-09 05:58

Pytorch学习笔记(四)----logistic模型

序言上一章学习了一个线性回归模型，这次我们了解一下一个简单的分类模型logistic。其实就是在线性模型外加了一个sigmod函数。具体原理pdf与本次实验用数据见网盘。欢迎各位和我一起学习pytorch与深度学习，请多多讨论留言~原理与数据https://pan.baidu.com/s/1FoV6V7n0ljBHLB5jF-FBeQ数据样例：34.62365962451697,78.024692
oneday_某天·2020-08-09 01:52

pytorch学习笔记（二十七）：Batch-Norm

文章目录前言1.批量归一化层1.1对全连接层做批量归一化1.2对卷积层做批量归一化1.3预测时的批量归一化2.从零开始实现2.1使用批量归一化层的LeNet3.简洁实现小结前言本节我们介绍批量归一化（batchnormalization）层，它能让较深的神经网络的训练变得更加容易。通常来说，数据标准化预处理对于浅层模型就足够有效了。随着模型训练的进行，当每层中参数更新时，靠近输出层的输出较难出现剧
逐梦er·2020-08-08 11:47
上一页 14 15 16 17 18 19 20 21 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他