莫烦pytorch学习第26页

pytorch 深度学习实践第12讲循环神经网络高级篇 Basic RNN

第12讲循环神经网络高级篇BasicRNNpytorch学习视频——B站视频链接：《PyTorch深度学习实践》完结合集_哔哩哔哩_bilibili以下是视频内容笔记以及源码，笔记纯属个人理解。

会游泳的小雁·2022-09-02 14:22

Pytorch学习笔记(9)——一文搞懂如何使用 torch 中的乘法

网上关于torch的乘法文章也很多，但是也很凌乱，所以这里我自己整理了一份。本文的核心不是弄清楚torch是怎样实现的，源码如何，文档如何，本文只针对在什么情况下该调用怎样的方法。本文中只介绍了我使用过的方法，如果后续有新的方法就再进行添加。目录1乘法1.1向量乘法1.2矩阵乘法1.3张量乘法1.3.1带batch的矩阵乘法1.3.2万能乘法2对位相乘2.1直接乘法2.2调库实现本文所有计算都以以

野指针小李·2022-09-02 07:24

我的pytorch学习日记

pytorch入门学习作者：tequilaro本文主要讲解pytorch的整个使用流程，因楼主之前一直使用caffe进行深度学习开发，但是caffe框架改动起来不是很方便所以在前不久转型为pytorch。最主要是记录自己的学习历程，理清思路，以便更好地研究，如果大家还有什么好的建议，希望可以提出来。1.总流程pytorch的操作简单，一般只需要一个文件即可，相对而言没有之前caffe那么复杂。从数

tequilaro·2022-08-31 09:21

pytorch学习笔记——3.6~3.7Pytorch中定义网络的方式以及模型保存和加载方法

摘要：在Pytorch中提供了多种高搭建网络的方式，我们这里会以一个简单的全连接神经网络作为例子来介绍pytorch中定义网络的两种方式：Module以及Sequential。在本文中我们将使用boston房价数据，分别使用Module以及Sequential两种方式来定义一个简单的全连接神经网络，并用于网络模型的训练。在最后我们会介绍模型的保存和加载的方法。一、导入模块以及数据准备在本文中我们将

学不来我就死·2022-08-29 07:46

pytorch学习笔记——3.5Pytorch中网络参数的初始化方法

摘要：对于搭建的网络，一般情况下我们使用默认的参数初始化就可以获得比较稳定的结果，但我们如果了解常用的参数初始化方法并加以使用，在某些情况下可以提高模型的精度。一、常用的参数初始化方法：下面我们列出nn模块中的init模块下常用的参数初始化类，功能如下：常用的参数初始化方法的功能方法（类）功能torch.nn.init.uniform_(tensor,a=0,b=1)从均匀分布U(a,b)中采样，

学不来我就死·2022-08-29 07:45

有感参加2022首届“盛世东方.天骄杯”全国诗词大赛在微信朋友圈拉人气

但慕良誉留虚名，且舍惠赞莫烦扰。其二三十八天预赛期，朋友圈里攒人气。诗品雅俗君休论，赞点问鼎占头魁。其三赛事在延续，善赞不停留。众友施援手，小诗百口流。起步门槛外，淘寻生平乐。欲承华厦风，勤解先贤学。

王立平·2022-08-27 18:37

python3.7.4 numpy_Python3 numpy & pandas 学习笔记

写在前面在用python做一些ML和DL的工作前，先看莫烦大佬的视频学习一下numpy和pandas这两个数据处理包，学习中记了一些笔记，便于自己日后查阅，同时发布到知乎希望能够帮助到其他小伙伴！

weixin_39785970·2022-08-26 07:31

numpy&pandas学习笔记1

，numpy属性四，numpy的创建array4.1dtype4.2zeros4.3numpy.empty()4.4numpy.arange4.5numpy.linspace一，前言本人主要是学习B站莫烦

한혜민�·2022-08-26 07:20

numpy和pandas学习笔记

此学习笔记参考与"莫烦Python”先来看一个简单的实例：importnumpyasnp#矩阵转为numpyarray=np.array([[1,2,3],[4,5,6]])print(array)print

I松风水月·2022-08-26 07:38

[Python人工智能] 三十七.Keras构建无监督学习Autoencoder模型及MNIST聚类可视化详解

本专栏主要结合作者之前的博客、AI经验和莫烦老师的视频（强

Eastmount·2022-08-24 07:25

一、pytorch开篇

VAE嗣音·2022-08-23 07:53

PyTorch学习率衰减策略：指数衰减（ExponentialLR）、固定步长衰减（StepLR）、多步长衰减（MultiStepLR）、余弦退火衰减（CosineAnnealingLR）

梯度下降算法需要我们指定一个学习率作为权重更新步幅的控制因子，常用的学习率有0.01、0.001以及0.0001等，学习率越大则权重更新。一般来说，我们希望在训练初期学习率大一些，使得网络收敛迅速，在训练后期学习率小一些，使得网络更好的收敛到最优解。下图展示了随着迭代的进行动态调整学习率的4种策略曲线：上述4种策略为自己根据资料整理得到的衰减类型：指数衰减、固定步长的衰减、多步长衰、余弦退火衰减。

u013250861·2022-08-15 07:59

Pytorch 学习率衰减方法

Pytorch学习率衰减方法1.什么是学习率衰减2.使用库函数进行调整2.1.有序调整2.1.1等间隔调整学习率2.1.2.多间隔调整学习率2.1.3.指数衰减调整学习率ExponentialLR2.1.4

HheeFish·2022-08-15 07:57

Pytorch学习率调整策略

PyTorch学习率调整策略学习率可以直接控制模型参数更新的步伐。在整个模型训练过程中学习率并不是一成不变的，而是可以调整变化的。

lucky-wz·2022-08-15 07:54

神经网络调优 ---学习率lr

关于初始学习率尽量使用大的学习率，因为很多研究都表明更大的学习率有利于提高泛化能力和数据量的关系：学习率一般也需要随着训练数据量的增大而适当降低和batch_size的关系：更小的bath_size需要更小的学习率Pytorch

Ctrlturtle·2022-08-15 07:20

Pytorch学习率衰减策略学习记录

对基于深度学习的模型调参是炼丹师的必备技能，而学习率的衰减策略正是调参方法之一，今天就系统地学习一下pytorch自带学习率衰减策略1）实例化模型和优化器importtorchfromtorch.optim.lr_schedulerimport*importtorch.nnasnnfromtorchvision.modelsimportresnet50importmatplotlib.pyplot

Cassiel_cx·2022-08-15 07:14

使用GPU进行神经网络计算详解

Pytorch学习笔记（六）：使用GPU的简单LeNet网络模型中也提到了如何实现GPU上的运算，虽然不详细，但是也足够。

不牌不改·2022-08-13 07:06

pytorch学习（二）-全连接网络之Mnist数据集数字识别

在学习本文之前可以参考（里面含有损失函数和交叉熵的基本概念）https://blog.csdn.net/qq_41821067/article/details/115358983目录在学习本文之前可以参考（里面含有损失函数和交叉熵的基本概念）神经网络网络训练输入输出网络结构损失函数求解极小值神经元串联模型工作损失函数线性和非线性处理线性不可分分类器类别预处理全连接网络手写数字识别网络模型代码epo

Nefelibat·2022-08-11 07:24

Pytorch学习笔记：（一）神经网络解决回归问题

文章目录前置知识数据生成批训练数据打包DataLoader参数解释建立神经网络正常的方法快速的方法损失函数优化器训练测试参考代码心得前置知识数据生成我们先生成最简单的二次函数。importtorchx=torch.unsqueeze(torch.linspace(-5,5,100000),dim=1)y=x.pow(2)+2*torch.rand(x.size())test_x=torch.uns

Eric C.H.Xia·2022-08-11 07:10

pytorch学习知识点总结

查看torch版本、是否安装cuda、查看cuda版本importtorchprint(torch.__version__)print(torch.cuda.is_available())print(torch.version.cuda)1torch.save():保存一个序列化（serialized）的目标到磁盘。2torch.load():用来加载模型。3torch.nn.Module.loa

饿了就干饭·2022-08-10 09:34

三周年创作纪念日

后来受到莫烦的影响，觉得互联网还是需要一些开源的精神，于是开始做视频，期待自己可以给社会输出一些正面的影响。渐渐的，博客也越

Bubbliiiing·2022-08-09 07:28

pytorch学习笔记十五：Hook函数与CAM可视化

一、Hook函数概念Hook函数机制：不改变模型主体，实现额外功能，像一个挂件或挂钩等。为什么需要这个函数呢？这与Pytorch的动态图计算机制有关，在动态图的计算过程中，一些中间变量会释放掉，比如特征图、非叶子节点的梯度，在模型前向传播、反向传播的时候添加hook这个额外函数，提取一些释放掉而后面又需要用到的变量，也可以用hook函数来改变中间变量的梯度。Pytorch中提供四种hook函数：1

Dear_林·2022-08-08 07:06

Pytorch学习-训练模型的3种方法

Pytorch通常需要用户编写自定义训练循环，训练循环的代码风格因人而异。有3类典型的训练循环代码风格：脚本形式训练循环，函数形式训练循环，类形式训练循环。下面以minist数据集的分类模型的训练为例，演示这3种训练模型的风格。准备数据importtorchfromtorchimportnnfromtorchkerasimportsummary,Modelimporttorchvisionfrom

Zzz_啥都不会·2022-07-29 11:47

[pytorch学习笔记] 5. 使用pytorch搭建神经网络

目录介绍设置训练硬件定义类模型层全连接层（nn.Flatten）nn.Linear(线性层)nn.ReLUnn.Sequentialnn.SoftmaxModelParameters介绍神经网络由对数据执行操作的层/模块组成。torch.nn命名空间提供了构建神经网络所需的所有模块。PyTorch中的每个模块都是nn.Module的子类。神经网络本身是一个模块，它由其他模块（层）组成。这种嵌套结构

是安澜啊·2022-07-28 07:16

pytorch学习笔记-神经网络的基本架构（nn.module的使用）

containers共有以下六个模块importtorchfromtorchimportnnclasskele(nn.Module):def__init__(self)->None:super().__init__()defforward(self,input):output=input+1returnoutputKele=kele()x=torch.tensor(1.0)#将1.0这个数据转化成

A徒手摘星星·2022-07-28 07:45

pytorch学习笔记-神经网络（非线性激活）

以relu为例importtorchimporttorchvision.transformsfromtorchimportnnfromtorch.nnimportReLU,Sigmoidfromtorch.utils.dataimportDataLoaderfromtorch.utils.tensorboardimportSummaryWriterinput=torch.tensor([[1,-0

A徒手摘星星·2022-07-28 07:15

PyTorch学习笔记（二）卷积神经网络流程

深度学习框架的一般流程：1.数据加载和处理2.定义一个模型（包括网络、损失函数和优化器）3.在训练集上进行训练4.在测试集上测试模型的性能（步骤1、2可以调换）步骤一：使用Torchvision加载和规范化CIFAR10训练集和测试集torchvision模块可以加载数据，也可以处理数据等等importtorchimporttorchvisionimporttorchvision.transfor

糖果人碎了·2022-07-28 07:13

[pytorch学习笔记二] 搭建神经网络实现数据的拟合

学自莫凡python1.实验结果搭建一个简单的神经网络，用一条曲线来拟合生成的数据点。下面是训练过程中，拟合出的曲线和数据点的分布图，训练的最终误差loss=0.0066。2.实验过程#1.导入必要的模块importtorchimporttorch.nn.functionalasF#F中包含很多函数比如激励函数importmatplotlib.pyplotasplt#用于绘图#2.生成要拟合的数据

Hygge MrYang·2022-07-28 07:42

PyTorch学习笔记（2）神经网络

目录1.PyTorch的nn模块2.nn的子类1.PyTorch的nn模块神经网络的结构与原理相信大家已经非常熟悉，这里不再赘述。PyTorch有一个专门用于神经网络的完整子模块：torch.nn。该子模块包含创建各种神经网络体系结构所需的构建块。这些构建块在PyTorch术语中称为module（模块），在其他框架中称为layer（层）。PyTorch模块都是从基类nn.Module继承而来的Py

梆子井欢喜坨·2022-07-28 07:42

pytorch学习笔记之神经网络与全连接

神经网络与全连接逻辑回归交叉熵简单多分类实例全连接层GPU加速逻辑回归对于这里的回归概念，当采用MSE作为loss函数时，期望输出接近于1，因此可以作为回归的概念但，当采用交叉熵作为loss函数时，会将期望输出偏向单一的种类（高于某一阈值，输出1；低于阈值输出0），故作为分类的概念更合适交叉熵熵（entropy）是对p的函数交叉熵（crossentropy）是对p和q的函数下例中展示了两种cros

ljc_coder·2022-07-28 07:11

Pytorch学习笔记（三）模型的使用、修改、训练（CPU/GPU）及验证

文章目录现有模型的使用和修改网络模型的保存和读取完整的模型训练套路利用GPU进行训练完成的模型验证套路参考资料现有模型的使用和修改importtorchvisionvgg16_true=torchvision.models.vgg16(pretrained=True)print(vgg16_true)运行代码：下载的数据集的存放地址：在原有模型的基础上加线性层;importtorchvisionf

小胡今天有变强吗·2022-07-28 07:11

Pytorch学习笔记（二）——使用pytorch实现BP神经网络拟合函数（附python和C++实现)

使用BP神经网络拟合函数最近学习bp神经网络，但是网上的代码很多都是做分类决策，我们要拟合函数需要对代码进行修改，进行回归预测，修改思路就是将输出层的激活函数改为f(x)=x,并且对反向传播过程中更改隐藏层到输出层的权重公式进行修改。生成测试数据程序。贴几个参考的博文：神经网络实现连续型变量的回归预测（python)BP神经网络与Python实现C++实现的BP神经网络（代码与详解）#生成测试数据

酒与花生米·2022-07-28 07:41

Pytorch学习笔记（一）安装与常用函数的使用

文章目录安装Pytorch在pytorch中安装jupyter两个常用函数三种方式编码的区别Dataset实战TensorBoard的使用Transforms常见的Transformstorchvision中的数据集的使用DataLoader的使用参考资料安装Pytorch在Anaconda环境中创建pytorch环境condacreate-npytorchpython=3.6激活环境condaa

小胡今天有变强吗·2022-07-28 07:40

PyTorch学习笔记（三：神经网络结构&&pytorch神经网络搭建）

PyTorch学习笔记（三：神经网络结构&&pytorch神经网络搭建）PyTorch既可以看作是加入了GPU支持的numpy，同时也可以看成一个拥有自动求导功能的强大的深度神经网络。

jiangchao98·2022-07-28 07:40

Pytorch学习笔记（二）神经网络的使用

文章目录神经网络的基本骨架--nn.Moudle的使用卷积操作神经网络-卷积层神经网络-最大池化的使用神经网络-非线性激活线性层搭建实战与Sequential的使用损失函数与反向传播优化器参考资料神经网络的基本骨架–nn.Moudle的使用importtorchfromtorchimportnnclassTudui(nn.Module):def__init__(self)->None:super(

小胡今天有变强吗·2022-07-28 07:35

PyTorch学习笔记【1】：使用张量表征真实数据

文章目录前言1.处理图像1.1.加载图像文件1.2.改变布局1.2.1.处理图像1.2.2.纬度变化1.3.正则化数据2.表示表格数据2.1.加载葡萄酒数据张量2.1.1.读入数据2.1.2.将读入的Numpy数据转换为PyTorch张量2.1.3.数值2.2.表示分数2.3.独热编码2.3.1.制作标签张量2.3.2.获取标签张量2.4.分类2.4.1何时分类2.4.2.数据归一化2.5.寻找阈

zzzyzh·2022-07-25 17:42

pytorch学习（2）：通过检查梯度参数，判断是否正常反向传播

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录问题一、相关代码二、寻找含有梯度参数的变量文件总结问题在检查神经网络时，我们可能会检查神经网络是否真的把梯度反向传播给了优化器，然而存储梯度参数的变量文件很难找，因此有必要整理一下路径。一、相关代码我们创建了一个CFAR10的神经网络，输入测试集，计算交叉熵和下降梯度，并将梯度进行反向传播（优化器部分没有写，这里只演示如何寻找

香菜冰激凌·2022-07-25 07:51

pytorch学习之路一：识别MINIST手写数字数据集

1.首先，参考pytorch官网安装pytorch，我选择的是windows系统+python3.7+pip安装，所以选择好后，直接在cmd中运行图中的命令行，pytorch官网：https://pytorch.org/2.打开pycharm。新建工程，有的童鞋可能会找不到下载的pytorch包，请参考：https://blog.csdn.net/weixin_39954922/article/d

小景-SCUT·2022-07-21 07:36

Pytorch学习系列之四：卷积神经网络实现Minist数据集手写数值识别（导出为ONNX模型）

===全部的逻辑及解释都在代码及其注释之中,请仔细看注释！！！===importtorchastfromtorch.utils.dataimportDataLoaderimporttorchvisionastvimportcv2ascvimportnumpyasnpimportos'''$Notice:torchvision数据集的输出是范围在[0,1]之间的PILImage，我们将他们转换成归一

thequitesunshine007·2022-07-21 07:31

Pytorch学习（二）Pytorch对声明的网络结构进行初始化及‘ConvBlockInit‘ object has no attribute ‘weight‘错误出现原因分析

通常使用pytorch在一个类的__init__()函数中声明完网络结构后，pytorch会自动初始化待训练的网络结构的权值。但这种初始化过程是随机的，参数分布没有规律且相差较大，使得网络收敛速度下降。因此，我们手动初始化权重，可以采用服从正态分布的数据来初始化权重。1.方法一：先定义网络，后初始化权重defweights_init_normal(m):#初始化权重classname=m.__cl

TEn%·2022-07-21 07:21

有用的博客资源

u013142781/article/details/50529030CMakeLists.txt：http://blog.csdn.net/z_h_s/article/details/50699905莫烦

子季鹰才·2022-07-19 10:06

pytorch学习笔记10——卷积神经网络详解及mnist数据集多分类任务应用

卷积神经网络详解在上一集中我们说到，黑白图像是单通道的，彩色图像是三通道的，这三通道分别是：Red、Green、Blue，也就是我们所说的RGB。对于这样一个彩色图像对应的图像张量，我们一般用C(通道数)*H(图像高度)*W(图像宽度)来刻画。之前我们用全连接模型接softmax来做多分类，但在全联接模型里，直接把图像拼成一连串，会导致丧失了原有的空间信息。而卷积可以保留图像的空间结构。先从一个单

qq_50749521·2022-07-19 07:12

Pytorch学习笔记09——多分类问题

Pytorch学习笔记09——多分类问题在上一篇文章的糖尿病数据集当中，输出只有0和1俩种可能值。P(y=0)=1-P(y=1)如何实现多分类问题？

qq_50749521·2022-07-19 07:12

Pytorch学习笔记7——处理多维特征的输入

Pytorch学习笔记7——处理多维特征的输入这是一个糖尿病分类的数据集。每一行代表一个样本Sample，每一列叫做特征feature。在这里共有10个样本，每个样本有8个特征。Y为对应标签。

qq_50749521·2022-07-19 07:42

PyTorch学习笔记08——加载数据集

PyTorch学习笔记08——加载数据集在上一次的糖尿病数据集中，我们是使用整个数据集input计算的。这次考虑mini_batch的输入方式。