反向传播

pytorch自动求导数机制

如果其中所有的变量都不需要梯度进行，反向传播计算不会在子图中执行。
AI界扛把子·2023-01-11 11:59

pytorch——损失函数

Loss用来做两件事，一是计算实际输出和目标之间的差距，二是为我们反向传播更新数据提供一个依据。
放牛儿·2023-01-11 11:28

Pytorch多GPU并行处理

，7]#前向推理时使用并行model=model.cuda(device_ids[0])#设定主卡model=nn.DataParallel(model,device_ids=device_ids)#反向传播时使用并行
小伟db·2023-01-11 11:17

【深度学习6】对比学习（Contrastive Learning）入门

我们知道的无监督方法有聚类(迭代地更新聚类中心，让属于同一类的样本更近，不同类的样本更远)，自编码器(输入x->特征隐层编码->解码恢复出x'，让x'和x接近)，那对比学习又是怎么个操作，怎么构建loss反向传播呢
烈日松饼·2023-01-11 11:06

Pytorch的aotugrad大白话理解及属性使用解释

Autogard是torch下的一个模块，可以帮助我们实现求导，让我们不用自己手动去求导然后进行反向传播。
CodeNotSmell·2023-01-11 08:38

Pytorch踩坑记录：关于用net.eval()和with no grad装饰器计算结果不一样的问题

Pytorch踩坑记录相同点net.eval()和withtoch.no_grad()的相同点：都停止反向传播不同点：1、net.eval()用net.eval（），此时BN层会用训练时的均值和方差。
西柚西柚xiu·2023-01-11 08:08

第二章：PyTorch基础知识2

它是一个在运行时定义(define-by-run）的框架，这意味着反向传播是根据代码如何运行来决定的，并且每次迭代可以是不同的。torch.Tensor是这个包的核心类。
sunshinecxm_BJTU·2023-01-11 08:37

梯度消失/爆炸产生的原因和解决方案

梯度消失/爆炸产生的原因在进行反向传播的过程中，梯度会反向传播，当梯度很大，并且weight值大于1的时候，网络会产生梯度爆炸，反之weight值很小，网络会产生梯度消失。
liiiiiiiiiiiiike·2023-01-11 07:48

神经网络学习笔记(二)——循环神经网络RNN

循环神经网络RNN文章目录循环神经网络RNN一、概述二、背景三、RNN原理3.1模型结构3.2前向传播3.3反向传播BPTT(back-propagationthroughtime)3.4RNN的分类3.5RNN
Storm*Rage·2023-01-11 07:48

梯度消失和梯度爆炸_梯度消失、爆炸的原因及解决办法

一、引入：梯度更新规则目前优化神经网络的方法都是基于反向传播的思想，即根据损失函数计算的误差通过梯度反向传播的方式，更新优化深度网络的权值。
weixin_39683172·2023-01-11 07:17

pytorch使用-自动微分

pytorch使用-自动微分一、自动微分二、Tensor自动微分三、backward反向传播一、自动微分在整个Pytorch框架中，所有的神经网络本质上都是一个autogradpackage（自动求导工具包
大虾飞哥哥·2023-01-11 06:07

预训练模型与自己训练的吗模型

卷积神经网络的训练过程就是对大量带标签数据（监督学习）通过反向传播算法学习网络结构中的参数。
weixin_42013536·2023-01-10 22:21

机器学习：期望风险、经验风险、结构风险

我想大多数人对损失函数并不陌生吧，就是机器学习训练的的时候用于计算prediction与groundtruth之间的误差，用于反向传播。
Fly-Pluche·2023-01-10 19:44

吴恩达深度学习（笔记+作业）·第二课·第一周 深度学习的实用层面

四、正则化如何预防过拟合五、Dropout正则化（最常用：inverteddropout）六、其他正则化方法七、归一化/标准化：代价函数优化更快捷八、梯度消失/梯度爆炸九、权重初始化十、梯度检验（检验反向传播的
手可摘星辰不去高声语·2023-01-10 19:06

吴恩达深度学习（笔记+作业）·第一课·第四周 深层神经网络

目录一、深层神经网络二、深层神经网络的前向传播和反向传播三、核对矩阵维数四、参数和超参数作业：一、深层神经网络二、深层神经网络的前向传播和反向传播三、核对矩阵维数拿出一张纸，计算各个矩阵的维度四、参数和超参数作业
手可摘星辰不去高声语·2023-01-10 19:36

吴恩达深度学习第一课第二周编程作业

第二周编程作业你将学会：本人在写这篇作业时的手写笔记：1.导入包2.习题集概述练习1练习23.学习算法的一般结构4.构建我们算法的各个部分4.1Helperfunctions（助手函数）4.2初始化参数4.3正向和反向传播
tqh267·2023-01-10 19:34

[论文解读] A Ranking-based, Balanced Loss Function Unifying Classification and Localisation in Object De

文章内容相关研究现状1.定位任务和分类任务的平衡/耦合2.基于排名的目标检测算法本文工作基于排序损失的误差驱动优化方法推广定理1：基于概率分布的损失函数重定义定理2：正负样本梯度总和相等aLRPLoss定义aLRP的反向传播代码解读论文链接
Los Merengues·2023-01-10 17:10

PyTorch深度学习实践——4.反向传播

PyTorch深度学习实践——4.反向传播课程链接：《PyTorch深度学习实践》4.反向传播思路：1、先算损失loss2、算反向传播backwardloss.backward():dloss\dw==
皮肤科大白·2023-01-10 16:30

《Pytorch深度学习实践》反向传播课程代码

importtorchimportnumpyasnpimportmatplotlib.pyplotaspltx_data=[1.0,2.0,3.0]y_data=[2.0,4.0,6.0]w=torch.Tensor([0.0])w.requires_grad=True#是否需要计算梯度=truedefforward(x):returnx*wdefloss(x,y):#创建一个计算图y_pred=
相心木·2023-01-10 16:30

Pytorch学习——梯度下降和反向传播 03 未完

文章目录1梯度是什么2判断模型好坏的方法3前向传播4反向传播5Pytorch中反向传播和梯度计算的方法5.1前向计算5.2梯度计算5.3torch.data5.4tensor.numpy1梯度是什么通俗的来说就是学习
谜底是你_·2023-01-10 16:59

Pytorch 深度学习实践Lecture_4 Back Propagation

up主刘二大人视频链接刘二大人的个人空间_哔哩哔哩_Bilibili反向传播可以通过链式法则，使得梯度在计算图中进行反向传播在Pytorch中，Tensor对象包含data和grad两个属性  data
endeavor`·2023-01-10 16:58

pytorch深度学习（5）反向传播

目录1.简单神经网络中的梯度：2.复杂的神经网络3.反向传播（Backpropagation）3.1（具体例子）3.2ThecompositionoffunctionsandChainRule（链式法则
Rise9z·2023-01-10 16:56

【PyTorch深度学习实践】深度学习之反向传播，用PyTorch实现线性回归和Logistic回归

文章目录前言一、反向传播二、用PyTorch实现线性回归三、Logistic回归总结前言继上一节讲的线性模型和梯度下降法后，本节将在此基础上讲解反向传播，用PyTorch实现线性回归和Logistics
今天又干了些什么呢·2023-01-10 16:25

Pytorch深度学习实践-反向传播

反向传播原理学习内容来自刘二大人深度学习实践课程https://b23.tv/ELo6f7以及博客https://www.cnblogs.com/charlotte77/p/5629865.html下面是反向传播代码实现二次模型
L_Moonshine·2023-01-10 16:54

【PyTorch】深度学习实战之反向传播

PyTorch实现反向传播反向传播主要体现在l.backward()，调用该方法后w.grad由None更新为Tensor类型，且w.grad.data用于后序w.data的更新l.backward()
少年白马·2023-01-10 16:54

《动手深度学习》2.5 反向传播自动求导

《动手深度学习》2.5反向传播自动求导反向传播理论推导pytorch代码实战初始定义基本量定义模型(构建计算图)保留一下训练前的预测值训练！！！
Mavis00·2023-01-10 16:54

PyTorch深度学习实践——4.反向传播＆作业

课程链接：《PyTorch深度学习实践》4.反向传播思路：1、先算损失loss2、算反向传播backwardloss.backward():dloss\dw==w.grad（Tensor）3、更新权重ww.data
青芒小智·2023-01-10 16:22

Pytorch学习（十二）pytorch中.data, .item()和.detach的用法

data和.detach()的用法区别推荐使用.detach().data取出本体tensor后仍与原数据共享内存（从第一个代码段中可以看出），在使用in-place操作后，会修改原数据的值，而如果在反向传播过程中使用到原数据会导致计算错误
TEn%·2023-01-10 16:22

PyTorch深度学习：反向传播

背景：对于复杂的模型如上图，求出每一个函数，计算每一个权重工作量十分庞大，几乎是不可能完成的任务，这时候就要使用反向传播波算法。
BlackdogC·2023-01-10 16:51

刘二大人《Pytorch深度学习与实践》04反向传播

根据最基本的BP神经网络，我把反向传播的过程进行了演算，其中包括正向传播和反向传播，下面以一个例子来解释。
py学习小白·2023-01-10 16:20

pytorch深度学习实践4——反向传播

利用pytorch实现反向传播，简单代码#-*-coding:utf-8-*-"""SpyderEditorThisisatemporaryscriptfile."""
Hao &·2023-01-10 16:49

（三）PyTorch深度学习：反向传播梯度下降

反向传播梯度下降1、在比较简单线性模型函数（y=wx+b），根据损失函数（loss=y_pred-y）**2）来写梯度下降算法是比较容易直接处理。
Kkh_8686·2023-01-10 16:18

【PyTorch深度学习实践】03_反向传播

文章目录1.计算图2.反向传播2.1链式求导法则2.2反向传播过程3.Pytorch中前馈和反馈的计算3.1Tensor3.2代码演示对于简单的模型，梯度变换可以用解析式表达进行手算，但是复杂模型（很多
青山的青衫·2023-01-10 16:46

神经网络训练时为什么有时会出现内存不够用的情况

因此，在模型参数初始化完成后，我们交替地进⾏正向传播和反向传播，并根据反向传播计算的梯度迭代模型参数。
guanguanboy·2023-01-10 13:36

pytorch loss.backward问题：RuntimeError: element 0 of tensors does not require grad and does not have a

最近遇到了一个问题，在pytorch定义模型训练过程中，反向传播时loss.backward()在上面这个未知报错RuntimeError:element0oftensorsdoesnotrequiregradanddoesnothaveagrad_fn
Time-leaper·2023-01-10 12:26

Batch Normalization详解

目录动机单层视角多层视角什么是BatchNormalizationBatchNormalization的反向传播BatchNormalization的预测阶段BatchNormalization的作用几个问题卷积层如何使用
may_walkaway·2023-01-10 07:40

对BN（batch normlization）层的理解

有时间就补一点的样子，慢慢写BN层简述：BN层是神经网络里的一层，如同卷积、池化层等等一样，同样有数据的输入、输出，同时参与正向传播和反向传播。
绛洞花主敏明·2023-01-10 07:10

【深度学习系列】反向传播推导+损失函数+激活函数原理

联系方式：[email protected]文章目录1.推导反向传播过程2.常见的损失函数2.1基于距离的损失函数2.2基于概率分布的损失函数3.常见的激活函数3.1Sigmoid函数3.2tanh函数3.3ReLU
lrchang·2023-01-09 15:45

神经网络的主题

当使用足够强的计算芯片（例如GPU图形加速卡）时，梯度下降算法以及反向传播算法在多层神经网络中的训练中仍然工作的很好。
樱武苏·2023-01-09 15:22

深度学习入门笔记系列 ( 四 )

整体来说，训练神经网络分为3个步骤：定义神经网络的结构和前向传播的输出结果定义损失函数以及选择反向传播优化的算法生成会话（tf.Session)并在训练数据上反复运行反向传播优化算法现以直线拟合和回归拟合两个简单案例来熟悉以上
weixin_34015336·2023-01-09 11:32

【人工智能深度学习】人工智能中的梯度下降算法和反向传播教程

【人工智能深度学习】人工智能中的梯度下降算法和反向传播教程梯度下降优化算法参数化模型用方块图表达参数模型的计算图损失函数梯度下降在传统神经网络中随机梯度下降和反向传播算法的优势随机梯度下降的优势传统神经网络通过非线性函数进行反向传播通过加权和进行反向传播一个神经网络和反向传播的
王子王子聪·2023-01-09 09:29

目标检测—— 训练过程

1.目标检测网络的训练大致是如下的流程：设置各种超参数定义数据加载模块dataloader定义网络model定义损失函数loss定义优化器optimizer遍历训练数据，预测-计算loss-反向传播2.
Kolo_Tong·2023-01-09 08:18

神经网络算法的基本原理,神经网络算法通俗解释

20世纪50年代末，Rosenblatt提出了感知器模型，1982年，Hopfiled引入了能量函数的概念提出了神经网络的一种数学模型，1986年，Rumelhart及LeCun等学者提出了多层感知器的反向传播算法等
阳阳2013哈哈·2023-01-09 08:06

神经网络训练算法的调用,神经网络中的矩阵运算

1、如何理解神经网络里面的反向传播算法反向传播算法（Backpropagation）是目前用来训练人工神经网络（ArtificialNeuralNetwork，ANN）的最常用且最有效的算法。
aifans_bert·2023-01-09 08:04

Mask RCNN源码解读

源码解读前言数据集数据载入模型搭建模型输入模型输出resnet101RPN网络ProposalLayerDetectionTargetLayerfpn_classifier_graphROIPooling局限性分析ROIAlignROIAlign反向传播代码实现
RyanC3·2023-01-09 06:24

人工神经网络原理及应用,神经网络的数学原理

20世纪50年代末，Rosenblatt提出了感知器模型，1982年，Hopfiled引入了能量函数的概念提出了神经网络的一种数学模型，1986年，Rumelhart及LeCun等学者提出了多层感知器的反向传播算法等
阳阳2013哈哈·2023-01-09 06:52

大脑神经网络对比图高清,图神经网络和神经网络

BP（BackPropagation）算法又称为误差反向传播算法，是人工神经网络中的一种监督式的学习算法。BP神经网络算法在理论上可以逼近任意函数，基本的结构由非
普通网友·2023-01-09 06:21

卷积神经网络 图像处理,图像识别卷积神经网络

尤其是基于误差反向传播（ErrorBackPropagation）算法的多层前馈网络（Multiple-La
普通网友·2023-01-09 00:54

人工神经网络神经元模型,人工神经元算法机制图

20世纪50年代末，Rosenblatt提出了感知器模型，1982年，Hopfiled引入了能量函数的概念提出了神经网络的一种数学模型，1986年，Rumelhart及LeCun等学者提出了多层感知器的反向传播算法等
普通网友·2023-01-08 17:34

反向传播算法(过程及公式推导)_反向传播（BP）算法的数学原理

============================================由于平台对公式支持较少，本文用了少量LaTeX语法来编辑公式，其中a_j表示以j为下标的代数式a^j表示以j为上标的代数式a_j^l表示以j为下标、l为上标的代数式\sum_j表示对所有以j为下标的元素进行求和b/a表示以b为分子，a为分母的分数=================================
weixin_39823676·2023-01-08 13:46
上一页 23 24 25 26 27 28 29 30 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他