backward

Pytorch 自学笔记（自用）

Tensor是核心类，要进行反向传播，直接调用.backward()。
warm_body·2022-11-19 07:33

混合精度与单精度对比

使用混合精度代码更改很少scaler=GradScaler()withautocast():out=model(data)loss=loss_func(out,target)scaler.scale(loss).backward
shulongjiang·2022-11-19 03:54

pytorch中的学习率与优化器【lr_scheduler与optimizer】

中优化器的使用流程大致为：forinput,targetindataset:optimizer.zero_grad()output=model(input)loss=loss_fn(output,target)loss.backward
AI界扛把子·2022-11-19 03:17

PyTorch中hook（钩子）的使用

torch.autograd.Variable.register_hook(Pythonmethod）torch.nn.Module.register_forward_hook(Pythonmethod）torch.nn.Module.register_backward_hook
张好好-学习·2022-11-16 18:18

叶子节点和tensor的requires_grad参数

使用backward()函数反向传
Wanderer001·2022-11-15 13:20

pytorch: hook机制，取网络层的输入输出和梯度

hook机制，取网络层的输入输出和梯度前言pytorch的hook机制register_hook用于变量梯度操作register_forward_hook用于网络层输入输出操作register_full_backward_hook
RuiH.AI·2022-11-15 13:15

pytorch 之 optimizer.zero_grad()

optimizer.zero_grad()功能梯度初始化为零，把loss关于weight的导数变成0为什么每一轮batch都需要设置optimizer.zero_grad根据pytorch中的backward
木槿qwer·2022-11-13 15:17

深度学习:知识回收(神经网络模型：BPNN原理)

tensorflow的时候，看到一个BPNN的例子，就顺便把BPNN的原理给看了一遍OpenCV的书也到了，想尽快结束复习开始新的模块学习哼~BPNN即是BP神经网络，是一种入门经典的神经网络模型，分为forward和backward
lifh8·2022-11-12 17:04

Pytorch学习笔记3

torch.linspace(-100,100,10)torch.sigmoid(a)Tanh激活函数：ReLU激活函数：LOSS函数：pytorch自动求导：torch.autograd.grad(mse,[w])backward
深度学不学习·2022-11-04 11:09

Pytorch实现的卷积算子

推导卷积运算各个变量的梯度公式；学习如何扩展Pytorch算子，自己实现了一个能够forward和backward的卷积算子；代码GitHub仓库：https://github.com/dragonylee
tt姐whaosoft·2022-10-30 11:07

RuntimeError: CUDA error: device-side assert triggered CUDA kernel errors might be asynchronously

报错Traceback(mostrecentcalllast):File"E:/ProgramFiles/PyCharm2019.2/PyG/test.py",line70,inloss.backward
Cyril_KI·2022-10-25 07:22

机器学习之神经网络的公式推导与python代码（手写+pytorch）实现

文章目录前言神经网络公式推导参数定义前向传播（forward）反向传播（backward）隐藏层和输出层的权重更新输入层和隐藏层的权重更新代码实现python手写实现pytorch实现总结参考前言因为要课上讲这东西
Icy Hunter·2022-10-22 09:05

如何使用torch计算梯度，理解Autograd的作用及原理

并且在计算得到的结果上(结果也是Tensor一个对象)上调用backward()就会自动计算x的梯度，并将梯度累加到x.grad属性上。下面代码演示在y=x2
rpsate·2022-10-15 07:49

使用PyTorch常见4个错误解决示例详解

目录导读常见错误#1你没有首先尝试过拟合单个batch常见错误#2:忘记为网络设置train/eval模式常用的错误#3:忘记在.backward()之前进行.zero_grad()常见错误#4:你把做完
·2022-10-14 23:18

pytorch：子模型参数冻结 + BN冻结

使用场景：需要完全冻结某部分的weight与BN层  加载预训练模型时，如果只将para.requires_grad=False，并不能完全冻结模型的参数，因为模型中的BN层并不随loss.backward
CV科研随想录·2022-10-13 07:43

pytorch自定义函数实现自动梯度

实现要点：将函数定义为类，需继承自torch.autograd.Function类需实现两个静态方法：forward()和backward()，分别对应前向传播和反向传播函数使用前需调用apply方法从而嵌入计算图
Gεorge·2022-10-07 12:51

深度学习 反向传播backward在 随机梯度下降中的运用

以最简单的神经网络为例损失函数损失函数为通过随机设定的w1和w2得出的y的近似值与真实y的差距随机梯度下降（SGD）通过此公式不断更新w使w靠近真实值为当前误差关于w的梯度，梯度方向为数值(Loss)增长最快的方向所以我们沿梯度反方向更新，即Loss下降最快的方向η：学习率，控制w更新的步长简单的例题真实值为：假设我们只知道并令η（学习率）为0.1，初始化权重为初始化权重所计算得出的估计值损失函数
大牛牛+·2022-09-27 18:19

Pytorch总结七之深度学习的正向、反向传播原理+参数初始化+实战房价预测

反向传播和计算图在实现小批量随机梯度下降法训练模型过程中：我们只提供了模型的正向传播（forwardpropagation）的计算，即对输⼊计算模型输出，然后通过autograd模块来调⽤系统⾃动⽣成的backward
明月醉窗台·2022-09-21 11:52

【原创】torch.autograd.backward()函数解读

torch.autograd.backward()函数解读参考内容：Automaticdifferentiationpackage-torch.autograd本文的目的是剖析backward()定义及使用方法
maze2023·2022-09-09 07:59

Pytorch torch.autograd 与torch.optim的区别//一个求模型里面的梯度，一个通过再梯度来更新模型参数权重

一个求模型里面的梯度，一个通过再梯度来更新模型参数权重#更新权重值，更新过程使用下面的公式：weight=weight+learning_rate*gradient1.Pytorchautograd,backward
思考实践·2022-09-09 07:23

Pytorch optimizer.step() 和loss.backward()和scheduler.step()的关系与区别

参考Pytorchoptimizer.step()和loss.backward()和scheduler.step()的关系与区别-云+社区-腾讯云首先需要明确optimzier优化器的作用,形象地来说，
Wanderer001·2022-09-09 07:19

torch.autograd

torch.autograd.backward(variables,grad_variables,retain_variables=False)给定图的叶子节点variables,计算图中变量的梯度和。
爱钻研的小铭·2022-09-09 07:15

Pytorch梯度检查 torch.autograd.gradcheck

在编写好自己的autogradfunction后，可以利用gradcheck中提供的gradcheck和gradgradcheck接口，对数值算得的梯度和求导算得的梯度进行比较，以检查backward是否编写正确
hxxjxw·2022-09-09 07:06

Pytorch autograd.backward理解

通常在训练的时候,最后的loss是一个标量,无脑使用loss.backward()进行反向传播计算梯度即可.但是碰到有些代码中出现了多个loss,比如这样的代码:torch.autograd.backward
LuffysMan·2022-09-09 07:02

【Pytorch】autograd.Variable类详解 & tensor.backward()进行反向传播梯度计算过程

文章目录前置知识：Pytorch计算图1）torch.autograd.Variable类详解2）torch.tensor.backward()源码分析3）梯度计算与反向传播实例分析前置知识：Pytorch
Iron_lyk·2022-09-09 07:02

Pytorch autograd.grad与autograd.backward详解

Pytorchautograd.grad与autograd.backward详解引言平时在写Pytorch训练脚本时，都是下面这种无脑按步骤走：outputs=model(inputs)#模型前向推理optimizer.zero_grad
Adenialzz·2022-09-09 07:29

Pytorch框架之优化器 Optimizer

SGD，RMSprop，Adam等优化器初始化时传入传入模型的可学习参数，以及其他超参数如lr，momentum等在训练过程中先调用optimizer.zero_grad()清空梯度，再调用loss.backward
发呆的比目鱼·2022-09-06 14:35

3.14 正向传播、反向传播和计算图

在实现中，我们只提供了模型的正向传播（forwardpropagation）的计算，即对输入计算模型输出，然后通过autograd模块来调用系统自动生成的backward函数计算梯度。
咕噜呱啦·2022-09-03 07:12

pytorch张量创建、变换

backward()自动计算出所有需要的梯度。来针对某个变量执行grad获得想要的梯度值。importtorch
Mick..·2022-09-01 13:22

vim常用命令

翻整页Ctrl-FCtrl-BF就是Forword,B就是Backward翻半页Ctrl-DCtrl-UD=DownU=Up滚一行Ctrl-ECtrl-Y其他zz让光标所在的行居屏幕中央zt让光标所在的行居屏幕最上一行
RossRachel·2022-08-26 09:59

刘二大人 PyTorch深度学习实践 笔记 P4 反向传播

刘二大人PyTorch深度学习实践笔记P4反向传播P4反向传播1、P3回顾2、反向传播3、计算过程4、作业作业4-1：计算y=x*w的梯度，理解forward和backward过程作业4-2：代码实现4
小白*进阶ing·2022-08-22 07:09

Pytorch实战——知识点记录（二）

Pytorch构建神经网络记录1.TypicalLoss-meansquereerror(MSE)均方误差pytorch中求meansquereerror的梯度有两种方式：backward()函数（这个更方便
H.Chi·2022-08-22 07:32

Pytorch知识总结

withtorch.no_grad()或者@torch.no_grad()中的数据不需要计算梯度，也不会进行反向传播6.一般用于pytorch训练模块self.optimizer.zero_grad()loss.backward
#欧吼·2022-08-10 09:35

详解Pytorch中的requires_grad、叶子节点与非叶子节点、with torch.no_grad()、model.eval()、model.train()、BatchNorm层

requires_gradrequires_grad意为是否需要计算梯度使用backward()函数反向传播计算梯度时，并不是计算所有tensor的梯度，只有满足下面条件的tensor的梯度才会被计算：
Jiyang@UESTC·2022-08-08 07:46

Pytorch实现LSTM案例总结学习

目录前言模型构建部分主要工作1、构建网络层、前向传播forward()2、实例化网络，定义损失函数和优化器3、训练模型、反向传播backward()4、测试模型前言关键步骤主要分为数据准备和模型构建两大部分
·2022-07-27 09:53

10_ue4进阶末日生存游戏开发[前进和后退]

重命名walk_idle_backward给一维坐标轴命名为forwardspeed把数值的变化范围设为-375到375walking拖到375的位置。
无情的阅读机器·2022-07-17 07:38

【26】pytorch中的grad求导说明以及利用backward获取梯度信息

以下内容如有错误，恳请指出。这两天对pytorch中的梯度计算以及其自动求导机制进行一个简单的实验，主要部分有两个，第一部分是关于pytorch求梯度的简单接口；第二部分是描述grad-cam进行可视化的简单原理与大概的逻辑实现。文章目录1.pytorch关于grad的简单测试1.1标量对向量求导1.2矩阵对矩阵求导2.pytorch获取网络输入的梯度信息3.pytorch获取中间过程的梯度信息1
Clichong·2022-07-15 07:08

RuntimeError: one of the variables needed for gradient computation has been modified by an...

(img_E,img_H_tensor)loss_train=loss_img+0.1*loss_qfprint(loss_train)optimizer.zero_grad()loss_train.backward
Kyogre9·2022-07-13 07:52

图神经网络（GNN）的基本原理

目录前言1.数据2.变量定义3.GNN算法3.1Forward3.2Backward4.总结与展望前言本文结合一个具体的无向图来对最简单的一种GNN进行推导。
Cyril_KI·2022-07-12 08:08

向下兼容、向上兼容、向前兼容、向后兼容

正文：向后兼容（Backwardcompatibility）Backward
夜雨风云·2022-07-04 08:10

l1、l2正则化在pytorch框架下的实现方式

L1/L2正则化的两种实现方式_hlld__的博客-CSDN博客_pytorch添加正则化在使用PyTorch训练模型时，可使用三种方式添加L1/L2正则化：一种是添加正则化项到损失函数中，另一种是在backward
沙小菜·2022-07-03 07:35

[Python / PyTorch] debug backward()

问题描述在自定义Loss的中，其backward()函数不支持在PyCharm中进行断点调试因此需要以其他方式进行断点调试解决方案参考：IsthereawaytodebugthebackwardmethodofFunctionclass
Harry嗷·2022-06-29 16:12

coggle11月打卡—pytorch与CV竞赛

文章目录任务1：PyTorch张量计算与Numpy的转换任务2：梯度计算和梯度下降过程1、学习自动求梯度原理1.1pytorch自动求导初步认识1.2tensor的创建与属性设置1.3函数求导方法——y.backward
Litra LIN·2022-06-18 16:45

自动求导（动手学深度学习v2）

4.0)print(x)x.requires_grad_(True)#存梯度x.gradprint(x.grad)y=2*torch.dot(x,x)print(y)#反向传播计算y关于x每个分量梯度y.backward
Recurss·2022-06-06 07:03

Pytorch框架学习路径(五：autograd与逻辑回归)

Pytorch框架学习路径(五：autograd与逻辑回归)文章目录autogradtorch.autograd.backward方法求导torch.autograd.grad方法求导autograd小贴士
☞源仔·2022-06-05 08:46

PyTorch学习笔记（3）autograd 自动求导

自动求导torch.autograd.backward自动求取梯度tensors用于求导的张量retain_graph保存计算图create_graph创建导数计算图用于高阶求导grad_tensors
TongYixuan_LUT·2022-06-05 07:58

【深度学习-pytorch】自动求导实现

x.requires_grad_(True)#把梯度放在哪个地方print(x.grad)y=2*torch.dot(x,x)#内积×2print(y)#通过调用反向传播函数来自动计算y关于x每个分量的梯度y.backward
cc街道办事处·2022-06-05 07:22

PyTorch学习之autograd（自动求导）

autograd1.最常用的方法就是torch.autograd.backward(）torch.autograd.backward(tensors,grad_tensors=None,retain_graph
Leo&&Eva·2022-06-05 07:21

pytorch的计算图和自动求导机制

torch.autograd为pytorch的自动求导包，有torch.autograd.backward函数和torch.autograd.grad函数，其中torch.autograd.
饕餮&化骨龙·2022-06-05 07:48

pytorch定义新的自动求导函数

在pytorch中想自定义求导函数，通过实现torch.autograd.Function并重写forward和backward函数，来定义自己的自动求导运算。
l8947943·2022-06-05 07:46
上一页 7 8 9 10 11 12 13 14 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他