grad

python:torch.no_grad()的作用 + requires_grad，grad_fn，grad的含义及使用

1.requires_grad，grad_fn，grad的含义及使用requires_grad:如果需要为张量计算梯度，则为True，否则为False。
TANGWENTAI·2022-11-24 15:49

Pytorch中with torch.no_grad()或@torch.no_grad() 用法

https://blog.csdn.net/Answer3664/article/details/99460175requires_grad=True要求计算梯度requires_grad=False不要求计算梯度
Douzi1024·2022-11-24 15:49

pytorch中with torch.no_grad(): && model.eval()

withtorch.no_grad():1.关于withwith是python中上下文管理器，简单理解，当要进行固定的进入，返回操作时，可以将对应需要的操作，放在with所需要的语句中。
ZwaterZ·2022-11-24 15:49

with torch.no_grad() 详解

不使用withtorch.no_grad():此时有grad_fn=属性，表示，计算的结果在一计算图当中，可以进行梯度反传等操作。
失之毫厘，差之千里·2022-11-24 15:18

鱼书深度学习入门：gradient_simplenet

importnumpyasnpfromcommon.functionsimportsoftmax,cross_entropy_error#softmax交叉熵函数fromcommon.gradientimportnumerical_grad
我怎么知道叫什么·2022-11-24 14:54

pytorch快速上手（8）-----pytorch优化器简介

文章目录一、简介二、optimizer属性方法1.zero_grad()2.step()3.add_param_group()4.state_dict()5.load_state_dict()学习率动量三
All_In_gzx_cc·2022-11-24 07:25

深度学习问题2：pytorch-lightning加载的预训练网络会变化并且参数冻结失败

需要另一个预训练的网络进行特征提取，因为预训练网络也是我自己编写的，有输出的效果图，但在另一个pytorch-lightning编写的网络中发现，他在测试过程中输出的效果图跟原来不一样，并且eval、detach、requires_grad
愿你被这个世界温暖相待·2022-11-24 07:54

Datawhale 李宏毅机器学习 Task5

大batch-size不一定比小的时间长不同Batch-size对精度的影响对比：3.loss不降的时候，grad没有减小损失函数批归一化1.优化器失败的原因局部最小值鞍点统称为criticalpoint
STUffT·2022-11-24 07:24

pytorch学习：loss为什么要加item()

PyTorch0.4.0版本去掉了Variable，将Variable和Tensor融合起来，可以视Variable为requires_grad=True的Tensor。其动态原理还是不变。在获
dlvector·2022-11-24 07:42

[pytorch报错] 使用hidden layer绘图 报错Cannot insert a Tensor that requires grad as a constant.

现象在修改网络结构之后，想用hiddenlayer库绘图观察一下网络结构是否修改正确结果报错RuntimeError:CannotinsertaTensorthatrequiresgradasaconstant.Considermakingitaparameterorinput,ordetachingthegradient解决方案参考https://blog.csdn.net/KyokoChen/
W1a2b3D·2022-11-24 07:19

吴恩达机器学习编程作业与笔记（3）第4周：Neural Networks: Representation神经网络：表示

lrCostFunction.m-Logisticregressioncostfunctionfunction[J,grad]=lrCostFunction(theta,X,y,lambda)%LRCOSTFUNCTIONComputecostandgradientforlogisticregressionwith
STL_CC·2022-11-24 05:37

Grad-Cam梯度类激活&卷积输出特征可视化&卷积核可视化【附实现代码】

文章目录前言一、Grad-CAM梯度类激活映射1.1效果图1.2程序二、卷积输出特征可视化2.1效果图2.1程序三、卷积核可视化3.1效果图3.2程序前言我在研究生阶段主要做的是深度学习情感识别的可解释性研究
SuperChuangChuang·2022-11-24 05:36

使用Python进行Grad-CAM ++：深度卷积网络的改进视觉解释

在Grad-CAM++和GuidedGrad-CAM++显著图中，**狗（多个对象）的可视化效果更好（第一行和第二行），并且该类的整个区域都处于局部状态（第三行和第四行），**而Grad-CAM热图仅显示部分覆盖范围
woshicver·2022-11-24 05:35

Grad-CAM

目录01研究背景02整体架构021Guided-Backpropagation022梯度计算03实验分析031消融实验04结论01研究背景解释技术：为了建立对智能系统的信任，并使其有意义地融入我们的日常生活，很明显，我们必须建立“透明”模型，解释它们为什么预测他们所预测的。在以下三个不同阶段都有作用：当AIHumans（RL，Reinforcementlearning）解释技术教人们如何做更好的选
younghuup·2022-11-24 05:03

Grad-CAM学习理解的第一天（未完）

Grad-CAM学习中的一点小困惑这篇博客主要用于自己学习过程的记录，有很多不完善或者错误的地方，还请路过的大佬多指教1、Grad-CAM操作：在CNN中，网络进行前向传播（一般取最后一个卷积层）得到特征图
皮皮虾_1·2022-11-24 05:32

Grad-CAM可视化

图片读取：fromPILimportImageimg=Image.open(img_path).convert('RGB')第一种读取方式：importmatplotlib.pyplotaspltimporttorchfromtorchvisionimporttransformsfromtorch.autogradimportVariableimportnumpyasnpimportcv2impo
清纯世纪·2022-11-24 05:01

提升深度卷积网络可解释性Grad-CAM++(1): Improved Visual Explanations for Deep Convolutional Networks

作者：19届lz论文：《ImprovedVisualExplanationsforDeepConvolutionalNetworks》问题:虽然Grad-CAM等基于梯度的方法生成的可视化为CNN模型所做的预测提供了解释
中南大学苹果实验室·2022-11-24 05:28

关于Grad-CAM的自问自答（详细解释了为什么要用Relu的原因）

问题：为什么Grad-CAM最后要用Relu把加权求和后的负值变为0呢（等效于就是忽略掉负的梯度值）？
Rolandxxx·2022-11-24 05:25

(已解决)多卡训练时报错RuntimeError: grad can be implicitly created only for scalar outputs

背景博主第一次使用多卡训练，在程序中添加了如下代码#包装为并行风格模型os.environ["CUDA_DEVICE_ORDER"]="PCI_BUS_ID"os.environ["CUDA_VISIBLE_DEVICES"]='0,1,2,3'device_ids=[0,1,2,3]model.to("cuda:0")model=torch.nn.DataParallel(model,devic
CSU迦叶·2022-11-24 02:41

pytorch: grad can be implicitly created only for scalar outputs 的解决办法

如果X.grad报错：gradcanbeimplicitlycreatedonlyforscalaroutputs加上去X.backward(torch.ones_like(X))即可。
程序猿的探索之路·2022-11-24 02:09

RuntimeError: grad can be implicitly created only for scalar outputs

deep-learning-for-image-processing-master\deep-learning-for-image-processing-master\pytorch_classification\grad_cam
CH�·2022-11-24 02:07

pytorch基础（十五）-----------优化器optimizer

参数的缓存，如momentum的缓存param_groups：管理的参数组_step_count：记录更新次数，学习率调整中使用（比如要在第n次迭代后降低学习率）二、optimizer的基本使用方法zero_grad
Py零零·2022-11-24 01:29

Pytorch中为什么优化器的梯度会累加在一起？

每次做反向传播之前都要归零梯度，optimizer.zero_grad()--->原因在于如果不清零，他们的梯度会一直累加造成结果不收敛相关链接：【PyTorch】PyTorch中的梯度累加-lart
密脉柯·2022-11-24 01:58

Yolov5的类激活图

这是https://github.com/jacobgil/pytorch-grad-cam/blob/master/tutorials/ClassActivationMapsforObjectDetectionWithFasterRCNN.ipynb
点PY·2022-11-23 22:46

Pytorch加速模型训练速度总结

足够大了（比如16+的时候了），只想着减少时间复杂度的情况下，所以这个时候一定是使用空间换取时间的（与checkpoint相反）1.减少训练步骤中掺杂的其他的东西：只留下optimizer.zeors_grad
HaiderZhong·2022-11-23 22:13

NativeScaler()与loss_scaler【loss.backward()和 optimizer.step()】

这个类的实例在调用时需要传入loss,optimizer,clip_grad,parameters,create_graph等参数，在call()函数的内部实现了loss.backw
AI界扛把子·2022-11-23 21:41

【绊脚石】多次测试结果不一致问题

```model.eval()withtorch.no_grad():...outputs=model(data)...
幸运草阿·2022-11-23 17:01

pytorch.nn.init

importmathimportwarningsfromtorchimportTensorimporttorch#Theseno_grad_*functionsarenecessaryaswrappersaroundthepartsofthese
日和公主·2022-11-23 16:17

opencv拉普拉斯边缘锐化cvLaplace算法的运用

Laplacian变换Laplacian算子是n维欧几里得空间中的一个二阶微分算子，定义为梯度grad（）的散度div（）。
托沃斯-勒夫·2022-11-23 16:56

Transformers使用bert模型预留的[unused*]时遇到的问题：torch.embedding IndexError: index out of range in self

CUDAerror:device-sideasserttriggered然后模型放到cpu里查看具体原因，报错了：torch.embedding(weight,input,padding_idx,scale_grad_by_freq
持续战斗状态·2022-11-23 14:01

每天学点pytorch--torch.nn.Module的apply()方法

示例：[email protected]_grad()definit_weights(m):print(m)iftyp
qiumokucao·2022-11-23 12:44

关于pytorch复现模型的一些报错总结

.RuntimeError:OneofthedifferentiatedTensorsdoesnotrequiregrad关于这个报错的意思是：有一个参数不需要计算导数此torch.autograd.grad
snow5618·2022-11-23 10:13

grad can be implicitly created only for scalar outputs

如果设置它的属性.requires_grad为True，那么它将会追踪对于该张量的所有操作。当完成计算后可以通过调用.backward()，来自动计算所有的梯度。
一只皮皮虾x·2022-11-23 09:38

Pytorch之autograd错误：RuntimeError: grad can be implicitly created only for scalar outputs

此公众号会发表计算机考研（初复试信息）、夏令营等资料，方便考研人对信息的获取，节约自身查找资料的时间，回复408，可获得数据结构、操作系统、计算机网络、计算机组成原理全科资料前言标量是0阶张量(一个数)，是1*1的；向量是一阶张量，是1*n的；张量可以给出所有坐标间的关系，是n*n的。所以通常有人说将张量(n*n)reshape成向量(1*n)，其实reshape过程中并没有发生大的变化。impo
青竹aaa·2022-11-23 09:38

RuntimeError: grad can be implicitly created only for scalar outputs的原因：Pytorch不支持对张量的求导

一、背景介绍原则上，Pytorch不支持对张量的求导，即如果z是张量的话，需要先将其转为标量。浏览了很多博客，给出的解决方案都是说在求导时，加一个torch.ones_like(z)的参数。下面给出一个实例来分析一下torch.ones_like(z)的作用。简而言之，torch.ones_like(z)相当于在对z进行求导时，对z中的元素进行求和操作，从而将其转为一个标量，便于后续的求导。二、实
信小颜·2022-11-23 09:52

《PyTorch深度学习实践》学习笔记：反向传播

反向传播前馈计算：权重维度增加：权重维度增加且增加多个层，但化简后还是线性的：增加激活函数，从而增加非线性：反向传播计算梯度，使用的是链式法则：Pytorch里面数据类型Tensor，有两个属性一个data，一个grad
lizhuangabby·2022-11-23 08:18

【深度学习】梯度截断（grad_clip）

【深度学习】梯度截断（grad_clip）神经网络在反向传播的过程中会产生梯度消失/梯度爆炸的问题，梯度消失/爆炸会导致网络中的参数长时间无法更新，模型进而无法得到很好的训练效果梯度截断，就是要解决梯度消失
西瓜你个我特么冷·2022-11-23 06:28

pytorch梯度剪裁的方法

importtorch.nnasnnoutputs=model(data)loss=loss_fn(outputs,target)optimizer.zero_grad()loss.backward()
wang xiang·2022-11-23 06:19

梯度剪裁: torch.nn.utils.clip_grad_norm_()

目录前言一、原理二、使用方法总结前言当神经网络深度逐渐增加，网络参数量增多的时候，反向传播过程中链式法则里的梯度连乘项数便会增多，更易引起梯度消失和梯度爆炸。对于梯度爆炸问题，解决方法之一便是进行梯度剪裁，即设置一个梯度大小的上限。本文介绍了pytorch中梯度剪裁方法的原理和使用方法。一、原理注：为了防止混淆，本文对神经网络中的参数称为“网络参数”，其他程序相关参数成为“参数”。pytorch中
Mikeyboi·2022-11-23 06:43

with torch.no_grad()或@torch.no_grad() 用法

requires_grad=True要求计算梯度requires_grad=False不要求计算梯度withtorch.no_grad()或者@torch.no_grad()中的数据不需要计算梯度，也不会进行反向传播
Douzi1024·2022-11-23 01:09

pytorch学习遇到的问题汇总

1.向量求导向量对向量求导-_yanghh-博客园(cnblogs.com)https://www.cnblogs.com/yanghh/p/13758243.html2.backward和grad一文解释
Tsparkle·2022-11-23 00:18

Pytorch获取特征图

pretrained参数设置为False，那么仅仅设定模型结构；如果设置为True，那么会启动一个下载流程，下载预训练参数如果只想调用模型，不想训练，那么设置model.eval()和model.requires_grad
拜阳·2022-11-22 23:27

Torch.arange函数详解

torch.arange函数原型arange(start=0,end,step=1,*,out=None,dtype=None,layout=torch.strided,device=None,requires_grad
_湘江夜话_·2022-11-22 23:07

pytorch torch.arange

0,1,2,3,4])APItorch.arange(start=0,end,step=1,out=None,dtype=None,layout=torch.strided,device=None,requires_grad
Claroja·2022-11-22 23:56

torch.arange()与torch.range()

torch.arange(start=0,end,step=1,*,out=None,dtype=None,layout=torch.strided,device=None,requires_grad=
Jet__P·2022-11-22 23:54

pytorch每日一学20(torch.arange()、torch.range()、torch.linespace()、torch.logspace())根据步长创造一维tensor

torch.arange(start=0,end,step=1,*,out=None,dtype=None,layout=torch.strided,device=None,requires_grad=
Fluid_ray·2022-11-22 23:53

torch.arange

torch.arange(start=0,end,step=1,*,out=None,dtype=None,layout=torch.strided,device=None,requires_grad=
Elvira521yan·2022-11-22 23:23

当我第一次接触grad_cam（一）

一、安装在pycharm终端中输入pipinstallgrad-cam二、pytorch-grad-cam这个库可以用来干啥？
啥都要会·2022-11-22 20:12

创建虚拟环境并安装自己要用的库，pycharm配置anaconda环境

目录创建自己的环境查看python版本查看当前存在的虚拟环境进入自己创建的python环境在自己的环境中安装pytorch安装matplotlib安装opencv查看GPU运行情况安装imageio安装grad-campycharm
啥都要会·2022-11-22 20:55

PyTorch学习笔记——入门（Tensor、Autograd、NN、图像分类器实验、数据并行处理）

入门学习1.1张量1.1.1构造1.1.2Tensor操作查看信息改变形状索引操作Tensor类型逐元素操作归并操作比较线性代数Tensor和Numpy内部结构其他1.2自动微分1.2.1required_grad1.2.2
问尔·2022-11-22 18:13
上一页 17 18 19 20 21 22 23 24 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他