requires_grad

测试torch.no_grad()的作用

1.使带有梯度的tensor能够原地运算（更新tensor）fromtorch.autogradimportVariablex=Variable(torch.ones(1,2),requires_grad
weixin_47343182·2022-11-24 15:23

【torch.no_grad()】

这个模式下，每个计算结果的requires_grad=False，尽管输入的requires_grad=True。上下文管理器是threadlocal的，不会影响其它线
倔强一撮毛·2022-11-24 15:52

torch.no_grad

对计算它将减少内存消耗，否则requires_grad=True。在这个模式下，每个计算结果都需要使得requires_gra
Wanderer001·2022-11-24 15:51

python:torch.no_grad()的作用 + requires_grad，grad_fn，grad的含义及使用

1.requires_grad，grad_fn，grad的含义及使用requires_grad:如果需要为张量计算梯度，则为True，否则为False。
TANGWENTAI·2022-11-24 15:49

Pytorch中with torch.no_grad()或@torch.no_grad() 用法

https://blog.csdn.net/Answer3664/article/details/99460175requires_grad=True要求计算梯度requires_grad=False不要求计算梯度
Douzi1024·2022-11-24 15:49

深度学习问题2：pytorch-lightning加载的预训练网络会变化并且参数冻结失败

需要另一个预训练的网络进行特征提取，因为预训练网络也是我自己编写的，有输出的效果图，但在另一个pytorch-lightning编写的网络中发现，他在测试过程中输出的效果图跟原来不一样，并且eval、detach、requires_grad
愿你被这个世界温暖相待·2022-11-24 07:54

pytorch学习：loss为什么要加item()

PyTorch0.4.0版本去掉了Variable，将Variable和Tensor融合起来，可以视Variable为requires_grad=True的Tensor。其动态原理还是不变。在获
dlvector·2022-11-24 07:42

pytorch: grad can be implicitly created only for scalar outputs 的解决办法

importtorcha=torch.randn(2,3,requires_grad=True)#创建一个张量b=3*ab.backward(torch.ones_like(b))#自动计算所有梯度print
程序猿的探索之路·2022-11-24 02:09

grad can be implicitly created only for scalar outputs

如果设置它的属性.requires_grad为True，那么它将会追踪对于该张量的所有操作。当完成计算后可以通过调用.backward()，来自动计算所有的梯度。
一只皮皮虾x·2022-11-23 09:38

with torch.no_grad()或@torch.no_grad() 用法

requires_grad=True要求计算梯度requires_grad=False不要求计算梯度withtorch.no_grad()或者@torch.no_grad()中的数据不需要计算梯度，也不会进行反向传播
Douzi1024·2022-11-23 01:09

Torch.arange函数详解

函数详解官方文档：torch.arange函数原型arange(start=0,end,step=1,*,out=None,dtype=None,layout=torch.strided,device=None,requires_grad
_湘江夜话_·2022-11-22 23:07

pytorch torch.arange

[0,1,2,3,4])APItorch.arange(start=0,end,step=1,out=None,dtype=None,layout=torch.strided,device=None,requires_grad
Claroja·2022-11-22 23:56

torch.arange()与torch.range()

torch.arange(start=0,end,step=1,*,out=None,dtype=None,layout=torch.strided,device=None,requires_grad=
Jet__P·2022-11-22 23:54

pytorch每日一学20(torch.arange()、torch.range()、torch.linespace()、torch.logspace())根据步长创造一维tensor

torch.arange(start=0,end,step=1,*,out=None,dtype=None,layout=torch.strided,device=None,requires_grad=
Fluid_ray·2022-11-22 23:53

torch.arange

torch.arange(start=0,end,step=1,*,out=None,dtype=None,layout=torch.strided,device=None,requires_grad=
Elvira521yan·2022-11-22 23:23

使用PyTorch冻结模型参数的方法

方法（1）通过遍历网络结构，设置梯度更新requires_grad=False。#冻结network1的全部参数和network2的部分参数forname,parameterinnetwork1.
TracelessLe·2022-11-22 18:31

自动求导机制-代码实现

自动求导机制importtorch#x=torch.randn(3,4,requires_grad=True)#requires_grad=True这个的意思是指在训练的过程中可以对当前指定的x进行求导了
土豆娃potato·2022-11-22 16:03

pytorch中交叉熵损失（nn.CrossEntropyLoss()）的计算过程

importtorchimporttorch.nnasnnimportmathimporttorchimporttorch.nnasnnimportmathcriterion=nn.CrossEntropyLoss()#output=torch.randn(3,5,requires_grad
子非鱼_tan·2022-11-22 14:17

BUG pytorch

错误之处在于：x=torch.randn(3,requires_grad=True)#定义该tensor需要求梯度out=x*2out.backward()#错误之处在此，当输出值是scalar时，
小卜妞~·2022-11-22 13:41

Pytorch笔记——2、Pytorch自动求梯度

本节将介绍如何使用autograd包来进行自动求梯度的有关操作使用方法将tensor的属性.requires_grad设置为True，它将开始追踪在其上的所有操作（这样就可以利用链式法则进行梯度传播了）
数据科学家修炼之道·2022-11-21 23:20

pytorch梯度累加探索

举个简单例子，,求一次梯度为2x=2(x=1)importtorchx=torch.tensor(1.0,requires_grad=True)y1=x**2y1.backward()print(x.grad
3DYour·2022-11-21 22:33

pytorch中tensor、backward一些总结

TensorTensor创建Tensor（张量）基本数据类型与常用属性Tensor的自动微分设置不可积分计算pytorch计算图backward一些细节该文章解决问题如下：对于tensor计算梯度，需设置requires_grad
牵一发而动全身·2022-11-21 11:58

【PyTorch 计算图】requires_grad=True的leaf variable及其设计逻辑

文章目录内容简介主体什么是leafvariable为什么不用.to(device)为什么会报这个错怎么改内容简介最近在写pytorch代码的时候遇到了这种情况：一个RNN层，我们这里把这个层的参数记做paramrnnparam_{rnn}paramrnn一个输入X，得到输出output,h_n=RNN(X)。这里output存的是每个节点的隐层，h_n是最后一层的隐层，具体去看pytorch的do
Petersburg·2022-11-21 01:42

Pytorch反向传播与梯度累积

一、自动求导与反向传播如果处理的函数可微，Pytorch可以实现自动计算梯度，只需设置requires_grad=True。用一个线性回归的例子进行说明，输入输出分别为x,y。
accvs·2022-11-20 19:05

Pytorch学习笔记（二）反向传播与梯度下降

当我们需要启动grad_fn时，需要将requires_grad设置为True。
好想学会深度学习啊·2022-11-20 19:00

Pytorch梯度下降和和反向传播

目录1.向前计算1.1计算过程1.2requires_grad和grad_fn2梯度计算1.向前计算对于pytorch中的一个tensor，如果设置它的属性，requires_grad为True,那么它将会追踪对于该张量的所有操作
DIONG.·2022-11-20 19:59

torch.nn里的损失函数：MSE、BCE、BCEWithLogits、NLLLoss、CrossEntropyLoss的用法

loss=nn.MSELoss()input=torch.randn(3,5,requires_grad=True)target=torch.randn(3,5)output=loss(input,target
zcm0126·2022-11-20 13:33

pytorch学习——Tensor

1、Tensor的创建torch.tensor(data,dtype=None,device=None,requires_grad=False,pin_memory=False)(1)列表数据importtorchdata
狂奔的菜驰·2022-11-20 04:31

pytorch 张量tensor的自动微分(求导)

将Torch.Tensor属性.requires_grad设置为True，pytorch将开始跟踪对此张量的所有操作。完成计算后，可以调用.backward
k_a_i_and·2022-11-20 02:48

迁移学习冻结网络的方法：

说明：pytorch（1-3），TensorFlow（4）finetune就是冻结网络前面的层，然后训练最后一层给优化器传入所有参数，但将要冻结层的参数的requires_grad置为False：optimizer
Wsyoneself·2022-11-20 02:08

Caught RuntimeError in replica 0 on device 0（为什么pytorch多卡跑会报错）

如果你找遍了全网都没找到解决方法，那不妨看看本文：a=torch.nn.Parameter(torch.zeros(dims,1).type(torch.FloatTensor),requires_grad
不困先生说·2022-11-20 01:39

pytorch加载预训练模型并固定部分层，训练一段时间再取消固定从头训练

首先加载预训练模型，将不需要训练的层requires_grad设置为False.(如果想要只训练分类层，记得分类成换成与之前不同的名字)state_dict_best=torch.load('.
凡士林vasline·2022-11-20 00:06

pytorch损失函数nn.L1Loss()

reduce=False)2.然后举个简单的例子，帮助理解1》设置网络的输出与真实的输出：#其中output为网络的输出#target为目标输出即对应输入真实的标签output=torch.ones(2,3,requires_grad
桀骜不驯的山里男人·2022-11-19 14:23

Paper Reading - 2、PatchCore: Towards Total Recall in Industrial Anomaly Detection

PatchCore模型架构：Patch:所谓补丁，指的是像素;Embedding:所谓嵌入，指的是将网络提取的不同特征组合到一块;训练流程：无神经网络参数更新，不需要训练，不需要更新参数requires_grad
Wood_Du·2022-11-19 10:29

Pytorch中的.backward()方法

requires_grad==True具有传递性：若x.re
qq_54867493·2022-11-19 07:27

在PyTorch中data.norm（）是含义

在PyTorch的官方文档中，有这段代码：x=torch.randn(3,requires_grad=True)print(x)y=x*2whiley.data.norm()<1000:y=y*2print
Escape the bug·2022-11-16 18:26

requires_grad，requires_grad_()，grad_fn区别

x.requires_grad为x的属性2.x.grad_fn：积分方法名，默认为None3.x.requires_grad：是否积分的属性，默认为False4.x.requires_grad_()：设置积分的方法，设置之后requires_grad
叙忆·2022-11-15 13:25

Pytorch中requires_grad_()， tensor.data，detach()， torch.no_grad()的区别

一、tensor.data的使用(属性)importtorcha=torch.tensor([1,2,3.],requires_grad=True)out=a.sigmoid()c=out.data#通过
林奇_·2022-11-15 13:22

pytorch网络冻结的三种方法区别：detach、requires_grad、with_no_grad

pytorch网络冻结的三种方法区别：detach、requires_grad、with_no_grad文章目录pytorch网络冻结的三种方法区别：detach、requires_grad、with_no_grad1
shuttle6·2022-11-15 13:21

叶子节点和tensor的requires_grad参数

参考pytorch中网络参数weightbias初始化方法-云+社区-腾讯云无论如何定义计算过程、如何定义计算图，要谨记我们的核心目的是为了计算某些tensor的梯度。在pytorch的计算图中，其实只有两种元素：数据（tensor）和运算，运算就是加减乘除、开方、幂指对、三角函数等可求导运算，而tensor可细分为两类：叶子节点(leafnode)和非叶子节点。使用backward()函数反向传
Wanderer001·2022-11-15 13:20

【Pytorch】detach, requires_grad和volatile

在跑CIN的代码时,将batch_size从10一路降到2,依然每执行sample就爆显存.请教师兄后,发现问题出在这一句上:在进行sample的时候,不止保存之前的变量fake,而且还保存了fake前所有的梯度.计算图进行累积,那样不管有多大显存都是放不下的.之后,在self.G(real_x,target_c)[0]后面加上了.detach(),代码就可以顺利运行了.查阅pytorch的官方文
mjiansun·2022-11-15 13:19

PyTorch requires_grad/detach

前情提要在排查GAN训练失真问题时，对pytorch中梯度相关知识进行了回顾，特此记录，以便自我回顾。参考文章在pytorch中停止梯度流的若干办法，避免不必要模块的参数更新一文搞透pytorch中的tensor、autograd、反向传播和计算图pytorch训练GAN时的detach()测试代码importtorchimporttorch.nnasnndeftest_requires_grad
CarolSu2055·2022-11-15 13:44

pytorch学习笔记——requires_grad

根据PyTorch的自动求导机制，如果一个tensor设置require_grad为True的情况下，才会对这个tensor以及由这个tensor计算出来的其他tensor求导，并将导数值存在tensor的grad属性中，便于优化器来更新参数。所以一般情况下，只有对训练过程的tensor设置require_grad为True，便于求导和更新参数。而验证过程只是检查当前模型的泛化能力，只需要求出lo
phily123·2022-11-15 13:44

pytorch 中 torch.no_grad()、requires_grad、eval()

辅助视频教程：Python基础教程|xin3721自学网ulliid=itemtitlePython3从入门到精通视频教程/li/ululliclass=descriptionPython是一种跨平台的计算机程序设计语言。是一种面向对象的动态类型语言，最初被设计用于编写自动化脚本(shell)，https://www.xin3721.com/eschool/pythonxin3721/requir
chinaherolts2008·2022-11-15 13:39

理解动态计算图，requires_grad、zero_grad

在计算图构建和反向传播过程中存在一些令人混淆的概念，例如is_leaf、requires_grad、detach()、zero_grad()、retain_grad()、torch.nograd()。
blanklog·2022-11-15 13:38

Pytorch关于求梯度和requires_grad_(True)和detach的理解

1.关于.grad理解直接见测试代码和注释：importtorchx=torch.tensor([1,2],dtype=torch.float32,requires_grad=True)a=torch.tensor
Rolandxxx·2022-11-15 13:07

Pytorch 梯度计算，叶子节点，requires_grad，detach

Pytorch梯度计算，叶子节点，requires_grad，detach前言梯度计算叶子节点张量requires_grad属性修改，detach前言本篇记录pytorch中梯度相关内容，叶子节点定义与
RuiH.AI·2022-11-15 13:06

torch.nn

Variable默认是不需要求梯度的，还需要手动设置参数requires_grad=True，而且还不能作为model.paramete
爱钻研的小铭·2022-11-14 17:31

使用Pytorch求解函数的偏微分

使用Pytorch求解函数的偏微分importtorch'''新建x,a,b,c变量requires_grad=True告诉Pytorch我们需要对a，b，c进行求导'''x=torch.tensor(
Jun-ho Chae·2022-11-14 07:21

torch.nn.Parameter()函数的讲解和使用

1.官方文档先看一下官方的解释：PyTorch官方文档1.1语法torch.nn.parameter.Parameter(data=None,requires_grad=True)其中：data(Tensor
Le0v1n·2022-11-07 08:25
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他