requires_grad

PyTorch中 tensor.detach() 和 tensor.data 的区别详解

PyTorch0.4中，.data仍保留，但建议使用.detach(),区别在于.data返回和x的相同数据tensor,但不会加入到x的计算历史里，且requires_grad=False,这样有些时候是不安全的
梦家·2020-01-06 14:21

解决pytorch在训练时由于设置了验证集导致out of memory(同样可用于测试时减少显存占用)

实验得做呀.于是找了不少方法,比如设置各个网络变量requires_grad=False,但是并不管
硬派·2020-01-05 17:50

pytorch-detach

1importtorch2fromtorch.autogradimportVariable34torch.random.manual_seed(1)5w1=torch.Tensor([2])#认为w1与w2是函数f1与f2的参数6print('w1',w1)7w1=Variable(w1,requires_grad
爽歪歪666·2020-01-03 10:00

pytorch: Parameter 的数据结构实例

pytorch的Parameter是一个tensor,但是跟通常意义上的tensor有些不一样1)通常意义上的tensor仅仅是数据2)而Parameter所对应的tensor除了包含数据之外,还包含一个属性:requires_grad
wzg2016·2019-12-31 14:45

Pytorch之Variable的用法

tensor的区别和联系Variable是篮子，而tensor是鸡蛋，鸡蛋应该放在篮子里才能方便拿走（定义variable时一个参数就是tensor）Variable这个篮子里除了装了tensor外还有requires_grad
啧啧啧biubiu·2019-12-31 09:27

pytorch .detach() .detach_() 和 .data用于切断反向传播的实现

并不让其梯度对主网络的梯度造成影响，这时候我们就需要使用detach()函数来切断一些分支的反向传播1detach()[source]返回一个新的Variable，从当前计算图中分离下来的，但是仍指向原变量的存放位置,不同之处只是requires_grad
慢行厚积·2019-12-27 14:45

浅谈对pytroch中torch.autograd.backward的思考

可以对计算图中的梯度进行计算和累积这里通过一段程序来演示基本的backward操作以及需要注意的地方>>>importtorch>>>fromtorch.autogradimportVariable>>>x=Variable(torch.ones(2,2),requires_grad
https://oldpan.me/archives/pytroch-torch-autograd-backward·2019-12-27 08:39

PyTorch简明笔记[2]-Tensor的自动求导(AoutoGrad)

一、设置Tensor的自动求导属性所有的tensor都有.requires_grad属性，都可以设置成自动求导。
Stack_empty·2019-12-27 00:35

Pytorch 0.4.0 新版本特性

Tensor和Variable合并，autograd的机制有所不同，变得更简单，使用requires_grad和上下文相关环境管理，弃用了volatile标志。
古de莫宁·2019-12-23 18:47

从头学pytorch(二) 自动求梯度

TensorTensor的几个重要属性或方法.requires_grad设为true的话,tensor将开始追踪在其上的所有操作.backward()完成梯度计算.grad属性计算的梯度累积到.grad
core!·2019-12-15 23:00

PyTorch里的requires_grad、volatile及no_grad

1.requires_gradVariable变量的requires_grad的属性默认为False,若一个节点requires_grad被设置为True，那么所有依赖它的节点的requires_grad
yalesaleng·2019-12-01 09:33

PyTorch基本用法(二)——Variable

importtorchfromtorch.autogradimportVariabletensor=torch.FloatTensor([[1,2],[3,4]])#定义Variable,requires_grad
SnailTyan·2019-11-27 17:58

Pytorch学习笔记

input,mask)nonzero(input)gather(input,dim,index)view()改变张量的形状item()内存开销Tensor,Numpy互转Tensor放到GPU上自动求梯度requires_grad
yuyijie_1995·2019-11-14 18:01

pytorch函数理解（一）detach,requires_grad和volatile

仅供思考使用，转载于：https://www.jianshu.com/p/f1bd4ff84926在跑CIN的代码时,将batch_size从10一路降到2,依然每执行sample就爆显存.请教师兄后,发现问题出在这一句上:在进行sample的时候,不止保存之前的变量fake,而且还保存了fake前所有的梯度.计算图进行累积,那样不管有多大显存都是放不下的.之后,在self.G(real_x,ta
rain小雨·2019-10-29 10:10

Pytorch实验之参数更新

起因实现随机深度策略时，在block内部进行requires_grad=True/False操作会报错（后面测试知道其实是DataParallel的锅）ref:1,2结论初始化各模块如self.conv3
Bear_Kai·2019-10-23 11:10

PyTorch Note -- 自动求导

loss_func,[parameter,...])或者是loss_func.backward();parameter.gradx=torch.ones(1)#print(x)w=torch.full([1],2,requires_grad
小孟Tec·2019-10-23 11:25

pytorch（一）--张量创建汇总

如下图data:被包装的Tensorgrad:data的梯度grad_fn:创建Tensor的Function,是自动求导的关键requires_grad:指示是否需要梯度is_
yr_·2019-10-22 15:30

常用Loss总结

是预测值：使用方式如下：classtorch.nn.BCELossExamples::>>>m=nn.Sigmoid()>>>loss=nn.BCELoss()>>>input=torch.randn(3,requires_grad
Mr.Q·2019-09-12 11:54

Pytorch 学习（1）自动求导: 自动微分 初体验

importtorchfromtorch.autogradimportVariablex=Variable(torch.ones(2,2),requires_grad=Tr
段智华·2019-09-03 23:35

深度学习入门之pytorch——一维线性回归代码更新

Variable与Tensorvariable与tensor合并，旧版本的variable封装仍可以工作，新的tensor就不需要再用variable封装了，requires_grad
dafazzzz·2019-09-02 18:45

深度学习入门之pytorch——一维线性回归代码更新

Variable与Tensorvariable与tensor合并，旧版本的variable封装仍可以工作，新的tensor就不需要再用variable封装了，requires_grad
dafazzzz·2019-09-02 18:45

深度学习pytorch入门

np.arange(-4,4.01,0.1)y=x**2plt.plot(x,y)plt.plot(2,4,'ro')plt.show()x=Variable(torch.FloatTensor([2]),requires_grad
南方五宿放眼观_犹如潇湘黛未施·2019-08-19 22:07

关于PyTorch 自动求导机制详解

自动求导机制从后向中排除子图每个变量都有两个标志：requires_grad和volatile。它们都允许从梯度计算中精细地排除子图，并可以提高效率。
manong_wxd·2019-08-18 10:21

Pytorch反向求导更新网络参数的方法

手动计算变量的梯度，然后更新梯度importtorchfromtorch.autogradimportVariable#定义参数w1=Variable(torch.FloatTensor([1,2,3]),requires_grad
tsq292978891·2019-08-17 17:56

pytorch 固定部分参数训练的方法

lambdap:p.requires_grad,model.parameters()),lr=1e-3)另外，如果是Variable，则可以初始化时指定j=Variable(torch.randn(5,5),requires_grad
guotong1988·2019-08-17 15:08

Pytorch怎么实现反向传播（pytorch自动求微分的原理）

可以对Tensor进行各种数学运算另一方面，当设置.requires_grad=True之后，在其上进行的各种操作就会被记录下来，用于后续的梯度计算，其内部实现机制被成为动态计算图autograd机制能够记录作用于
bl128ve900·2019-07-26 15:31

pytorch中的.detach和.data深入详解

PyTorch0.4以及之后的版本中，.data仍保留，但建议使用.detach()一、tensor.data的使用先直接看一段代码：importtorcha=torch.tensor([1,2,3.],requires_grad
LoveMIss-Y·2019-07-22 11:50

[pytorch] PyTorch Hook

¶参考：Pytorch中autograd以及hook函数详解在pytorch中的自动求梯度机制(Autogradmechanics)中，如果将tensor的requires_grad设为True,那么涉及到它的一系列运算将在反向传播中自动求梯度
listenviolet·2019-07-18 15:00

交叉熵损失函数（CrossEntropyLoss）

importtorchimporttorch.nnasnnimportmathloss=nn.CrossEntropyLoss()input=torch.randn(1,5,requires_grad=
cv阿文·2019-07-10 15:13

基于pytorch岭回归

,[2.,3.,1.],[3.,5.,1.],[4.,2.,1.],[5.,4.,1.]])y=torch.tensor([-10.,12.,14.,16.,18.])w=torch.zeros(3,requires_grad
小然_ran·2019-06-26 09:45

pytorch笔记：一些常见操作，构建全连接神经网络，验证操作，评估模式

文章目录生成tensor格式转换设置requires_grad参数构建全连接神经网络构建全连接神经网络模型选择损失函数选择优化方法反向传播批训练操作GPU加速保存和读取模式所有代码快速搭建模型与添加模型结构快速搭建模型添加模型结构输出模型结构或者中间层权重输出模型结构输出参数取值验证操作与模型的评估模式验证操作评估模式
Leon_winter·2019-06-17 11:53

ARTS-S pytorch中backward函数的gradient参数作用

求导或者求偏导只有函数对自变量,其余任何情况都是错的.但是很多机器学习的资料和开源库都涉及到标量对向量求导.比如下面这个pytorch的例子.importtorchx=torch.tensor([1.0,2.0,3.0],requires_grad
荷楠仁·2019-06-14 14:00

【文档学习】Pytorch——torch.autorgrad包

torch.autograd提供了实现自动计算任意标量值函数的类别核函数，需要手动修改现有代码（需要重新定义需要计算梯度Tensor，加上关键词requires_grad=True）。
ShuqiaoS·2019-06-12 00:00

基于pytorch实现牛顿迭代法求函数极小值

importtorchfromtorch.autogradimportVariabledeff(x):y=x**2returnyx=Variable(torch.Tensor([5]),requires_grad
小然_ran·2019-05-20 17:14

PyTorch系列（3）：tensor生成操作大全

下面参数中的省略号代表dtype、requires_grad等常规参数。
c-minus·2019-05-16 16:03

pytorch 如何设置 可学习参数

#比如cnn输出4个东西，你又不想concate到到一起，你想用权重加法，权重又不想自己设定，想让网络自己学#requires_grad=True这个很重要#设置前置网络及可学习参数self.cnn=cnn_output4
Jee_King·2019-05-09 11:35

Pytorch 初学---神经网络线性回归以及模型保存

importtorchimporttorch.nnasnnimporttorch.optimasopfromtorch.autogradimportVariablex=Variable(torch.Tensor([[1,2],[3,4],[4,2]]),requires_grad
SinGaln·2019-04-30 12:37

pytorch checkpoint 函数的坑

实验pytorch版本1.0.1pytorch的checkpoint是一个可以用时间换空间的技术，很多情况下可以轻松实现batch_size翻倍的效果坑checkpoint的输入需要requires_grad
ONE_SIX_MIX·2019-04-28 15:09

pytorch.data属性和.detach属性相同与不同之处

说一下.data和.detach吧a=torch.tensor([1.,2,3],requires_grad=True)print(a)b=a.dataprint(b)c=a.detach()print
墨氲·2019-04-25 21:41

感知机 MLP 梯度反向传播详细推导

5.感知机梯度传播推导单一输出感知机多输出感知机链式法则MLP反向传播推导2D函数优化实例单一输出感知机x=torch.randn(1,10)w=torch.randn(1,10,requires_grad
_zZhe·2019-04-10 16:43

pytorch

如果设置它的属性.requires_grad为True，那么它将会追踪对于该张量的所有操作。当完成计算后可以通过调用.backward()，来自动计算所有
rainbow_lucky0106·2019-04-01 17:05

莫烦pytorch学习02：Variable变量

importtorchfromtorch.autogradimportVariabletensor=torch.FloatTensor([[1,2],[3,4]])variable=Variable(tensor,requires_grad
HanWang~·2019-03-26 15:22

【PyTorch学习笔记】9：感知机,链式法则,对Himmelblau函数的优化实例

感知机单层感知机的例子importtorchfromtorch.nnimportfunctionalasFx=torch.randn(1,10)w=torch.randn(1,10,requires_grad
刘知昊·2019-03-21 23:00

使用pytorch搭建神经网络

关于张量的梯度搭建神经网络定义绘图函数定义一个神经网络加载数据集训练模型测试函数主函数关于加载人脸识别的数据打印标注点Note(veryimportant):使用类一些学习链接部分参考：https://zhuanlan.zhihu.com/p/51385110定义求导属性所有的tensor都有.requires_grad
羊城迷鹿·2019-03-21 22:22

pytorch 实现cross entropy损失函数计算的三种方式

importtorchimporttorch.nn.functionalasF'''实现crossentropy损失函数计算的三种方式'''input=torch.randn(3,5,requires_grad
WYXHAHAHA123·2019-03-08 10:38

pytorch 官方文档-变量和梯度

torch.Tensor的属性.requires_grad设置为True,它将记录自身所有的操作.当计算完成后可以调用.backward()函数来计算梯度.梯度将会存放在.grad属性里面.通过.detach
Claroja·2019-02-21 14:10

pytorch之torch.ones_like

torch.ones_like(input,dtype=None,layout=None,device=None,requires_grad=False)→Tensor返回一个填充了标量值1的张量，其大小与之相同
刘嘉晨Amber·2019-02-08 08:49

pytorch之Variable对象之梯度推导

由简入繁看代码：importtorchfromtorch.autogradimportVariablea=Variable(torch.ones(4),requires_grad=True)b=a+2c
头发光了你就强了·2019-01-19 21:27

Pytorch问题：autograd与backward()及相关参数的理解

关于backward标量的问题问题提出在pytorch的官方教程中，有这么一段（我稍微修改了一些）importtorch#x=torch.randn(3,requires_grad=True)x=torch.tensor
丝贝视像-高精度计算机视觉·2019-01-09 12:46

pytorch api torch.nn.MSELoss

reduction='mean')计算输入X和输出Y的均方误差.参数描述reduction(string,optional),默认为平均值loss=nn.MSELoss()input=torch.randn(3,5,requires_grad
Claroja·2018-12-31 09:17
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他