grad

1、non-finite loss, ending training tensor(nan, device=‘cuda:0‘,2、‘LogSoftmaxBackward3、Function ‘MulB

WARNING:non-finiteloss,endingtrainingtensor(nan,device='cuda:0',grad_错误1：WARNING:non-finiteloss,endingtrainingtensor
dyh_cy·2023-01-28 10:12

torch.optim的一些方法

本文目录一、add_param_group()二、load_state_dict(state_dict)三、step()四、zero.grad()五、state_dict()六、param_groups
harry_tea·2023-01-28 09:46

pytorch-optimizer--优化算法

函数1.zero_grad()将梯度清零。由于PyTorch不会自动清零梯度，所以在每一次更新前会进行此操作。2.state_dict()获取模型当前的参数，以一个有序字典形式返回。
我有甜甜·2023-01-27 09:29

Realm的基本使用介绍

build.gradle而不是app的build.gradlebuildscript{repositories{jcenter()}dependencies{classpath"io.realm:realm-grad
liubaobaobao11·2023-01-27 07:32

GAN生成对抗网络

discriminator判别器的训练（3）任务网络的训练#####################UpdatenetGforpinself.netD.parameters():p.requires_grad
Jokic_Rn·2023-01-27 07:56

pytorch0.4的变化（逐渐更新）

需要设置requires_grad属性为True计算梯度时候，X输入需要设定require属性，y输出无需设置。两个均为tensor格式。
发发不动爱·2023-01-27 03:36

pytorch 中 torch.nn.Parameter()

代码解读：torch.nn.Parameter(torch.Tensor)是一个类，继承了torch.Tensor这个类，有两个参数：data(Tensor):给定一个tensor；requires_grad
m0_46483236·2023-01-26 15:33

Pytorch torch.nn.Parameter() 简单理解

通过torch.nn.Parameter()函数将不可训练的Tensor转换成可以训练的参数,类似于grad=True
怎样才能回到过去·2023-01-26 15:58

pytorch基础数据类型--tensor

GPU上is_quantizedis_meta2.基本属性dtype数据类型device计算引擎shape形状3.操作T转置real返回复数实部的新tensorimag返回复数虚部的新tensor4.其它grad
p1049990866·2023-01-26 09:24

Gradle安装和配置

GRADLE_USER_HOME:指定gradle从maven中央库下载依赖包本地存放目录M2_HOME:一般还需要通过M2_HOME指定maven安装地址，这样gradle构建的本地包才能被maven项目引用到，grad
mynameisjinxiaokai·2023-01-26 05:08

torch.nn.Embedding类（nn.Module）详解(还未写完)

）torch.nn.Embedding(num_embeddings,embedding_dim,padding_idx=None,max_norm=None,norm_type=2.0,scale_grad_by_freq
大侠月牙·2023-01-25 07:17

torch.nn.functional.embedding的参数理解，尤其是weight

先看一下参数：torch.nn.functional.embedding(input,weight,padding_idx=None,max_norm=None,norm_type=2.0,scale_grad_by_freq
Rouge-Eradiction·2023-01-25 07:40

PyTorch中在反向传播前为什么要手动将梯度清零？

optimizer.zero_grad()##梯度清零preds=model(inputs)##inferenceloss=criterion(preds,targets)##求解lossloss.backward
橘子味的苹果·2023-01-24 15:13

pytorch autograd 非叶子节点的梯度会保留么？

只有叶子节点的梯度得到保留，中间变量的梯度默认不保留叶子节点的值在求梯度前不允许更改，以及修改的方法只有叶子节点的梯度得到保留，中间变量的梯度默认不保留，除非使用retain_grad()方法#叶子节点
Linky1990·2023-01-24 15:06

optimizer.zero_grad()的意义

optimizer.zero_grad()意思是把梯度置零，也就是把loss关于weight的导数变成0.在学习pytorch的时候注意到，对于每个batch大都执行了这样的操作：optimizer.zero_grad
CV-杨帆·2023-01-24 15:35

pytorch中反向传播，梯度保留，梯度分离，梯度清零，梯度累加等相关问题解析

A(answer):1.只有叶子节点的梯度得到保留，中间变量的梯度默认不保留2.叶子节点的值在求梯度前不允许更改示例>>>a=torch.tensor(2.0,requires_grad=True)>>
千禧皓月·2023-01-24 15:33

Pytorch torch.range()&torch.arange()

torch.range(start=0,end,step=1,*,out=None,dtype=None,layout=torch.strided,device=None,requires_grad=False
桃汽宝·2023-01-24 11:10

pytorch：model.train()、grad()、.add()、.add_()、.mul()、.mul_()、.exp()、.exp_()、.step())

需要在训练时候添加model.train()，在测试时添加model.eval()。其中，model.train（）是保证BN层用每一批数据的均值和方差，model.eval()是保证BN用全部训练数据的均值和方差。对于Dropout，model.train()是随机抽取一部分网络连接来训练更新参数，而model.eval()是利用到了所有网络连接。常用的激活函数有relu、sigmoid、tan
开心邮递员·2023-01-24 11:53

pytorch with torch.no_grad() 功能函数详解

torch.no_grad()是一个上下文管理器，被该语句wrap起来的部分将不会track梯度。
Vertira·2023-01-24 11:15

学习笔记28-pytorch框架下模型推理时间，单张FPS计算代码。

F就是英文单词Frame（画面、帧），P就是Per（每），S就是Second（秒）model.eval()#进入eval模式（即关闭掉droout方法total_time=0withtorch.no_grad
李卓璐·2023-01-24 09:28

深度学习_多层感知机

%matplotlibinlineimporttorchfromd2limporttorchasd2lx=torch.arange(-8.0,8.0,0.1,requires_grad=True)y=torch.relu
JamyJ·2023-01-21 19:01

pytorch 笔记：torch.nn.init

这个模块中的所有函数都是用来初始化神经网络参数的，所以它们都在torch.no_grad()模式下运行，不会被autograd所考虑。
UQI-LIUWJ·2023-01-21 14:04

一行代码解决 Pytorch 测试时显存爆满

解决方法：使用withtorch.no_grad()，在测试的时候让模型不要保存梯度：withtorch.no_grad():forbatch,dataintest_dataloader():test(
Ricky_Yan·2023-01-21 13:19

无python基础入门pytorch的一些笔记

其梯度值会保存在叶子Tensor的.grad属性中。www.cnblogs.com/laiyaling/p/12343844.html#:~:text=PyTorch提
Yongkun2002·2023-01-20 21:04

pytorch学习笔记-2022

.pytorch读取数据4.tensorboard6.transform常用函数7.dataloader8.神经网络9.网络模型的训练-加载10.使用GPU训练11..eval()和torch.no_grad
echoliuy·2023-01-20 10:55

Pytorch梯度下降优化

目录一、激活函数1.Sigmoid函数2.Tanh函数3.ReLU函数二、损失函数及求导1.autograd.grad2.loss.backward()3.softmax及其求导三、链式法则1.单层感知机梯度
Swayzzu·2023-01-20 09:51

pytorch输出网络每个部分的梯度等

forname,paraminmodel_stress_strain.modelensemble[0].named_parameters():print(name,param.grad)输出网络每个部分的梯度
构建的乐趣·2023-01-20 09:20

优化PyTorch性能的一些trick

FP16大Batch训练：对前几次梯度进行累加，然后统一进行参数更新，从而变相实现大Batch训练梯度检查点：训练时间换显存，在前向阶段传递到checkpoint中的forward函数会以torch.no_grad
风zx·2023-01-19 15:46

pytorch基础API

randtorch.rand(*size,*,out=None,dtype=None,layout=torch.strided,device=None,requires_grad=False)→TensorReturnsatensorfilledwithrandomnumbersfromauniformdistributionontheinterval
你回到了你的家·2023-01-19 15:41

打印pytorch网络结构代码类似于 kears启动打印网络

x.numel()forxinmodel.parameters())#numberparametersn_g=sum(x.numel()forxinmodel.parameters()ifx.requires_grad
qq_37401291·2023-01-19 15:21

Pytorch学习笔记-梯度与反向传播

梯度与反向传播PyTorch提供的autograd包能够根据输入和前向传播过程自动构建计算图，并执行反向传播Tensor是这个包的核心类，如果将其属性.requires_grad设置为True，它将开始追踪
Dexter_Sun1·2023-01-19 06:10

colab 如何释放gpu显存？

1)obj=None2)importgcgc.collect()#Pythonthing#torch.cuda.empty_cache()#PyTorchthingwithtorch.no_grad()
子燕若水·2023-01-18 18:27

torch.nn.CrossEntropyLoss用法(原理, nlp, cv例子)

代码原理层面引入一个库:importtorch假如是一个四分类任务，batch为2(只是为了显示简单，举个例子罢了)logists=torch.randn(2,4,requires_grad=T
Andy Dennis·2023-01-18 14:00

YOLOV8最强操作教程.

2023.1.17更新yolov8-grad-cam热力图可视化链接YoloV8精度和结构和改动简介YoloV8精度对比：Yolov8结构图：YoloV8相对于YoloV5的改进点：ReplacetheC3modulewiththeC2fmodule.Replacethefirst6x6Convwith
魔鬼面具·2023-01-18 14:14

Grad-CAM热力图

参考博客step1将预测图片输入模型进行处理img=image.load_img(img_path,target_size=(224,224))x=image.img_to_array(img)#img对象转化为array对象shape=(224,224,3)x=np.expand_dims(x,axis=0)#升维，添加一个batch维x=preprocess_input(x)#对图片使用均值和
Ambition__·2023-01-18 14:11

YOLOV5学习笔记（十）——GradCAM热力图可视化

1、安装pytorch-grad-campipinstallgrad-cam2、修改yolo.py将yolo,py文件的classDetect(nn.Module)的defforward(self,x)
桦树无泪·2023-01-18 14:10

改变世界也可以从办展开始 #lobal Grad Show

全球化的问题，一直是人们密切关心的话题，毕竟这关系着这个星球上80亿人口的生存。有时候哪怕只是一些灵光一现的想法，就有可能对未来的社会产生巨大的影响。什么是“人性原型”？PrototypesForHumanity“人性原型”（PrototypesForHumanity）是最多样化的创新集合，有改变世界的潜力，其计划和活动旨在提高对全球问题的认识，提出解决方案，并促进采取行动，在今天和未来对社会和环
shadowcz007·2023-01-18 13:09

Caffe 中Eltwise层详解

最后，caffe还设定了stable_prod_grad#[
BlackEyes_SY·2023-01-18 12:09

python深度学习求导简单题目+pytorch实战

importtorchfromtorch.autogradimportgradx=torch.tensor([2.,])#x是输入的图片w1=torch.tensor([2.,])#w是模型的可训练的参数w2=torch.tensor([2.,],requires_grad
QYD_(DK数据工作室技术)·2023-01-17 16:13

pytorch注册hook获取网络任意中间层的特征和梯度

又不想重写模型，但还要获取网络中间输出时，就可使用hook机制首先打印模型，查看待输出层的名称print(model)定义hook取特征：feature=fmap_block[‘input’]取梯度：grad
小小溪99·2023-01-17 11:24

pytorch学习--线性回归

pytorch学习–线性回归求解步骤：确定模型Module:y=wx+b选择损失函数MSE：均方差等求解梯度并更新w,bw=w-LR*w.gradb=b-LR*w.grad（LR:步长，即学习率）importtorchimportmatplotlib.pyplotasplttorch.manual_seed
ZHANGYAN·2023-01-17 09:35

PyTorch深度学习：用PyTorch实现线性回归

Bilibili刘二大人《用PyTorch实现线性回归》代码大致思路：铺垫：创建数据集、构建计算模型定义损失函数和优化方式训练：通过forward函数进行前馈loss记录损失值清除上一次的梯度值反向传播并记录梯度值grad
嘿化小学生578·2023-01-17 09:04

神经网络加速基础知识

importtorchimporttorchvisionfromtqdmimporttqdmDEVICE="cuda:0"model=torchvision.models.mobilenet_v2(pretrained=True)model=model.to(DEVICE)withtorch.no_grad
麻花地·2023-01-17 09:34

基于Pytorch 框架手动完成线性回归

Pytorch完成线性回归hello,各位朋友好久不见，最近在忙着期末考试，现在结束之后继续更新咱们的Pytorch框架学习笔记目标知道requires_grad的作用知道如何使用backward知道如何手动完成线性回归
烟火向星辰，所愿皆成真·2023-01-17 08:04

Pytorch学习笔记之通过numpy实现线性拟合

#a=torch.tensor(1.,requires_grad=True)#b=torch
想当厨子的半吊子程序员·2023-01-17 07:55

Pytorch实现线性回归

目录向前计算requires_grad和grad_fn梯度计算手动实现线性回归Pytorch完成模型常用的APInn.Mudule优化器类optimizer损失函数线性回归完整代码在GPU上运行代码向前计算对于
WXiujie123456·2023-01-17 07:46

数值梯度 与 解析梯度

J(x1,x2)=x21+3x1∗x2解析梯度：function[value,grad]=simpleQuadraticFunction(x)%thisfunctionacceptsa2Dvectorasinput
zhao_crystal·2023-01-16 12:17

PyTorch奇奇怪怪的问题（一）

Tocopyconstructfromatensor,itisrecommendedtousesourceTensor.clone().detach()orsourceTensor.clone().detach().requires_grad
今我来思雨霏霏_JYF·2023-01-16 11:48

诚之和:pytorch Variable与Tensor合并后 requires_grad()默认与修改方式

Tensor创建后,默认requires_grad=Flase，可以通过xxx.requires_grad_()将默认的Flase修改为Tr
weixin_45378258·2023-01-16 09:03

pytorch Variable与Tensor合并后 requires_grad（）默认与修改

Variable一样进行反向传播的更新，返回值为TensorVariable自动创建tensor，且返回值为Tensor，（所以以后不需要再用Variable）Tensor创建后,默认requires_grad
西电小猪猪·2023-01-16 09:33
上一页 6 7 8 9 10 11 12 13 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他