LOSS 第42页

pytorch中使用torchviz可视化某网络或loss函数计算图后，计算图节点的理解

一、安装graphviz之后，添加环境变量，可以用torchviz输出网络结构计算图fromtorchvizimportmake_dotmake_dot(loss).view()二、.backward(

~LONG~·2023-04-19 08:25

【使用mindspore复现segmenter语义分割算法时，loss一直在一个范围内附近波动，降不下去】

使用mindspore复现segmenter语义分割算法【操作步骤&问题现象】1、即使训练了很多个epoch,精度一直下降不了，一直在1~2左右，测试出来的miou也是一个非常低的值，例如0.01982.目前尝试过不同的优化器SGD，ADam,AdamW等，学习率策略也尝试过多种，初始学习率也尝试过0.001-0.01不等3.模型初始化的值和pytorch版本一致，也尝试过其他的不同初始化方式，l

小乐快乐·2023-04-19 08:24

loss波动变化，准确率变化也不大

最近在做多分类，然后训练的时候发现loss在慢慢下降（越到后面越慢），但是准确率却一直在一个区间内上下波动解决方法：调整学习率，调大或调小一点，自己试试。为什么这样子可以解决？

青峰不长存·2023-04-19 08:53

神经网络调参：loss震荡过于明显/loss剧烈抖动

前言在训练网络的时候，常常会出现loss出现非常明显的剧烈抖动情况，虽然大多数情况可以继续训练下去，但是实际上还是预示着问题存在。

全员鳄鱼·2023-04-19 08:52

每次迭代，loss的波动很大的解决办法

每次迭代，loss的波动很大，有如下几方面：（1）学习率选取较大；（2）在loss不再下降的时候降低学习率；（3）每个epoch训练之前，对数据进行重新打乱，如果你的batch的内容和顺序都是固定的，可能造成模型

LS_learner·2023-04-19 08:52

loss不下降，loss震荡的原因

自定义loss函数和微分运算过程的神经网络，训练时loss先缓缓下降，后又上升，摇摆不定，可能的原因有哪些？此处尽可能多的列出可能的原因。

~LONG~·2023-04-19 08:50

第28步机器学习分类实战：Catboost建模

）Catboost的调参策略（3）Catboost调参演示（A）先默认参数走一波（B）开整Model1（SymmetricTree）（C）开整Model2（Depthwise）（D）开整Model3（Lossguide

Jet4505·2023-04-19 07:05

Guass Rank(深度学习数值特征归一化方法)

minmaxnormguassrankLoss0.016690.01669AUC0.744770.74274主要的步骤如下：1.将原始数值进行排序，得到其排序特征，这里使用的是numpy.argsort

ASKED_2019·2023-04-19 03:12

机器学习与深度学习（九）：梯度下降算法原理

从x通过W参数得到得分值，然后归一化，就得到了一个属于类别的概率值，之后再求出loss值。接下来就需要进行一个最优化的操作。从x到loss的过程称为前向传播。

楠哥哥_0b86·2023-04-19 02:33

多标签、类别不均衡分类问题

最近老是遇到多标签分类问题，加之自己对loss的理解还是不够到位整理以下链接以作学习参考使用：多标签分类：定义、思想和算法主要是将多标签分类的定义，思考和一些解决办法。

自助者天助也·2023-04-19 01:53

研究total loss与val loss以及预训练权重

一、totalloss与vallossloss：训练集整体的损失值。valloss：验证集（测试集）整体的损失值。我们在训练的一个模型的时候，我们都会把一个样本划分成训练集、验证集。

彩色面团儿·2023-04-18 16:16

Faster RCNN系列——Anchor生成过程

RPN模块概述 RPN模块的输入、输出如下：输入：featuremap（输入图像经过特征提取网络后得到的特征图）、物体标签（训练集中所有物体的类别和边框信息）输出：Proposal（生成的建议框）、分类Loss

晓shuo·2023-04-18 15:43

Softmax和Cross Entropy Loss在分类问题中的作用

本文以三分类神经网络为例，讲解Softmax和CrossEntropyLoss在分类问题中的作用。

晓shuo·2023-04-18 15:13

深度学习基础入门篇[五]:交叉熵损失函数、MSE、CTC损失适用于字识别语音等序列问题、Balanced L1 Loss适用于目标检测

1.交叉熵损失函数在物理学中，“熵”被用来表示热力学系统所呈现的无序程度。香农将这一概念引入信息论领域，提出了“信息熵”概念，通过对数函数来测量信息的不确定性。交叉熵（crossentropy）是信息论中的重要概念，主要用来度量两个概率分布间的差异。假定p和q是数据x的两个概率分布，通过q来表示p的交叉熵可如下计算：H(p,q)=−∑xp(x)log⁡q(x)H\left(p,q\right)=-

汀、人工智能·2023-04-18 15:08

Sherry读译著||《围城》英译本笔记（16）

Atanyrate,hehadn’tsufferedanylossandmayevenhavehadthebetterofit,sothereshouldbenocauseforcomplaint.Sherry

Sherry的胡言乱语·2023-04-18 09:52

【OCR】CTC loss原理

1CTCloss出现的背景在图像文本识别、语言识别的应用中，所面临的一个问题是神经网络输出与groundtruth的长度不一致，这样一来，loss就会很难计算，举个例子来讲，如果网络的输出是”-sst-aa-tt-e

Lotay_天天·2023-04-18 03:42

结构重参数化剪枝

ResRep：LosslessCNNChannelPruningviaDecouplingRememberingandForgetting（剪枝）https://hub.fastgit.org/DingXiaoH

Vinteuil·2023-04-18 03:00

2021-11-18每日文献

标题：STAG2lossrewiresoncogenicanddevelopmentalprogramstopromotemetastasisinEwingsarcoma即：STAG2缺失重组致癌和发育程序以促进尤因肉瘤的转移主要内容该文证明含有

橘子味儿的小蜜蜂·2023-04-18 00:02

2020-03-30 pytorch中的tensorboardx安装及简单使用

tensorflow简单使用fromtensorboardXimportSummaryWriterwriter=SummaryWriter()#...writer.add_scalar('train_loss

Hie_9e55·2023-04-17 23:44

虚假的AI

科研idea主要来自于各种模块的花式排列组合，包含但不限于：各种CNN，各种RNN，各种attention，各种transformer，各种dropout，各种batchNorm，各种激活函数，各种lossfunction

crj1998·2023-04-17 22:32

逻辑回归与梯度下降法

对单个样本而言，逻辑回归Lossfunction表达式如下：首先，该逻辑回归的正向传播过程非常简单。根据上述公式，

泽野千里wmh·2023-04-17 18:00

【代码阅读】Faster RCNN 网络结构详解

FasterRCNNImagePro-Processing主干网络AnchorGenerateLayerRegionProposalNetworkProposalLayerAnchorTargetLayerComputeRPNLossProposalTargetLayerRCNNRoIPoolingClassificationLayerClassificationLossInference

麒麒哈尔·2023-04-17 18:08

Faster RCNN模型如何自定义损失函数

FasterRCNN模型如何自定义损失函数1.代码分析：1.1_fasterRCNN类：最基础的模型类1.2resnet类：继承_fasterRCNN类1.3vgg类：继承_fasterRCNN类1.4如果要修改loss

CoatiCoati·2023-04-17 18:01

Pytorch中常用的损失函数

Pytorch中常用的损失函数回归nn.L1Lossnn.MSELoss分类nn.CrossEntropyLoss回归nn.L1Loss平均绝对误差，也称L1范数损失，计算预测值与真实值之间的误差绝对值

Chen的博客·2023-04-17 17:35

Pytorch搭建神经网络的小案例

torch.Tensor()默认是torch.FloatTensor()的简称，创建的为float32位的数据类型；torch.LongTensor是64位整型optimizer.zero_grad()清空过往梯度loss.backward

Chen的博客·2023-04-17 17:04

pytorch----Target 2 is out of bounds

问题：多分类网络加了两层全连接后最后输出1类，计算loss时报错TargetNisoutofbounds其中的N是正在处理的数据输入的标签，即第几类，是一个[0,类数-1]的整数，最后输出1类与输入的target

后悔大鲨鱼·2023-04-17 17:22

利用基于收缩损失的深度回归做跟踪算法

简称：DSLT(deepshrinkagelossTracker)论文地址：http://faculty.ucmerced.edu/mhyang/papers/eccv2018_rtsl.pdf先看本文的效果

温润如玉00·2023-04-17 17:17

【Diffusion Model】Learning notes

generator和discriminator两者都得训练的比较均衡才能得到好的结果（稳定性），两者对抗，loss并不能直观的反应训练过程训练难度训练稳定性loss的复杂性DDPM的话，reverse只是一个去噪模型

bryant_meng·2023-04-17 15:56

Python实现将图片上传到基于阿里云OSS对象存储的图床

实现将图片上传到基于阿里云OSS对象存储的图床文章目录一、安装oss2依赖库二、从阿里云查询endpoint和AccessKey的相关信息三、编写Python代码一、安装oss2依赖库pipinstalloss2

redrose2100·2023-04-17 15:22

ch04-损失优化

Kaiming初始化1.4.常用的权值始化方法1.5.nn.init.calculate_gain1.6.总结2.损失函数(一)2.1.损失函数的概念2.2.交叉熵损失函数nn.CrossEntropyLoss2.3

古路·2023-04-17 14:18

大数据案例分析1.4（回归问题及其性能评价）

二分类的输出通常为若干指定的类别标签回归性能度量方法：平均绝对误差MAE均方差MSElogistic回归损失（二类）简称Logloss或交叉熵损失，常用于哦名家逻辑回归LR和神经网络对于二分类问题：1、

changjingwnag·2023-04-17 11:03

模型评价指标（CTR）

由于我数据集的正负样本是不均衡的（1:3），为了加强模型对正样本的关注度，在损失函数中增加了类别权重（类似facalloss,不了解可以看之前的facalloss介绍），训练完成后

zstu_翊·2023-04-17 11:50

解决RuntimeError: Dimension out of range (expected to be in range of [-1, 0], but got 1)

问题描述：x=[[0.1,0.2,0.1],[0.4,0.1,0.3]]y=[1,0]loss_fn=nn.CrossEntropyLoss()loss=loss_fn(x,y)x为特征矩阵，y为标签。

v-space·2023-04-17 01:30

Focal Loss的理解以及在多分类任务上的使用(Pytorch)

发现各类别之间占比特别不均衡，会影响最终精度，尝试过使用加权交叉熵，权重计算参考《中值频率平衡:图像分割中计算类别权重的方法》，精度有所提升，但是还是不能满足要求，后来就想试试FocalLoss，发现效果提升明显

GHZhao_GIS_RS·2023-04-16 22:23

深度学习-第T4周——猴痘病识别

查看图片数目3、查看数据四、数据预处理1、加载数据1、设置图片格式2、划分训练集3、划分验证集4、查看标签2、数据可视化3、检查数据4、配置数据集五、搭建CNN网络六、编译七、训练模型八、模型评估1、Loss

Prime's Blog·2023-04-16 20:57

tensorflow中model.compile怎么选择优化器和损失函数

示例如下：model.compile(optimizer='adam',loss='mean_squared_error')其中，'adam'是优化器的名称，'mean_squared_error'是损失函数的名称

坑货两只·2023-04-16 20:55

keras中compile方法的 loss 和 metrics 区别

参考链接：https://codeantenna.com/a/7p6uOqnNhx1、背景loss和metrics在compile接口中同时存在，同时默认值都是None，那么这两个到底什么作用？

Miss_Bueno·2023-04-16 20:25

TensorFlow2学习十一之绘制准确率acc和损失函数loss曲线

model.fit中将训练集loss、测试集loss、训练集准确率保存了下来history=model.fit(训练集数据,训练集标签,batch_size=,epochs=,validation_split

墨夜之枫·2023-04-16 20:53

用pytorch画准确率（acc）和损失（loss）曲线

1打开AnacondaPrompt，进入pytorch虚拟环境。2.输入tensorboard--logdir=D:\p\zyl\ECANet-master\runs\Sep20_20-37-56_WLKJ--20220614B,红色部分是来自上图文件夹的根目录。3.按回车键，会出现tensorboard的版本和一个网址，总体显示效果如下图：4.在网址上打开里的内容。

Python小丸子.·2023-04-16 20:52

keras中model.compile()基本用法

1.compile参数介绍model.compile(optimizer,loss=None,metrics=None,loss_weights=None,sample_weight_mode=None

Paul-Huang·2023-04-16 20:18

Focal Loss论文解读和调参教程

论文：FocalLossforDenseObjectDetection论文papar地址：ICCV2017OpenAccessRepository在各个主流深度学习框架里基本都有实现，本文会以mmcv里的

Jumbo星·2023-04-16 19:45

调参方法

知乎(zhihu.com)如何选择神经网络的超参数-知识天地-博客园(cnblogs.com)ode_nn_2.0相比pullrequest程序做出的改进：1.扩大batch_size：发现训练集上面的loss

SlowLight·2023-04-16 16:22

Pytorch LSTM网络初始化hidden维度报错：RuntimeError: Expected hidden[0] size (2, 14, 150), got [2, 64, 150]

如下为报错信息Traceback(mostrecentcalllast):File"main.py",line41,inloss=models(x,size,y).abs()File"/opt/conda

lym-ucas·2023-04-16 10:16

博客园首页新随笔联系管理订阅订阅随笔- 5 文章- 0 评论- 7 caffe绘制训练过程的loss和accuracy曲线

https://www.cnblogs.com/AliceHu/p/6529383.html以上是原文链接参考博文：http://blog.csdn.net/u013078356/article/details/51154847在使用caffe训练数据，迭代次数非常大的时候，难免会想图形化展示实验结果。这样即便于训练过程中参数的调整，也便于最后成果的展示。需要的文件：1caffe/tools/ex

fireworkseasycold·2023-04-16 08:57

混合精度训练

在反向计算开始前，将dloss乘上一个sca

dingtom·2023-04-16 06:42

深度学习-损失、优化器

目录0.损失函数0.0回归损失函数0.0.1L1Loss0.0.2L2Loss0.0.3SmoothL1Loss0.1分类损失0.1.0crossentropy0.1.1Focalloss1.优化器1.1SGD1.2RMSprop

小灰灰的大灰灰·2023-04-15 23:17

SeeThroughNet:通过保留类概率信息来恢复辅助损失

文章目录SeeThroughNet:ResurrectionofAuxiliaryLossbyPreservingClassProbabilityInformation摘要本文方法ClassProbabilityPreservingPoolingSeeThroughNetSeeThroughNet

松下直子·2023-04-15 22:46

Google FLASH-QUAD Transformer模型的设计雷点

同时尝试了GPT和T5这两种模型结构的设计，明明Loss正常下降，可是自回归生成性能非常的烂，不知原因为何。不服输，最近再来尝试FLASH，毕竟性能太过于吸引人。碰巧单步调试了一下自回归生成的过程。

ONE_SIX_MIX·2023-04-15 21:14

4-Learning rate自动调整学习率

AdaptiveLearningRate一、问题描述当分析训练的loss已经不会随着gradient的更新而变化时，不一定就是localminima或者saddlepoint，分析normofgradient

编程小小白白·2023-04-15 20:34

机器学习 Optimizer optimization的方法 Adaptive Learning rate

当Loss减小，且趋于平稳时，可能是gradient趋近于0，Loss处于criticalpoint；也可能是gradient并不为0，在errorsurface谷壁间来回振荡，导致Loss无法继续降低

聪明的Levi·2023-04-15 20:34

推荐频道

LOSS