LOSS 第23页

大佬博客记录

attention,self-attention,multi-headedattention,PositionalEncoding,Residuals,FinalLinearandSoftmaxLayer,LossFunction

BoringFantasy·2023-10-06 15:56

解决DDP的参数未参与梯度计算

将find_unused_parameters改成False之后，如果出现模型有些参数未参与loss计算等错误。可以用环境变量来debug查看log。

billbliss·2023-10-06 15:14

一图拆解RLHF中TRL的PPO

/trl/blob/main/trl/trainer/ppo_trainer.py)，step大致流程为先batched_forward_pass，再过minibatch：再写一写自己的理解：PPO的loss

taoqick·2023-10-06 10:36

Multi Label Classification with Missing Labels(MLML)的几种loss设计

多标签学习这个方向问题比较多，可以参考多标签学习的新趋势（2021SurveyTPAMI）和部分标签学习和缺失标签学习到底什么异同？这两篇偏综述性质的解释。本文重点解释下面几个重点问题：MultiLabelClassificationwithMissingLabels(MLML)和PartialMulti-LabelLearning（PML）的区别MLML重点在MissingLabels，一张图标

taoqick·2023-10-06 10:35

人生便是不断地失去与放手，尤其是放开孩子们的手（双语）

Lifeisaboutlossandlettinggo–especiallywithourchildren人生便是不断地失去与放手，尤其是放开孩子们的手（双语）Themostresonanttruthaboutchildrenisthattheydisappear.Slowly

涛声1949·2023-10-06 10:32

【Unet系列】

树，背景等）（语义分割只区分类别，不区分类别中具体单位）实例分割实例分割不光要区别类别，还要区分类别中每一个个体损失函数：逐像素的交叉熵：还经常需要考虑样本均衡问题，交叉熵损失函数公式如下：Focalloss

Tian-Feng·2023-10-06 08:59

1710.10467 generalized end-to-end loss for speaker verification

简要说明摘要原文2017年，作者提出了一个新的损失函数，称为广义损失端到端（GE2E）损失，与之前（2016年）基于元组的端到端（TE2E）丢失函数相比，这使说话人验证模型的训练更加有效。与TE2E不同，GE2E损失函数以新的方式更新网络参数，其通过关注（emphasizes）在训练过程的各步骤（step）中都难以验证的样本来实现。另外，GE2E损失函数不需要样本选择的初始阶段。通过这些特性，我们

Jack_Woo·2023-10-05 18:28

李宏毅一天搞懂深度学习2016学习总结

训练DNN的技巧1.没有办法得到很好的训练结果---重新选择训练方式2.没有办法得到很好的测试结果---往往由于过度拟合导致，需要重新定义方法（网络结构）训练集效果不好优化训练方法的手段：1.选择合适的Lossfunction

深度学习努力中·2023-10-05 15:58

【OpenPCDet】PointRCNN前景点分割网络精度测试

一、流程梳理：Label：PointRCNN第一阶段里点的原始clslabel有5个：-1：ignore0：背景点1：Car2：Pedestrian3：Cyclist在get_cls_layer_loss

Freak16·2023-10-05 10:40

简单的单层神经网络详解完整版，训练和测试单层网络代码示例

qfqf123456·2023-10-05 07:25

OpenMMLab【超级视客营】——支持InverseForm Loss(MMSegmentation的第三个PR)

SpatialTransformerNetworks)1.3实现相关资料（相关PR）2.理解原理3.代码实现3.Xchecklist3.0Issue中的有效内容3.1MMSegmentation支持multipleloss3.2

吨吨不打野·2023-10-05 07:09

『paddle』paddleseg 学习笔记：损失函数

损失函数1.BCELoss2.BootstrappedCrossEntropyLoss3.CrossEntropyLoss4.RelaxBoundaryLoss5.DiceLoss6.EdgeAttentionLoss7

libo-coder·2023-10-05 07:09

逆强化学习

loss的设计相当于一个排序问题，实际中多使用最大熵loss:-log(sigmoid(P_label-P_a

江汉似年·2023-10-04 23:25

竞赛选题机器视觉目标检测 - opencv 深度学习

laafeer·2023-10-04 20:24

分享9个已开源的GPT4平替，用过感觉还不错

分享9个已开源的GPT4平替，用过感觉还不错鱼子酱关注她22人赞同了该文章目录收起1.ColossalAI2.ChatGLM3.LLaMa4.LLaMa-ChatLLaMA5.BELLE6.PaLM-rlhf-pytorch7

luoganttcc·2023-10-04 16:08

TensorFlow-YOLO_V1训练代码梳理

硬件：NVIDIA-GTX1080软件：Windows7、python3.6.5、tensorflow-gpu-1.4.0一、基础知识1、yolo-v1的loss目标分类不是21类，而是20+2类，其中

samylee·2023-10-04 10:06

（WaterGAN）tf.summary.scalar-＞tf.compat.v1.summary.scalar

在运行WaterGAN的代码时：将self.d_loss_sum=tf.summary.scalar("d_loss",self.d_loss)改为：self.d_loss_sum=tf.compat.v1

一个双子座的洁宝·2023-10-04 08:34

[Machine Learning] Learning with Noisy Data

文章目录ProbabilisticPerspectiveofNoiseBiasandVarianceRobustnessamongSurrogateLossFunctionsNMFProbabilisticPerspectiveofNoise

华北小龙虾·2023-10-04 03:08

Stick to weight loss

苏轼说：古之成大事者，不惟有超世之才，亦必有坚忍不拔之志！在我的体重胖到家人和我自己都无法忍受的88公斤后，我终于迎来了我的第二次乌鲁木齐减肥记！我也终于体会到了苏轼说的这句话的含义。今天甚至可以称作是我的修仙记。作为一名大基数减肥者，减肥除了需要动力，我觉得更需要一种意念。今天是我每周一次的第一次轻断食，初始并不觉得饿，越到下午越饿，我甚至有一种我真的在用意念撑住我下午的活动。但这只是一个小小的

dongd·2023-10-04 02:26

使用Retinanet训练自己的数据集

目录目录1构建Retinanet环境2生成CSV文件3训练4.转化模型5.测试6.评测loss可视化ap，precision-recall数据集什么的看我之前博客，资源里也有标记好的数据集，这里主要写一下我配置使用训练过程

babyzbb636·2023-10-03 21:55

多任务模型融合如何平衡？

平衡目标不同任务loss量级相近不同任务相近速率学习不同任务数据量级接近不同任务重要性程度近似评估不同任务不确定性估计废话少说上图个球的image.png1.加权融合1.1手动加权image.png人肉调权重

林桉·2023-10-03 21:21

yolo增加slide loss，改善样本不平衡问题

slideloss的主要作用是让模型更加关注难例，可以轻微的改善模型在难例检测上的效果论文地址：https://arxiv.org/pdf/2208.02019.pdf代码：GitHub-Krasjet-Yu

athrunsunny·2023-10-03 19:16

landmark face gan

1.DomainTranslationwithConditionalGANs:fromDepthtoRGBFace-to-Faceimage.png结论：1.这个是用mseloss，我们在用loss的时候是不是可以考虑用

小姐姐催我改备注·2023-10-03 17:59

【pytorch】nn.CrossEntropyLoss & nn.BCELoss & nn.BCEWithLogitsLoss

nn.CrossEntropyLosstorch.nn.CrossEntropyLoss(weight=None,size_average=None,ignore_index=-100,reduce=None

wtttcl·2023-10-03 16:52

[论文必备]最强科研绘图分析工具Origin（1）——安装教程

之前在论文中pr曲线和loss曲线对比用到了Origin这个最强科研绘图分析工具，被导师狠狠夸了，下面来分享一下~本篇先带你手把手安装这个软件，可以先点再慢慢看哦~目录一、软件简介二、安装教程（1）下载安装包

路人贾'ω'·2023-10-03 16:03

记录一次 NaN in Loss 的解决过程

前言训练的模型经常数十个epoch后Loss中出现NaN，困扰了很久终于解决了，记录一下。

3D_DLW·2023-10-03 11:45

【生物信息学】Notears Linear算法在线性结构方程模型中的因果关系估计

实验介绍二、实验环境1.配置虚拟环境2.库版本介绍3.IDE三、实验内容0.导入必要的工具1.set_random_seed2.notears_lineara.输入参数b.内部函数_adjc.内部函数_lossd

QomolangmaH·2023-10-03 06:14

第10次打卡（补打卡补11月22的打卡）

1）It'severyarchiologies'dreamtofindthelossofcivalization,shemakesahugediscoverytofind......factsthatnooneelselaidhanddown

徐恩峰·2023-10-03 03:19

利用好你手里的细胞系数据发这样的6+分文章

2020年3月发表在Oncogene（IF：6.634)上的一篇文章，“Integrativeanalysisofgenomicamplification-dependentexpressionandloss-of-functionscreenidentifiesASAP1asadrivergeneintriple-negativebreastcancerprogression

科研菌·2023-10-02 22:29

GNN advanced knowledge

1.BP时注意lossvalue避免构建的GNNmodel在BP时陷入梯度消失或梯度爆炸，这都会导致modelperformance很差。

天狼啸月1990·2023-10-02 21:41

【GAN对抗性损失函数】以CycleGAN和PIX2PIX算法的对抗性损失的代码为例进行讲解

一、代码classGANLoss(nn.Module):"""DefinedifferentGANobjectives.TheGANLossclassabstractsawaytheneedtocreatethetargetlabeltensorthathasthesamesizeastheinput

lingchen1906·2023-10-02 10:06

【23-24 秋学期】 NNDL 作业2

习题2-1分析为什么平方损失函数不适用于分类问题，交叉熵损失函数不适用于回归问题平方损失函数平方损失函数（QuadraticLossFunction）经常用在预测标签为实数值的任务中表达式为：交叉熵损失函数交叉熵损失函数

KLZUQ·2023-10-01 22:05

【论文阅读】（CVPR2023）用于半监督医学图像分割的双向复制粘贴

BCPMean-teacherandTraningStrategyPre-TrainingviaCopy-PasteBidirectionalCopy-PasteImagesBidirectionalCopy-PasteSupervisorySignalsLossFunctionTestingPhase

鱼小丸·2023-10-01 21:01

Allavsoft for Mac(视频工具)

AllavsoftforMac是一款功能强大的全功能视频工具和转换工具，支持从Facebook，YahooVideo，GoogleVideo，DAIlyMotion，eHow等各种视频分享网站视频，且能将视频到MP3，AppleLossless

青色精灵·2023-10-01 19:56

基于TensorFlow Object Detection API实现RetinaNet目标检测网络（附源码）

tf.train.CheckPoint简介2.RetinaNet的TensorFlow源码一、RetinaNet简介 RetinaNet是作者Tsung-YiLin和KaimingHe于2018年发表的论文FocalLossforDenseObjectDetection

liuqiker·2023-10-01 12:20

01 TextRNN & FastText & TextCNN-04-训练要点，实验过程

FastText&TextCNN-03-模型总览，后训练要点RNN训练得出来的y（m）（预测标签）是每一个分类的概率，比如是一个五分类，化成5个格子，每一个格子是概率，5个格子加起来是1损失有多任务怎么计算loss

李又懂·2023-10-01 09:05

深度学习一：Deep Learning基本概念及线性、非线性回归对比分析（sigmoid v.s. ReLU）

2.1.FunctionwithUnknownParameters2.2.DefineLossfromTrainingData3.Optimization4.MachineLearningissosimple5

Amyniez·2023-10-01 06:58

雜詩 Poema Misceláneo

Pequeñasplántulasdetrigosemuevenenelvientoylossaucessebalanceanenlasriberas

李裕Monica·2023-09-30 19:55

使用Colossal-AI云平台精调私有GPT

介绍ChatGPT的出现展示了人工智能发展的潜力。通用数据集塑造的综合性大型语言模型在垂类领域中表现并不完美，存在幻想(AIHallucination)等问题。要真正提升此类大语言模型在垂类领域的性能，应当使用高质量垂类数据集对模型进行精调。目前，有大量企业客户想要将大模型能力融入日常业务，因而产生了对垂类大模型的迫切需求。大模型所能提供的快速有效地解决问题和生成回答的能力，可以帮助提高生产力并降

潞晨科技官方·2023-09-30 19:49

LLM之Colossal-LLaMA-2：Colossal-LLaMA-2的简介、安装、使用方法之详细攻略

LLM之Colossal-LLaMA-2：Colossal-LLaMA-2的简介、安装、使用方法之详细攻略导读：2023年9月25日，Colossal-AI团队推出了开源模型Colossal-LLaMA

一个处女座的程序猿·2023-09-30 19:49

服务器系列（21）：NLLLoss和CrossEntropyLoss

愚人节快乐~妹妹的家庭笨蛋王大赛开始了==祝她斩获名次哈哈哈哈偷笑参考：Pytorch详解NLLLoss和CrossEntropyLosspytorch损失函数之nn.CrossEntropyLoss(

Doris_Meng·2023-09-30 18:37

A Simple Baseline for multi-object Tracking(FairMOT)论文阅读笔记

ResearchObejct（四）ProblemStatement（五）Method5.1backbone5.2ObjectDetectionBranch5.3IdentityEmbeddingBranch5.4LossFunctions5.5

不知道叫啥好一点·2023-09-30 18:18

对负采样（negative sampling）的一些理解

但在LightGCN模型论文的BPRLOSS中，负采样的概念可能与传统的softmax分母问题不完全一样。

重剑DS·2023-09-30 15:16

模型训练测试用例设计&结果分析

一、测试用例设计需要考虑的场景TOPO：单机单卡单机多卡多机多卡不同数据集不同精度类型：混合精度fp32不同训练类型：pretrainfinetune二、结果分析-性能、精度指标loss、fps处理速度

qq_29707567·2023-09-30 14:21

每日一词_Sway_1027

（and前后链接是are和buy不是swayed，所以用buy不是用brought.）2.Dieterareoftenswayedbyfakecommercialsofquickweightloss.

Ph2_Jaymee·2023-09-30 05:31

Psychology Glossary 193

Wellness:Optimalhealth,incorporatingtheabilitytofunctionfullyandactivelyoverthephysical,intelectual,emotional,spiritual,social,andenvironmentaldomainsofhealth.健康：最佳的健康，综合了在身体、智力、情感、精神、社会和环境等健康领域充分和积极地

巨山寺·2023-09-30 04:28

美术学习2700：Metallic与Speculer流程

、和使用PBR贴图的模型PBR：基于物理渲染1.2种流程金属Metal/粗糙度Roughness工作流程：比较符合直觉，容易调参，但不易调节F0值（0度菲涅尔反射值）镜面反射Specular/光泽度Glossiness

武功高强的盲僧·2023-09-30 00:06

Unity - 实践： Metallic流程贴图转 Specular流程贴图

Metallic->Specular(根据教程一步一步实践)1.Basecolor+Metallic->Diffuse2.Basecolor+Metallic->Specular3.Roughness->Glossiness

Jave.Lin·2023-09-30 00:34

第P6周—好莱坞明星识别（2）

五、模型训练#训练循环deftrain(dataloader,model,loss_fn,optimizer):size=len(dataloader.dataset)#训练集的大小num_batches

风筝超冷·2023-09-29 20:29

【论文学习】Document-Level Relation Extraction with Adaptive Focal Loss and Knowledge Distillation

导言2.方法论2.1问题制定2.2模型架构2.2.1特征表示学习实体表示context-enhanced实体表示实体对表示轴向注意力加强的实体对表示2.2.2适应性焦距损失(AdaptiveFocalLoss

Shackles Lay·2023-09-29 16:43

推荐频道

LOSS