LOSS

反向传播与随机梯度下降

反向传播时每层的输入都是前几层梯度相乘的结果（链式法则）也就是说损失函数f_loss(x)对当前层的w的梯度就是当
zhengudaoer·2023-06-13 19:56

pytorch中如何将CPU上运行的数据模型转到GPU上运行（mnist举例）

要在GPU上运行数据需要把一些相关的参数和模型转到GPU上需要转换的有：model，数据，criterion，loss函数;其中optimizer不需要转换以下需要转换的部分均用**###标记**首先定义
not_just_a_joke·2023-06-13 06:12

深度学习pytorch实战五：基于ResNet34迁移学习的方法图像分类篇自建花数据集图像分类（5类）超详细代码

1.数据集简介2.模型相关知识3.split_data.py——训练集与测试集划分4.model.py——定义ResNet34网络模型5.train.py——加载数据集并训练，训练集计算损失值loss，
Studying 开龙wu·2023-06-12 23:17

度学习pytorch实战六：ResNet50网络图像分类篇自建花数据集图像分类（5类）超详细代码

1.数据集简介、训练集与测试集划分2.模型相关知识3.model.py——定义ResNet50网络模型4.train.py——加载数据集并训练，训练集计算损失值loss，测试集计算accuracy，保存训练好的网络参数
Studying 开龙wu·2023-06-12 23:44

【图搜系列之多模态检索实战篇】基于表征大模型的多模态检索系统

得益于多模态技术的迅速发展，我们可以较为轻松的获取海量的图文训练对，通过基于contrastiveloss的对比学习实现图文对齐训练。海量图文训练对通过弱监
·2023-06-12 14:30

【论文复现】ArcFace: Additive Angular Margin Loss for Deep Face Recognition

论文的标题:《ArcFace:AdditiveAngularMarginLossforDeepFaceRecognition》论文下载链接：https://arxiv.org/pdf/1801.07698v1
致Great·2023-06-12 13:52

论文阅读之Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer（2020）

文章目录AbstractintroductionSetupmodelTheColossalCleanCrawledCorpusDownstreamTasksInputandOutputFormatExperiments
Icy Hunter·2023-06-12 08:55

Stick to weight loss

一天的减肥生活终于在反复煎熬与等待中结束！早上发现体重是82.9公斤的时候，真的是有点焦灼了，没想到我的代谢竟然这么差。和我预期的一天一公斤相差甚远，以至于我喝杯水称一下体重，吃过饭再称下体重，就连动一下都要去称一下体重，看着不减反增的体重，真正感受到了减肥的煎熬与辛酸，也真正让我意识到了管住嘴的重要性！！！到半下午的时候发现体重没有回到早上初始体重的时候，心里更是焦急万分，恨不得多下去走两圈，快
dongd·2023-06-12 07:22

NeRF相关文章记录

贡献：1.对位姿进行优化（这里参考了图像配准）2.添加mask以保证高维位置编码不会对配准产生影响展开来讲：针对第一点——作者提出了一个新的loss函数，可以对MLP中的参数θ\thetaθ和位姿ppp
weixin_47343723·2023-06-12 05:44

pytorch学习笔记（十四）——LOSS及其梯度

LOSS及其梯度1.MSE=∑[−(+)]²2−=||−（+）||²=(−(+))²torch.norm(y-predict,2).power(2)MSE求导：=∑[−()]²∇/∇=2∑[−()]∗(
weixin_46753186·2023-06-12 04:26

点云补全算法汇总

文章目录点云补全概念点云补全（PF-Net）点云补全网络模型骨骼点逐级恢复点云最远点采样特征提取分层预测ChamferDistanceGANBCELoss损失模块点云补全项目应用点云补全概念点云补全就是希望基于观察到的残缺不全的点云生成完整的
丹尼君·2023-06-12 02:19

深度学习，训练注意事项

下面附一张经典的学习率对于loss的影响image.png1.欠拟合首先，我们来看看什么是欠拟合情况。欠拟合.png这里我们把横轴作为epoch,纵轴作为loss，我们可以看到，t
小姐姐催我改备注·2023-06-12 02:49

统计软件与数据分析Lesson15----梯度下降（Gradient Descent）过程可视化

定义模型2.3生成模拟数据2.4分割训练集验证集2.5原始数据可视化3.模型训练Step0:随机初始化待估参数Step1:计算模型预测值Step2:计算预测误差（模型损失）Step2.1计算损失面--LossSurfaceStep2.2
shlay·2023-06-11 16:08

'*** -[__NSCFString dataUsingEncoding:allowLossyConversion:]: didn't convert all characters'

Terminatingappduetouncaughtexception'NSInternalInconsistencyException',reason:'***-[__NSCFStringdataUsingEncoding:allowLossyConversion
旗木卡卡西大人·2023-06-11 13:37

分类损失函数

OpenPCDet的多标签分类损失函数使用的是focalloss，进行了自定义实现，代码如下：importnumpyasnpimporttorchimporttorch.nnasnnclassSigmoidFocalClassificationLoss
cjhfhb·2023-06-11 12:47

统计软件与数据分析Lesson16----pytorch基本知识及模型构建

GradientDescentStep0:随机初始化RandomInitializationStep1:计算模型预测值ComputeModel'sPredictionsStep2:计算损失ComputetheLossStep3
shlay·2023-06-11 10:07

【AIGC】15、Grounding DINO | 将 DINO 扩展到开集目标检测

2.1特征抽取和加强2.2Language-GuidedQuerySelection2.3Cross-ModalityDecoder2.4Sub-sentenceleveltextfeature2.5LossFunction3
呆呆的猫·2023-06-11 07:58

爬取各个时代不同字体的汉字图片数据

importosimportrequestsfrombs4importBeautifulSoup#learningexample:#astr='''aaaaa何时when杖尔看see南雪snow，我me与梅花plumblossom
小黑°·2023-06-11 03:28

关于pytorch中的distributedsampler函数使用

1.如何使用这个分布式采样器在使用distributedsampler函数时，观察loss发现loss收敛有规律，发现是按顺序读取数据，未进行shuffle。
DRACO于·2023-06-11 01:22

度量学习Metirc Learning和基于负例的对比学习Contrastive Learning的异同点思考

参考：对比学习（ContrastiveLearning）:研究进展精要-知乎参考：对比学习论文综述【论文精读】_哔哩哔哩_bilibili参考：度量学习DML之ContrastiveLoss及其变种_对比损失的变种
胖胖大海·2023-06-10 23:57

代价函数

损失函数（LossFunction）是定义在单个样本上的，算的是一个样本的误差。代价函数（CostFunction）是定义在整个训练集上的，是所有样本误差的平均，也就是损失函数的平均。
3e0a50393df8·2023-06-10 20:58

【深度学习】损失函数系列 (一) 平方损失函数、交叉熵损失函数 (含label_smoothing、ignore_index等内容)

一、平方损失函数（QuadraticLoss/MSELoss）：Pytorch实现：fromtorch.nnimportMSELossloss=nn.MSELoss(reduction="none")input
卖报的大地主·2023-06-10 19:57

聚宽量化策略1

before_trading_startis_3_black_crowsafter_trading_endinitializeset_paramlog_paramreset_day_paramhandle_datamarket_stop_loss_by_pricemarket_stop_loss_by
木易量化·2023-06-10 14:26

让BERT飞一会

根据Hinton的文章，一般的蒸馏模式是：把teacher网络的输出作为soft-label，student网络学习的目标是hard-label，交叉构造三种loss来联
ColdCoder·2023-06-10 13:28

论文阅读和分析：CorNET Deep Learning Framework for Heart Rate Estimation and Biometric Identification

算法架构：算法用于解决两个问题：1、使用回归得到心率；2、使用分类识别受试者；note:识别受试者出现数据不平衡问题，因为是20个受试者做二分类任务：1:19.解决方法是对Loss加权。
KPer_Yang·2023-06-10 08:33

如何用pytorch做文本摘要生成任务(加载数据集、T5 模型参数、微调、保存和测试模型，以及ROUGE分数计算)

Pytorch(或Pytorchlightning)和huggingfaceTransformers做文本摘要生成任务，包括数据集的加载、模型的加载、模型的微调、模型的验证、模型的保存、ROUGE指标分数的计算、loss
一支王同学·2023-06-10 05:45

2 机器学习知识 Softmax回归 deep learning system

机器学习算法的三个主要部分Thehypothesisclass:模型结构lossfuction损失函数Anoptimizationmethod：在训练集上减小loss的方法多分类问题训练数据：x(i)∈
黄昏贩卖机·2023-06-10 04:59

详细理解GPT2模型结构及其训练过程—GPT系列训练与部署

GPT2模型环境搭建与调试请参考博文《GPT系列训练与部署—GPT2环境配置与模型训练》和《ColossalAIGPT2分布式训练调试配置—GPT系列训练与部署》
Coding的叶子·2023-06-10 03:12

GPT系列训练与部署——Colossal-AI环境配置与测试验证

Colossal-AI框架主要特色在于对模型进行并行训练与推理（多GPU），从而提升模型训练效率，可快速实现分布式训练与推理。
Coding的叶子·2023-06-10 03:11

GPT系列训练与部署——GPT2环境配置与模型训练

Colossal-AI提供了多种并行方式来运行GPT，不同并行方式的相应配置位于gpt2_configs文件夹下。运行示例程序的教程地址为“https://git
Coding的叶子·2023-06-10 03:40

ColossalAI GPT2分布式训练调试配置—GPT系列训练与部署

本专栏之前文章详细介绍了Colossal-AI环境搭建及GPT2数据处理与训练。Colossal-AI框架的主要优势在于分布式训练，进而提高训练效率。但是这种启动
Coding的叶子·2023-06-10 03:40

多目标建模loss为什么最好同时收敛？

多目标的多个loss是否同时收敛最好？
winner8881·2023-06-10 02:50

深度学习-第T9周——猫狗识别

数据预处理1、加载数据1.1、设置图片格式1.2、划分训练集1.3、划分验证集1.4、查看标签1.5、再次检查数据1.6、配置数据集2、数据可视化五、搭建VGG网络六、编译七、训练模型八、模型评估1、Loss
Prime's Blog·2023-06-10 01:47

深度学习-第T7周——咖啡豆识别

导入数据集2、查看图片数目四、数据预处理1、加载数据1、设置图片格式2、划分训练集3、划分验证集4、查看标签2、数据可视化3、检查数据4、配置数据集五、搭建CNN网络六、编译七、训练模型八、模型评估1、Loss
Prime's Blog·2023-06-10 01:46

深度学习-第T8周——猫狗识别

数据预处理1、加载数据1.1、设置图片格式1.2、划分训练集1.3、划分验证集1.4、查看标签1.5、再次检查数据1.6、配置数据集2、数据可视化五、搭建VGG网络六、编译七、训练模型八、模型评估1、Loss
Prime's Blog·2023-06-10 01:46

SeaFormer实战：使用SeaFormer实现图像分类任务（二）

文章目录训练部分导入项目使用的库设置随机因子设置全局参数图像预处理与增强读取数据设置Loss设置模型设置优化器和学习率调整算法设置混合精度，DP多卡，EMA定义训练和验证函数训练函数验证函数调用训练和验证方法运行以及结果查看测试热力图可视化展示完整的代码在上一篇文章中完成了前期的准备工作
AI浩·2023-06-09 18:33

yolov8-pose：在yolov8上添加人体关键点检测

yolov8在数据处理上也考虑了keypoints的，所以数据处理部分不用太多的修改，主要修改了Detect类、Loss类。
ytsaiztt·2023-06-09 17:48

交叉熵损失，softmax函数和 torch.nn.CrossEntropyLoss()中文

交叉熵在多分类神经网络训练中用的最多的lossfunction（损失函数）。举一个很简单的例子，我们有一个三分类问题，对于一个input\(x\)，神经网络
bill_live·2023-06-09 14:10

PyTorch实战7：咖啡豆识别--手动搭建VGG16

接辅导、项目定制目录一、前期准备1.设置GPU2.导入数据3.划分数据集二、手动搭建VGG-16模型1.搭建模型2.查看模型详情三、训练模型1.编写训练函数3.编写测试函数4.正式训练四、结果可视化1.Loss
王者与CV·2023-06-09 11:48

深度学习常用损失MSE、RMSE、MAE和MAPE

MSE均方差损失（MeanSquaredErrorLoss）MSE是深度学习任务中最常用的一种损失函数，也称为L2LossMSE是真实值与预测值的差值的平方然后求和平均范围[0,+∞)，当预测值与真实值完全相同时为
zzz_979·2023-06-09 09:35

睿智的目标检测66——Pytorch搭建YoloV8目标检测平台

网络结构解析1、主干网络Backbone介绍2、构建FPN特征金字塔进行加强特征提取3、利用YoloHead获得预测结果三、预测结果的解码1、获得预测框与得分2、得分筛选与非极大抑制四、训练部分1、计算loss
Bubbliiiing·2023-06-09 09:04

2022-05-03

视频中学到的怦然心动的单词（精读和视听说分别总结）精读：sportsmanship体育精神multiple多种的participate参加gymnastics体操athlete运动员mature成熟的blossom
人文二班兰雨芊·2023-06-09 09:35

计算机视觉 ｜ 目标检测与MMDetection

目录目标检测的基本范式滑窗使用卷积实现密集预测锚框多尺度检测与FPN单阶段&无锚框检测器选讲RPNYOLO、SSDFocalloss与RetinaNetFCOSYOLO系列选讲一、目标检测的基本范式1、
强少~、·2023-06-09 06:01

VAE（变分自编码器）

自编码器的基本结构，摘自深度学习之自编码器AutoEncoder因为是压缩算法，衡量性能的标准自然就是重建图像与原图像的差距了，因此网络的损失函数(Lossfunction)就是原始输入和输出的d
zhjadsf·2023-06-08 23:15

PyTorch-Loss Function and BP

目录1.LossFunction1.1L1Loss1.2MSELoss1.3CrossEntropyLoss2.交叉熵与神经网络模型的结合2.1反向传播1.LossFunction目的：a.计算预测值与真实值之间的差距
MyDreamingCode·2023-06-08 22:20

Jupyter notebook 报错 ImportError: No module named livelossplot 或 matplotlib

jupyternotebook报错ImportError:Nomodulenamedlivelossplot报错ImportError:Nomodulenamedmatplotlib解决办法：第一，打开
吃货一枚儿·2023-06-08 22:53

Bert+FGSM/PGD实现中文文本分类（Loss=0.5L1+0.5L2)

任务目标：在使用FGSM/PGD来训练Bert模型进行文本分类，其实现原理可以简单概括为以下几个步骤：对原始文本每个词转换为对应的嵌入向量。将每个嵌入向量与一个小的扰动向量相加，从而生成对抗样本。这个扰动向量的大小可以通过一个超参数来控制。将生成的对抗样本和原始样本一起用于训练模型。具体来说，可以将它们组成一个batch，然后使用交叉熵损失函数来训练模型。在训练过程中，可以周期性地增加扰动向量的大
Dr.sky_·2023-06-08 22:43

plt.title()函数中文无法显示问题

plt.title()函数参数说明问题描述由于画图时plt.title()默认是显示英文，如果我们设置标题为中文，会无法显示，如图：plt.title('训练损失')plt.plot(np.arange(len(losses
臭皮匠-hfW·2023-06-08 21:49

【旋转框目标检测】2201_The KFIoU Loss For Rotated Object Detection

paperwithcodepapercode:JittorCode:https://github.com/Jittor/JDetPyTorchCode:https://github.com/open-mmlab/mmrotateTensorFlowCode:https://github.com/yangxue0827/RotationDetection摘要：得益于计算友好且与检测评价指标适配的基于
there2belief·2023-06-08 19:39

机器学习逻辑回归（LR）

逻辑回归的本质：极大似然估计激活函数：sigmoidlossfunction：
黄粱梦醒·2023-06-08 14:14
上一页 36 37 38 39 40 41 42 43 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他