交叉熵

从自监督到全监督！Google 提出新损失函数SupCon，准确率提升2%！

转自新智元来源：GoogleAIBlog编辑：LRS【导读】监督学习中一个重要的模块就是损失函数了，而最常见的损失函数就是交叉熵了。
我爱计算机视觉·2022-12-06 12:40

tensorflow2中损失函数四个交叉熵函数的异同点

交叉熵我们常用于分类问题的损失函数，具体的数学我们就不展开讲，这篇文章主要就是介绍在tensorflow2中，四个损失函数用起来有什么区别？
zou_gr·2022-12-06 12:32

机器学习--- 交叉熵损失(CrossEntropy Loss)--(附代码)

二、交叉熵损失（CrossEntropyLoss）2.0信息熵2.0.0定义：2.0.1KL散度（Kullback–Leiblerdivergence）2.0.2JS散度（Jensen-Shannondivergence
Jankin_Tian·2022-12-06 12:01

交叉熵损失函数优缺点_交叉熵损失函数的优点（转载）

再看损失函数改成交叉熵损失时：此时
weixin_39529903·2022-12-06 12:57

均方误差和交叉熵损失函数比较

一.前言在做神经网络的训练学习过程中，一开始，经常是喜欢用二次代价函数来做损失函数，因为比较通俗易懂，后面在大部分的项目实践中却很少用到二次代价函数作为损失函数，而是用交叉熵作为损失函数。为什么？
weixin_30662849·2022-12-06 12:56

交叉熵，相对熵，为什么损失函数用交叉熵

前言在处理分类问题的神经网络模型中，很多都使用交叉熵(crossentropy)做损失函数。
夏未眠秋风起·2022-12-06 12:23

深度学习理论：Categorical crossentropy 损失函数

分类交叉熵是一种用于多类分类任务的损失函数。在这些任务中，一个示例只能属于许多可能类别中的一个，模型必须决定哪个类别。形式上，它旨在量化两种概率分布之间的差异。
正在黑化的KS·2022-12-06 12:21

【机器学习基础】为什么逻辑回归的损失函数是交叉熵？

前言当前正在整理机器学习中逻辑回归的基础和面试内容，这里有一个值得思考的问题与大家分享与讨论。本文约1k字，预计阅读5分钟。概要逻辑回归（logisticregression）在机器学习中是非常经典的分类方法，周志华教授的《机器学习》书中称其为对数几率回归，因为其属于对数线性模型。在算法面试中，逻辑回归也经常被问到，常见的面试题包括：逻辑回归推导；逻辑回归如何实现多分类？SVM与LR的联系与区别？
风度78·2022-12-06 12:19

交叉熵的数学原理及应用——pytorch中的CrossEntropyLoss()函数

交叉熵的数学原理及应用——pytorch中的CrossEntropyLoss函数前言公式推导过程softmax解析实例一维二维前言分类问题中，交叉熵函数是比较常用也是比较基础的损失函数，原来就是了解，但一直搞不懂他是怎么来的
CV-杨帆·2022-12-06 12:48

[人工智能-深度学习-14]：神经网络基础 - 常见loss损失函数之逻辑分类，对数函数，交叉熵函数

作者主页(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客本文网址：https://blog.csdn.net/HiWangWenBing/article/details/120559396目录第1章什么损失函数1.1什么是机器学习1.2什么是监督式机器学习1.3OneHot编码1.4什么是损失函数1.5本文重点阐述：第2章二/多元分类损失函数2.1二/多元分类损失
文火冰糖的硅基工坊·2022-12-06 12:16

Softmax函数下的交叉熵损失含义与求导

交叉熵损失函数(CrossEntropyFunction)是分类任务中十分常用的损失函数，但若仅仅看它的形式，我们不容易直接靠直觉来感受它的正确性，因此我查阅资料写下本文，以求彻底搞懂。
FFHow·2022-12-06 12:16

【AI数学】交叉熵损失函数CrossEntropy

交叉熵损失（CrossEntropyLoss）函数是分类任务里最常见的损失函数。
木盏·2022-12-06 12:44

机器学习——吴恩达章节（11-18）

11.执行训练时确定执行的优先级在训练集中设置出现频率较高的特征作为特征向量去识别或者分类优化算法的方法首先用简单粗暴的方法先确立一个能实现目的的算法然后根据交叉熵误差分析去评估模型观察分类不太正确的点的特征
荒野的雄狮·2022-12-06 11:11

【从零开始学习深度学习】8.Pytorch实现softmax回归模型训练

目录1.Pytorch实现softmax回归模型1.1获取和读取数据1.2定义和初始化模型1.3softmax和交叉熵损失函数1.4定义优化算法1.5训练模型1.6完整代码1.Pytorch实现softmax
阿_旭·2022-12-06 07:30

【pytorch】CrossEntropyLoss Assertion `t ＞= 0 && t ＜ n_classes` failed.

应用交叉熵计算多分类损失Assertiont>=0&&t=0&&t=0&&t=0&&t=0&&t
cg_nswdg·2022-12-05 20:09

PyTorch 交叉熵损失函数内部原理简单实现

PyTorch交叉熵损失函数内部原理简单实现注释很清晰，代码如下：importnumpyasnpimporttorch#分类标签[2,0,1]映射成独热编码deflabels_to_one_hot(label
cehnxi_yan·2022-12-05 20:38

pytorch 学习第三天 交叉熵

交叉熵信息量假设X是一个离散型随机变量，其取值集合为X，概率分布函数为p(x)=Pr(X=x),x∈X我们定义事件X=x0的信息量为：I(x0)=−log(p(x0))，可以理解为，一个事件发生的概率越大
小瓶盖的猪猪侠·2022-12-05 19:33

G1D28-hinge loss fuction-RAGA pre总结-DeBERTa-杂七杂八visio&mathtype&excel

一、hingeloss和交叉熵对比(一)hingeloss主要思想让正确分类和错误分类的距离达到λ。λ用于控制两种分类样本之间的距离。（二）对比学习自监督学习的一种，不依赖标注数据进行学习。
甄小胖·2022-12-05 16:33

【神经网络】全连接神经网络理论

文章目录三、全连接神经网络（多层感知器）3.1网络结构设计：3.2损失函数：1、SOFTMAX（把分数变成概率）2、交叉熵损失3.3优化算法：1、计算图与反向传播：2、再谈损失函数（梯度消失问题）:3、
Koma_zhe·2022-12-05 13:19

全连接神经网络的优化

全连接神经网络的优化前言1.梯度消失2.梯度爆炸2.1固定阈值裁剪2.2根据参数的范数来衡量3.损失函数3.1Softmax3.2交叉熵损失3.3交叉熵损失和多类支撑向量机损失4.梯度下降优化4.1动量法
三木小君子·2022-12-05 13:43

在pytorch中使用ResNet50实现猫狗分类

使用交叉熵作为loss，模型采用resnet50，使用预训练模型，我在调试的过程中，使用预训练模型可以快速得到收敛好的模型，使用预训练模型将pretrained设置为True即可。
Richard_Kim·2022-12-05 11:53

使用python实现逻辑回归算法(logistic regression,完整代码及详细注释)

本例中使用的代价函数为：J=−ylog⁡a−(1−y)log⁡(1−a)J=-y\loga-(1-y)\log(1-a)J=−yloga−(1−y)log(1−a)如果对这个代价函数或者其求导不了解，可以先看看这篇文章交叉熵
Hydrion-Qlz·2022-12-05 10:12

[2022]李宏毅深度学习与机器学习课程内容总结

[2022]李宏毅深度学习与机器学习课程内容总结课程感受第一讲必修ML的三个步骤第一讲选修深度学习发展趋势反向传播从线性模型到神经网络为什么要用正则化技术为什么分类是用交叉熵损失函数而不是SquareErrorDiscriminativeVsGenerative
走走走，快去看看世界·2022-12-05 10:36

目标检测中的损失函数

分类损失CEloss，交叉熵损失CE/BCE（crossentropy/binarycrossentropy）交叉熵损失，二分类损失（binaryCEloss）是它的一种极端情况.在机器学习部分就有介绍它
YSUSE15w·2022-12-05 00:17

pytorch错误“\oss.cu:257: block: [0,0,0], thread: [15,0,0] Assertion `t ＞= 0 && t ＜ n_classes` failed.”

错误截图：参考这一篇详细解释：http://t.csdn.cn/J2XHm通过在网上查阅资料，总结来说，是因为在使用交叉熵损失函数进行计算损失值时，发生预测值与标签值不匹配的情况所产生的错误：不匹配情况有
追求上进的小小白·2022-12-04 23:04

tensorflow分类的loss函数_分类回归loss函数汇总分析

https://blog.csdn.net/qq_14845119/article/details/80787753分类任务loss:二分类交叉熵损失sigmoid_cross_entropy：TensorFlow
weixin_39735509·2022-12-04 14:56

【图像分类损失】Encouraging Loss：一个反直觉的分类损失

例如，在使用交叉熵损失进行训练时，具有较高可能性的样本
姚路遥遥·2022-12-04 14:51

sigmoid和softmax区别

softmax通常作为最后一层的激活函数，用于分类任务，并且搭配交叉熵损失共同使用，用于分类任务。因此很多框架都将其包含在交叉熵损失函数内部。
在下小李～·2022-12-04 13:40

softmax和交叉熵

目录1.softmax初探2.softmax的定义3.softmax与交叉熵损失函数4.softmaxVSk个二元分类器5、各种损失函数1.均方差损失函数(MeanSquaredError)2.均方差损失函数
深海的yu·2022-12-04 13:40

机器学习笔记 - 关于Contrastive Loss对比损失

一、对比损失虽然二元交叉熵（下图公式）肯定是损失函数的有效选择，但它不是唯一的选择（甚至不是最佳选择）。然而，实际上有一个更适合孪生网络的损失函数，称为对比损失。其中Y是我们的标签。
坐望云起·2022-12-04 12:50

神经网络的损失函数---学习笔记

从而找到让损失函数最小的模型的参数损失函数是衡量网络输出合真实值的差异损失函数并不使用测试数据来衡量网络的性能损失函数用来指导训练过程，使得网络的参数向损失降低的方向改变假设我们的神经网络用作分类，损失函数定义为交叉熵损失函数
钟爽爽面·2022-12-04 09:28

NNDL 实验八 网络优化与正则化（2）批大小的调整

使用paddle.vision.models.LeNet快速构建LeNet网络使用paddle.io.DataLoader根据批大小对数据进行划分使用交叉熵损失函数标准的随机梯度下降优
HBU_David·2022-12-04 09:42

【图像分类损失】SimLoss：一个适合于年龄估计的分类损失

ClassSimilaritiesinCrossEntropy》（2020年）论文地址：https://arxiv.org/pdf/2003.03182v1.pdf1.背景神经网络分类任务中一种常见的损失函数是分类交叉熵
姚路遥遥·2022-12-04 09:30

pytorch基础（四）- 神经网络与全连接

目录LogisticRegression交叉熵多分类问题全连接层激活函数与GPU加速不同激活函数GPU加速模型测试Visdom可视化介绍安装visdom画一条线visdom画多条线visdom直接展示tensor
sherryhwang·2022-12-04 02:03

交叉熵：pytorch版本 vs 日常版本

首先看下平时我们所说的交叉熵：传送门在信息论中，交叉熵可认为是对预测分布q(x)用真实分布p(x)来进行编码时所需要的信息量大小。
遨游的菜鸡·2022-12-03 22:52

交叉熵（cross-entropy）不适合回归问题？

1.为什么均方差（MSE）不适合分类问题？当sigmoid函数和MSE一起使用时会出现梯度消失。原因如下：(1)MSE对参数的偏导(2)corss-entropy对参数的偏导由上述公式可以看出，在使用MSE时，w、b的梯度均与sigmoid函数对z的偏导有关系，而sigmoid函数的偏导在自变量非常大或者非常小时，偏导数的值接近于零，这将导致w、b的梯度将不会变化，也就是出现所谓的梯度消失现象。而
this_is_part_of_life·2022-12-03 22:16

torch.nn

这两个库很类似，都涵盖了神经网络的各层操作，只是用法有点不同，比如在损失函数Loss中实现交叉熵!但是两个库都可以实现神经网络的各层运算。
追赶早晨·2022-12-03 16:17

InfoNCE loss与交叉熵损失的联系，以及温度系数的作用

在文章《对比学习（ContrastiveLearning），必知必会》和《CIKM2021当推荐系统遇上对比学习，谷歌SSL算法精读》中，我们都提到过两个思考：（1）对比学习常用的损失函数InfoNCEloss和crossentropyloss是否有联系？（2）对比损失InfoNCEloss中有一个温度系数，其作用是什么？温度系数的设置对效果如何产生影响？个人认为，这两个问题可以作为对比学习相关项
taoqick·2022-12-03 16:34

pytorch实现简单全连接层

文章目录线性回归导入所需库生成数据集读取数据定义模型初始化模型参数定义损失函数和优化算法训练模型小结补充softmax回归基本原理交叉熵损失函数简洁实现线性回归导入所需库importtorchimporttorch.nnasnnimportnumpyasnpimportrandom
happycaiyu·2022-12-03 15:46

解决accuracy_score报错Classification metrics can‘t handle a mix of continuous and multiclass targets

)进行反one-hot编码acc=accuracy_score(inputs_labels.argmax(axis=1),predicted.numpy().argmax(axis=1))此外，如果求交叉熵的时候
yimenren·2022-12-03 14:15

卷积神经网络基础 学习笔记

卷积神经网络基础学习笔记CNN发展历程全连接层神经元卷积层局部感知权值共享卷积过程激活函数卷积过程矩阵大小计算池化层误差的计算交叉熵损失（CrossEntropyLoss）误差反向传播权重的更新优化器教程来自
hywh111·2022-12-03 13:02

人工智能面试题分享（含答案）

人工智能面试题分享（含答案）1、深度学习框架TensorFlow中有哪四种常用交叉熵？答：
骨灰级收藏家·2022-12-03 09:58

R-CNN系列算法介绍

博客中图片来自霹雳吧啦Wz文章目录R-CNN生成候选区域IOU框架Fast-RCNN主要流程获取图像特征的区别ROIpoolSVM分类器损失函数，交叉熵损失Faster-RCNN主要流程RPN(regionproposalnetwork
爱学习的王同学#·2022-12-03 08:51

YOLOV4-模型训练和代码-pytorch

训练超参batch,subvision,burnin,学习率等等buildtarget从GroundTruth到target的过程损失函数位置回归损失，物体自信度损失（正样本和负样本），类别交叉熵损失importcv2fromrandomimportshuffleimportnumpyasnpimporttorchimporttorch.nnasnnimportmathimporttorch.nn
黄豆Jiang·2022-12-03 07:34

pytorch学习--softmax回归

如：回归到多类分类均方损失对类别进行一位有效编码使用均方损失训练最大值作为预测更置信的识别正确类校验输出匹配概率（使输出非负，和为1）概率y和y_bar的区别作为损失交叉熵（crossentropy）衡量两个概率的区别
_Learning_·2022-12-02 23:24

tensorflow 计数器 tf.bincount() tf.count_nonzero() tf.unique_with_counts()

近日做道路识别，由于样本占比较小，考虑每个batch计算交叉熵时针对性地增加所占权重，因此需要对label进行计数，计算出道路占比多少。
壮如山的汉子·2022-12-02 22:50

深度学习中需要掌握的数学2之信息论

信息论信息熵(Entropy)1.信息量2.总结交叉熵1.KL散度-如何衡量两个事件/分布之间的不同2.交叉熵公式3.为什么交叉熵可以用作代价4.总结参考文献信息熵(Entropy)信息熵，可以看作是样本集合纯度一种指标
joejoeqian·2022-12-02 20:28

机器学习面试题

逻辑回归二分类任务求解参数极大似然估计（对式子取对数、极值对应的参数）损失函数（交叉熵损失与极大似然一致、平方损失）、梯度下降/牛顿法集成学习baggingbagging采用了一种有放回的抽样方法来生成训练数据
路过的风666·2022-12-02 18:06

搭建深度学习框架（七)：softmax+交叉熵损失函数的实现

上一节已经实现了LSTM网络的搭建，这一节将实现交叉熵损失函数的搭建和运用，实现对物体的分类。
枭志·2022-12-02 17:26

NLP样本不均衡之常用损失函数对比（附代码）

本文分为三个部分，第一个部分主要介绍一下在分类问题中为什么用交叉熵作为损失函数，第二部分主要介绍一下在交叉熵的基础上的一些改进的损失函数，最后使用上述的几种损失函数在CLUENER细粒度命名实体识别的数据集上进行效果的效果对比
zenRRan·2022-12-02 17:23
上一页 16 17 18 19 20 21 22 23 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他