Entropy

week46阅读：《熵增定律》

“熵”，entropy，反映的是一个系统的混乱程度，系统越混乱，熵值越大，反之越小。对抗熵增的条件：外力做工（比如建立耗散结构）+系统开放（比如避免路径依赖）。精神熵：因资讯对意识到目标构
古剑阁·2024-01-12 15:05

大模型中训练出现的ignore_index的作用

CrossEntropyLoss的作用官方定义如下，也存在ignore_index参数，且刚好等于-100，这个值是不参与损失计算的to
Takoony·2024-01-12 08:23

[23-24 秋学期] NNDL-作业2 HBU

交叉熵损失函数我未曾了解过，只在决策树一节中学习过关于熵entropy的基本概念。借此机会弄清原理，并且尝试着学会应用它。对于习题2-12，考察对混淆矩阵的理解程度和计算。
洛杉矶县牛肉板面·2024-01-12 00:53

torch.nn.CrossEntropyLoss()

torch.nn.CrossEntropyLoss(weight=None,size_average=None,ignore_index=-100,reduce=None,reduction='mean
一壶浊酒..·2024-01-10 10:36

[tf]中的 tf.nn.sigmoid_cross_entropy_with_logits会对非标量tensor自动调用reduce_sum，所以下面这么写只是为了可读性更强

loss=tf.nn.sigmoid_cross_entropy_with_logits(labels=self.train_label,logits=logits)self.loss=tf.reduce_sum
VanJordan·2024-01-08 17:32

2018-10-31 logistic 回归的三步骤

step2classC1的标记y^为1，classC2的标记y^为0，则P(C1|x)可以写为：则可以得出拟然函数：最大化拟然数，等价于极小化-lnL，即可以得到：crossentropybetweent
昊昊先生·2024-01-08 10:33

新手可理解的PyTorch 损失函数：优化机器学习模型的关键

目录torch.nn子模块LossFunctions详解nn.L1Loss用途用法使用技巧注意事项代码示例nn.MSELoss用途用法使用技巧注意事项代码示例nn.CrossEntropyLoss用途用法使用技巧注意事项代码示例使用类别索引使用类别概率
E寻数据·2024-01-07 11:26

pytorch07：损失函数与优化器

目录一、损失函数是什么二、常见的损失函数2.1nn.CrossEntropyLoss交叉熵损失函数2.1.1交叉熵的概念2.2.2交叉熵代码实现2.2.3加权重损失2.2nn.NLLLoss2.2.1代码实现
慕溪同学·2024-01-06 09:04

机器学习 - 决策树

熵（Entropy）的定义熵是信息论中的一个核心概念，最初由克
北堂飘霜·2024-01-06 07:26

03 decision tree（决策树）

一、decisiontree（决策树）1.classificationproblems（纯度）i.entropy（熵）作用：衡量一组数据的纯度是否很纯，当五五开时他的熵都是最高的，当全是或者都不是时熵为
叮咚Zz·2024-01-05 14:39

详解Keras3.0 Losses:Probabilistic losses(概率损失)

目录Probabilisticlosses1、BinaryCrossentropy2、CategoricalCrossentropy3、SparseCategoricalCrossentropy4、Poissonclass5
缘起性空、·2024-01-05 01:27

【KL散度】stats.entropy、special.rel_entr、special.kl_div、F.kl_div与nn.KLDivLoss用法解析

  偶然学习KL散度，突然发现python里面KL散度的实现有很多种耶，一时就地懵圈，各处查阅资料，终于理解了，主要从代码实现和公式的角度，整理记录一下神奇的stats.entropy、special.rel_entr
风巽·剑染春水·2024-01-04 09:08

目标检测-One Stage-RetinaNet

文章目录前言一、RetinaNet的网络结构和流程二、RetinaNet的创新点BalancedCrossEntropyFocalLoss总结前言根据前文目标检测-OneStage-YOLOv2可以看出
学海一叶·2024-01-04 06:33

【损失函数】Cross Entropy Loss 交叉熵损失

1、介绍主页介绍的几种损失函数都是适用于回归问题损失函数，对于分类问题，最常用的损失函数是交叉熵损失函数CrossEntropyLoss。它用于测量两个概率分布之间的差异，通常用于评估分类模型的性能。
daphne odera�·2024-01-04 04:13

二分类任务、多分类任务、多标签分类任务、回归任务的代码实现上的区别和联系

实现方式2：使用两个输出节点和Softmax激活函数，通常使用CrossEntropyLoss。多分类任务：使用与类别数相等的输出节点和Softmax激活，损失函数是
马鹏森·2024-01-02 23:32

图像增强指标代码_Python

图像增强指标介绍：1.Entropy，信息熵。熵指的是体系的混乱的程度，对焦良好的图像的熵大于没有清晰对焦的图像，因此可以用熵作为一种对焦评价标准。熵越大，图像越清晰。2.PSNR，峰值信噪比。
Cthanta·2024-01-02 14:37

深刻剖析与实战BCELoss详解（主）和BCEWithLogitsLoss（次）以及与普通CrossEntropyLoss的区别（次）

文章目录前言BCELoss原理BCELoss实操二分类情况多分类情况CrossEntropyLossBCEWithLogitsLoss前言importtorchimporttorch.nnasnnimporttorch.nn.functionalastnf
音程·2024-01-02 01:34

BCELoss，BCEWithLogitsLoss和CrossEntropyLoss

目录二分类1.BCELoss2.BCEWithLogitsLoss多分类1.CrossEntropyLoss举例二分类两个损失：BCELoss，BCEWithLogitsLoss1.BCELoss输入：
不当菜鸡的程序媛·2024-01-02 01:34

Megatron-LM源码系列(五)： FP16使用

arguments.py中的定义如下：group.add_argument('--fp16',action='store_true',help='Runmodelinfp16mode.')在计算lm-cross-entropy
MLTalks·2024-01-01 10:24

损失函数总结（十一）：Huber Loss、SmoothL1Loss

SmoothL1Loss1引言2损失函数2.1HuberLoss2.2SmoothL1Loss3总结1引言在前面的文章中已经介绍了介绍了一系列损失函数(L1Loss、MSELoss、BCELoss、CrossEntropyLoss
sjx_alo·2024-01-01 09:21

信息熵与经验熵：详解弱典型集

如果一个序列的经验熵(empiricalentropy)与随机变量的香农熵非常接近，我们就说这个序列属于弱典型集（weaklytypic
唠嗑！·2023-12-31 12:49

labview霍夫曼编码_香农编码与霍夫曼编码

香农-范诺编码算法需要用到下面两个基本概念：(1)熵(Entropy)某个事件的信息量(又称自信息)用Ii＝-
weixin_39968995·2023-12-30 13:13

神经网络分类与回归任务

损失函数：分类任务常用交叉熵损失函数（Cross-Entropy），回归任务可以使用均方误差（MSE）等。优化器：常见的有梯度下降
不做梵高417·2023-12-30 10:04

刘二大人《PyTorch深度学习实践》p9多分类问题

PyTorch深度学习实践》p9多分类问题一、零碎知识点1.LongTensor长整形张量2.transform结构及用法二、预备知识1.Softmax激活函数2.NLLLoss损失函数3.CrossEntropyLoss
失舵之舟-·2023-12-30 05:03

Focal Loss-解决样本标签分布不平衡问题

文章目录背景交叉熵损失函数平衡交叉熵函数FocalLoss损失函数FocalLossvsBalancedCrossEntropyWhydoesFocalLosswork?
路过的风666·2023-12-30 01:29

【论文简述】Rethinking Cross-Entropy Loss for Stereo Matching Networks（arxiv 2023）

一、论文简述1.第一作者：PengXu2.发表年份：20233.发表期刊：arxiv4.关键词：立体匹配，交叉熵损失，过渡平滑和不对准问题，跨域泛化5.探索动机：立体匹配通常被认为是深度学习中的一个回归任务，通常采用平滑L1损失结合Soft-Argmax估计器来训练网络，达到亚像素级的视差精度。然而，平滑L1损失缺乏对代价体的直接约束，在训练过程中容易出现过拟合。Soft-Argmax是基于网络输
华科附小第一名·2023-12-29 15:58

【深度学习】各领域常用的损失函数汇总（2024最新版）

目录1、L1损失、平均绝对误差（L1Loss、MeanAbsoluteError，MAE）2、L2损失、均方误差（L2Loss、MeanSquaredError，MSE）3、交叉熵损失（Cross-EntropyLoss
daphne odera�·2023-12-29 06:56

深度学习入门（python）考试速成之Softmax-with-Loss层

softmax函数：交叉熵误差（CrossEntropyError层）：这里的表示以为底数的自然对数，即，即。
北辰Charih·2023-12-28 21:34

【Loss系列】结合dice loss 和 bce loss

defbce_dice(pred,mask):ce_loss=F.binary_cross_entropy_with_logits(pred,mask)pred=torch.sigmoid(pred)inter
Nastu_Ho-小何同学·2023-12-28 18:57

sNMF&cross-entropy&K

0.简单介绍稀疏非负矩阵（sNMF）和最小二乘优化来产生祖先比例估计数的祖先推断算法，这个算法呢与admixture来说差别不是很大，但是优点就是快，运算速度可以快到10-30倍左右。1.安装这一步不必多说，下载完成后直接./install.commd即可，但是这个软件依赖gcc环境，因为是C语言开发的嘛，理所当然咯。2.CreateadatasetwithmaskeddataInthemaind
咩小饬·2023-12-28 14:58

My Note of Maximum Entropy

NoteforMaximumEntropyNotationsPPP:modeldistr.P~\tilde{P}P~:empirical/sampledistr.(Diracdistr.)
nbu04william·2023-12-26 02:41

交叉熵损失（Cross Entropy Loss）学习笔记

  在分类任务中，我们通常使用交叉熵作为损失函数，首先给出交叉熵的计算公式：二分类中：L=1N∑iLi=1N∑i−[yilog(pi)+(1−yi)⋅log(1−pi)]\mathcal{L}=\frac1{N}\sum_{i}L_i=\frac1{N}\sum_{i}-[y_ilog(p_i)+(1-y_i)\cdotlog(1-p_i)]L=N1i∑Li=N1i∑−[yilog(pi)+(1−
图学习的小张·2023-12-24 22:40

RetinaNet：Focal Loss for Dense Object Detection（CVPR2018）

文章目录Abstract北京发现问题并给出方法成果IntroductionRelatedWorkRobust评估FocalLossBalancedCrossEntropyFocalLossDefinitionClassImbalanceandModelInitializationClassImbalanceandTwo-stageDetectorsRetinaNetDetectorExperime
怎么全是重名·2023-12-24 11:44

TypeError: loop of ufunc does not support argument 0 of type Tensor which has no callable sqrt met

使用tensorflow时出现的一错误利用CNN预测时，计算均方根误差报错如下：cross_entropy=np.sqrt(tf.reduce_mean(tf.reduce_sum(tf.square(
Gty_gtygty·2023-12-24 10:34

图像融合定量指标分析

①熵/Entropy/EN  熵表示一张图像包含信息的丰富程度。
Change_ZH·2023-12-23 13:53

决策树相关算法_ID3_C45_信息熵_剪枝

信息增益为了说明信息增益算法，需要先给出熵entropy的定义，熵表示随机变量的不确定性的度量。设XXX是一个取有限个值的离散随机变量，其概率分布
沉住气CD·2023-12-23 11:00

深度学习——关于adam优化器和交叉熵损失函数介绍

在你的代码中，使用了Adam优化器和交叉熵（categoricalcrossentropy）损失函数，这是常见且在许多情况下表现良好的选择。
没有竹蜻蜓的小叮当·2023-12-23 00:08

Decision Tree建模with Gini and Entropy

目录介绍：决策树的优点：GiniDecisionTreeEntropyDecisionTreeentropy决策树和gini决策树的区别一、数据处理二、建模三、模型准确度四、决策树图型介绍：决策树是一种用于分类和回归分析的机器学习算法
取名真难.·2023-12-22 22:16

Humpty Dumpty

图片发自App科学家们用HumptyDumpty的故事来演示热力学第二定律（或称“熵增定律”）：在自然过程中，一个孤立系统的总混乱度（即“熵”，entropy）永
阅芽乐园·2023-12-22 19:50

机器学习：手撕 cross-entropy 损失函数

1.前言cross-entropylossfunction是在机器学习中比较常见的一种损失函数。在不同的深度学习框架中，均有相关的实现。但实现的细节有很多区别。
三翼鸟数字化技术团队·2023-12-22 06:01

2021-01-24 (冬季学校 3)

holographicentanglemententropy仅仅两天Takanayaki桑就杀青了，不过信息量真的很大，不但有review还有新的工作的介绍，并且都很引人入胜，比如AdS/BCFT，还有
悟空金月饺子·2023-12-21 09:44

决策树原理及实现(Decision Tree)

首先要了解熵(Entropy)的概念。在热力学中，熵被用于表示系统的混乱程度；而在信息论中，熵用于表示信息量的大小。在一个有
d518a9b6ae51·2023-12-20 21:38

DA（语义分割2）ADVENT: Adversarial Entropy Minimization for Domain Adaptation in Semantic Segmentation

ADVENT:AdversarialEntropyMinimizationforDomainAdaptationinSemanticSegmentation来源：CVPR2019作者：Tuan-HungVu
西瓜_f1c9·2023-12-20 13:13

论文阅读/中文记录，材料机器学习：Data-driven based phase constitution prediction in high entropy alloys

HanQ,LuZ,ZhaoS,etal.Data-drivenbasedphaseconstitutionpredictioninhighentropyalloys[J].ComputationalMaterialsScience
keith_VV·2023-12-19 15:22

重新理解一下F.cross_entropy()的细节

最初疑问：为什么F.cross_entropy（logits,labels）里的labels为212,213，这样的标签
A half moon·2023-12-18 23:32

torch.nn.NLLLOSS vs torch.nn.CrossEntropyLoss

torch.nn.CrossEntropyLoss相当于softmax+log+nlllosstorch.nn.NLLLOSS示例nllloss=nn.NLLLoss()predict=torch.Tensor
芒果很芒~·2023-12-18 08:22

Pytorch：模型的权值初始化与损失函数

目录前期回顾一、权值初始化1.1梯度消失与梯度爆炸1.2Xavier初始化1.3Kaiming初始化1.4十种权重初始化方法二、损失函数2.1损失函数初步介绍2.2交叉熵损失CrossEntropyLossnn.CrossEntropyLoss2.3
碧蓝的天空丶·2023-12-18 08:37

数据处理三 数据类别平衡（难易样本平衡）

在设计loss时可以使用FocalLoss与BootstrappedCrossEntropyLoss作用损失函数进行训练，也可以自行对难样本进行过采样然后再进行训练在训练过程中难样本通常是频率较低的样本
摸鱼的机器猫·2023-12-17 07:21

KL散度、CrossEntropy详解

文章目录0.概述1.信息量1.1定义1.2性质1.3例子2.熵Entropy2.1定义2.2公式2.3例子3.交叉熵CrossEntropy3.1定义3.2公式3.3例子4.KL散度（相对熵）4.1公式
@BangBang·2023-12-16 19:06

机器学习-KL散度的直观理解+代码

在信息论或概率论中，KL散度（Kullback–Leiblerdivergence），又称为相对熵（relativeentropy），是一种描述两个概率分布P和Q差异的一种方法。
头发没了还会再长·2023-12-16 14:11
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他