Entropy

机器学习 决策树篇——解决离散变量的分类问题

熵增益和熵增益率计算此对象用于计算离散变量的熵、条件熵、熵增益（互信息）和熵增益率.cal_entropy()：计算熵的函数.cal_conditional
CyrusMay·2023-10-15 02:25

paddle 基础函数 cross_entropy

官方文档：https://www.paddlepaddle.org.cn/documentation/docs/zh/api_cn/layers_cn/cross_entropy_cn.html示例：importpaddle.fluidasfluidimportnumpyasnpclass_num
京城王多鱼·2023-10-15 01:43

深度学习验证码项目

：GitHub-kerlomz/captcha_trainer:[验证码识别-训练]ThisprojectisbasedonCNN/ResNet/DenseNet+GRU/LSTM+CTC/CrossEntropytorealizeverificationcodeidentification.Thisprojectisonlyfortrainingthemodel.GitHub-Pytho
Python9724·2023-10-14 16:41

PyTorch 深度学习之多分类问题Softmax Classifier(八)

2.1OutputaDistributionofpredictionwithSoftmax2.2SoftmaxLayerExample,2.3LossFunction-CrossEntropyCrossEntropyinNumpyCrossEntropyinPyTorch
河图洛水·2023-10-13 17:37

torch.max(input, dim)使用解释

在深度学习的多分类神经网络统计预测正确的个数1.函数结构torch.max(input,dim)input是一个softmax函数输出的tensor（当然，如果用CrossEntropyLoss()，最后一层是一个全连接层
ShuaS2020·2023-10-12 22:21

【深度学习】深度学习实验二——前馈神经网络解决上述回归、二分类、多分类、激活函数、优化器、正则化、dropout、早停机制

原理介绍：回归问题使用的损失函数为平方损失函数，二分类问题使用的损失函数为nn.BCEloss函数，多分类问题使用的损失函数为交叉熵损失函数nn.CrossEntropyLoss。
yuzhangfeng·2023-10-11 10:41

SAC

SAC：SoftActor-Critic原文：《SoftActor-Critic:Off-PolicyMaximumEntropyDeepReinforcementLearningwithaStochasticActor
臻甄·2023-10-09 08:01

torch 对样本进行加权

batch_size=10nb_classes=2model=nn.Linear(10,nb_classes)weight=torch.empty(nb_classes).uniform_(0,1)#初始化CrossEntropy
WGS.·2023-10-08 23:35

TensorFlow中常用的损失函数

TensorFlow的tf.nn模块里的损失函数：tf.nn.softmax_cross_entropy_with_logits_v2()importtensorflowastflabels=[[0.2,0.3,0.5
GarryLau·2023-10-08 05:37

pytorch常用函数：torch.nn.functional.binary_cross_entropy_with_logits

torch.nn.functional.binary_cross_entropy_with_logits它的参数有：input,target,weight,size_average,reduce,reduction
xingS1992·2023-10-07 11:18

binary_cross_entropy_with_logits

F.binary_cross_entropy_with_logits(input,target,weight=None,size_average=None,reduce=None,reduction='
Just___do(L)·2023-10-07 11:18

binary_cross_entropy_with_logits 和 binary_cross_entropy 的区别

importtorchfromtorch.nnimportfunctionalasFlogits=torch.rand(16,7)ys=torch.randint(0,2,(16,7))F.binary_cross_entropy_with_logits
Sailist·2023-10-07 11:48

nn.CrossEntropyLoss与F.binary_cross_entropy_with_logits 的区别

nn.CrossEntropyLoss和F.binary_cross_entropy_with_logits是两种不同的损失函数，适用于不同类型的任务和网络输出。
爱生活的椰子·2023-10-07 11:47

binary_cross_entropy_with_logits的PyTorch实现

参考链接需要的包importtorchimporttorch.nnasnnimporttorch.nn.functionalasF模拟的输入x变量：4分类问题batch_size,n_classes=10,4x=torch.randn(batch_size,n_classes)x.shapex维度torch.Size([10,4])运行：xOut:tensor([[2.3611,-0.8813,-
我岂是非人哉·2023-10-07 11:16

loss盘点: BCE loss —— binary_cross_entropy_with_logits

我的torch版本:1.8.1+cu111我的paddle版本:2.4.1torchAPI位置torch.nn.functional.binary_cross_entropy_with_logitspaddleAPI
氵文大师·2023-10-07 11:15

cross_entropy、binary_cross_entropy、binary_cross_entropy_with_logits

cross_entropy原理函数具体介绍参考torch.nn.functional.cross_entropy使用交叉熵的计算参考交叉熵损失（CrossEntropyLoss）计算过程实例codez=
LALALA312312·2023-10-07 11:15

binary_cross_entropy和binary_cross_entropy_with_logits的区别

binary_cross_entropy和binary_cross_entropy_with_logits的区别引言二分类问题是常见的机器学习任务之一，其目标是将样本分为两个类别。
或许，这就是梦想吧！·2023-10-07 11:45

Keras TypeError: run() got an unexpected keyword argument 'class_mode'

解决方法：找到model.compile(loss='binary_crossentropy',optimizer='adam',class_mode="binary")这一行，去掉class_mode
Jiacch·2023-10-07 08:27

2020-08-30随笔

香农理论的重要特征是熵（entropy）的概念，他证明熵与信息内容的不确定程度有等价关系。熵（entropy）指的是体系的
Piscine·2023-10-06 16:04

逻辑回归评分卡

文章目录一、基础知识点(1)逻辑回归表达式(2)sigmoid函数的导数损失函数(Cross-entropy,交叉熵损失函数)交叉熵求导准确率计算评估指标二、导入库和数据集导入库读取数据三、分析与训练四
育林·2023-10-06 14:55

李宏毅一天搞懂深度学习2016学习总结

没有办法得到很好的训练结果---重新选择训练方式2.没有办法得到很好的测试结果---往往由于过度拟合导致，需要重新定义方法（网络结构）训练集效果不好优化训练方法的手段：1.选择合适的Lossfunction：使用CrossEntropy
深度学习努力中·2023-10-05 15:58

『paddle』paddleseg 学习笔记：损失函数

损失函数1.BCELoss2.BootstrappedCrossEntropyLoss3.CrossEntropyLoss4.RelaxBoundaryLoss5.DiceLoss6.EdgeAttentionLoss7
libo-coder·2023-10-05 07:09

【pytorch】nn.CrossEntropyLoss & nn.BCELoss & nn.BCEWithLogitsLoss

nn.CrossEntropyLosstorch.nn.CrossEntropyLoss(weight=None,size_average=None,ignore_index=-100,reduce=None
wtttcl·2023-10-03 16:52

决策树C4.5算法的技术深度剖析、实战解读

目录一、简介决策树（DecisionTree）例子：信息熵（InformationEntropy）与信息增益（InformationGain）例子：信息增益比（GainRatio）例子：二、算法原理信息熵
TechLead KrisChang·2023-10-03 15:42

【多媒体技术与实践】数据无损压缩编码

数据无损压缩1.熵(entropy)是什么？按照香农的理论，在有限的互斥和联合穷举事件的集合中，熵为事件的信息量的平均值，也称事件的平均信息量。2.熵编码(entropyencoding)是什么？
MorleyOlsen·2023-10-02 22:45

词嵌入和交叉熵｜Word Embedding and Cross Entropy

ContentsWordEmbeddingPytorchCrossEntropyReferenceWordEmbeddingTheEmbeddinglayercanbeunderstoodasalookuptablethatmapsfromintegerindices
Alex Tech Bolg·2023-10-02 08:18

【23-24 秋学期】 NNDL 作业2

分析为什么平方损失函数不适用于分类问题，交叉熵损失函数不适用于回归问题平方损失函数平方损失函数（QuadraticLossFunction）经常用在预测标签为实数值的任务中表达式为：交叉熵损失函数交叉熵损失函数（Cross-EntropyLossFunction
KLZUQ·2023-10-01 22:05

服务器系列（21）：NLLLoss和CrossEntropyLoss

愚人节快乐~妹妹的家庭笨蛋王大赛开始了==祝她斩获名次哈哈哈哈偷笑参考：Pytorch详解NLLLoss和CrossEntropyLosspytorch损失函数之nn.CrossEntropyLoss(
Doris_Meng·2023-09-30 18:37

9_分类算法—决策树

文章目录1信息熵1.1比特化（Bits）1.2一般化的比特化（Bits）1.3信息熵（Entropy）1.3.1熵越大混乱程度越大1.4条件熵H（YIX）2决策树2.1什么是决策树2.2决策树构建过程（
少云清·2023-09-30 06:05

李航老师《统计学习方法》第6章阅读笔记

最大熵是概率模型学习的一个准则，将其推广到分类问题得到最大熵模型（maximumentropymodel）。逻辑斯谛回归模型与最大熵模型都属于对数线性模型。
Chen_Chance·2023-09-29 01:17

PyTorch - 模型训练损失 (Loss) NaN 问题的解决方案

例如，交叉熵损失sigmoid_cross_entropy，包括对数函数(log)，
SpikeKing·2023-09-28 21:20

机器学习之决策树算法介绍

Entropy=系统的凌乱程度，使用算法ID3,C4.5和C
梦游症者·2023-09-28 19:11

【H.264/AVC 句法和语义】Exp-Golomb指数哥伦布编码

因为指数哥伦布编码(Exponential-Golomb)属于熵编码(Entropyencoding)，所以我们先大致介绍一下熵编码，然后再
PuiKei·2023-09-28 17:41

20180711记录

BCELossbinary_cross_entropy（二进制交叉熵）损失，即用于衡量原图与生成图片的像素误差；kld_lossKL-divergence（KL散度），用来衡量潜在变量的分布和单位高斯分布的差异
荔枝芒果过夏天·2023-09-28 03:19

【自学记录】深度学习入门——基于Python的理论与实现（第4章 神经网络的学习）

4.2损失函数#损失函数#均方误差defmean_squared_error(y,t):return0.5*np.sum((y-t)**2)#交叉熵误差def_cross_entropy_error(y
__0077·2023-09-27 08:22

pytorch各种loss函数

nn.CrossEntropyLoss该准则计算输入logits与目标之间的交叉熵损失。nn.CTCLoss连接主义时间分类
落花逐流水·2023-09-27 06:01

激活函数总结（四十二）：激活函数补充(SSFG、Gumbel Cross Entropy)

激活函数总结（四十二）：激活函数补充1引言2激活函数2.1SSFG激活函数2.2GumbelCrossEntropy激活函数3.总结1引言在前面的文章中已经介绍了介绍了一系列激活函数(Sigmoid、Tanh
sjx_alo·2023-09-27 05:04

信息论基础第二章阅读笔记

对于任何一个概率分布，可以定义一个熵（entropy）的量，它具有许多特性符合度量信息的直观要求。
Chen_Chance·2023-09-26 22:39

pytorch学习笔记——BCE与CE

BCELoss的话只需要网络输出一个通道，CELoss(CrossEntropyLoss)需要输出n_class个通道。
phily123·2023-09-26 05:32

条件熵认识

条件熵是什么条件熵（ConditionalEntropy）是信息论中的一个概念，用于表示在已知某一条件下，随机事件的不确定性或信息量。
Chen_Chance·2023-09-25 02:21

DP-GAN解读

指的是Diversity-PromotingGAN（而不是另外一篇论文里提出的DifferentiallyPrivateGAN），论文的标题是Diversity-PromotingGAN:ACross-EntropyBasedGenerativeAdversarialNetworkforDiversifiedTextGeneration
6e845d5ac37b·2023-09-24 09:35

F.cross_entropy的使用困惑--终结

1.由于按照cross_entropy的计算公式，F.cross_entropy(outs,label)这里面的outs和label的应该都是batch_size*one_hot_vec的形状，但是，这个函数呢
诚威_lol_中大努力中·2023-09-23 22:37

multi-target not supported at /pytorch/aten/src/THCUNN/generic/classNLLCriterion.cu::15

在计算点云语义分割crossentropy时，遇到了RuntimeError:multi-targetnotsupportedat/pytorch/torch/lib/THCUNN/generic/ClassNLLCriterion.cu
程序员毛师傅·2023-09-22 11:16

信息量 Amount of Information、熵 Entropy、交叉熵 Cross Entropy、KL散度 KL Divergence、交叉熵损失函数 Cross Entropy Loss

1、信息量AmountofInformation信息量：衡量事件发生的难度有多大小概率事件，它发生的难度比较大，所以有较大的信息量大概率事件，它发生的难度比较小，所以有较小的信息量信息量公式：I(x):=log2(1p(x))=−log2(p(x))I{(x)}:=log_2(\frac{1}{p_{(x)}})=-log_2(p_{(x)})I(x):=log2(p(x)1)=−log2(p(x
Enzo 想砸电脑·2023-09-22 07:14

机器学习-决策树

Entropy=系统的凌乱程度，使用算法ID3,C
时光偷走初心-·2023-09-21 18:55

模型训练（超参数batch_size/epoch/batch、损失函数DiceLoss/CrossEntropy/FocalLoss、优化器SGD/Adam/Adamw、衰减策略step/cos）

模型中的超参数（batch_size、epoch、batch）深度学习中Epoch、Batch以及Batchsize的设定epoch：1个epoch指用训练集中的全部样本训练一次，此时相当于batch_size等于训练集的样本数。如果epoch=50,总样本数=10000，batch_size=20,则需要迭代500次。iteration：1次iteration即迭代1次，也就是用batch_si
Chirmy·2023-09-21 09:38

tensorflow损失函数选择

optimizer=‘adam’,loss=‘mse’)#均方误差损失函数对于二分类问题，使用二元交叉熵损失函数：二、ann.compile(optimizer=‘adam’,loss=‘binary_crossentropy
宿夏星·2023-09-19 06:19

keras 或者tensorflow损失函数

binary_crossentropy（和引擎盖下的tf.nn.sigmoid_cross_entropy_with_logits）用于二进制多标签分类（标签是独立的）.categorical_crossentropy
weixin_42612033·2023-09-19 06:49

[tensorflow损失函数系列]weighted_cross_entropy_with_logits

weighted_cross_entropy_with_logits觉得有用的话,欢迎一起讨论相互学习~weighted_cross_entropy_with_logits(targets,logits
武科大许志伟·2023-09-19 06:48

tensorflow损失函数详解

1.binary_crossentropy（对数损失函数）和sigmod使用，针对二分类问题2.categorical_crossentropy（多分类的对数损失问题）和softmax使用，如果是one-hot
重邮研究森·2023-09-19 06:47
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他