Entropy

熵及其相关概念

熵，entropy，一个简简单单的字却撑起了机器学习的半壁江山，熵起源于热力学，代表一个热力系统的混乱程度，系统越混乱，熵越大。而机器学习中的熵是信息熵，是香农借鉴热力学熵而创造的概念。
圆月弯刀鞘·2022-12-31 09:58

一阶段目标检测网络-RetinaNet详解

摘要1，引言2，相关工作3，网络架构3.1，Backbone3.2，Neck3.3，Head4，FocalLoss4.1，CrossEntropy4.2，BalancedCrossEntropy4.3，
嵌入式视觉·2022-12-31 08:45

机器学习之使用Python生成ID3决策树

ID3算法：baseEntropy=self.calcShannonEnt(dataset)
南蓬幽·2022-12-30 19:07

【人工智能】机器学习之使用Python生成ID3决策树

:zzz::zzz::zzz:ID3算法：baseEntropy=self.calcShannonEnt(dataset)#基础熵num=len(dataset)
代码输入中...·2022-12-30 19:05

python3.8 安装tensorflow2.6问题

importtensorflowastfloss_obj_scc=tf.keras.losses.SparseCategoricalCrossentropy()使用如下方法直接报出如下问题:原因是keras
sa726663676·2022-12-30 18:57

sklearn中的损失函数

预测不一致的程度损失函数的一般形式：风险函数：度量平均意义下模型预测结果的好坏损失函数分类：Zero-oneLoss，SquareLoss，HingeLoss，LogisticLoss，LogLoss或Cross-entropyLoss
weixin_34218890·2022-12-30 07:50

G1D35--keras.callback&npz&del&常用库之间关系&sparse_categorical_crossentropy&metric&verbose&conda

打包进入一个文件https://www.cnblogs.com/wushaogui/p/9142019.html3、del清除占用内存4、常用库之间关系与区别5、sparse_categorical_crossentropy
甄小胖·2022-12-30 07:46

only batches of spatial targets supported (3D tensors) but got targets of dimension

问题产生的原因是使用nn.CrossEntropyLoss()来计算损失的时候，target的维度超过4importtorchimporttorch.nnasnnlogit=torch.ones(size
小女孩真可爱·2022-12-29 21:49

RuntimeError: Expected object of device type cuda but got device type cpu for argument pytorch数据位置

RuntimeError:Expectedobjectofdevicetypecudabutgotdevicetypecpuforargument#2‘target’incallto_thnn_binary_cross_entropy_forward
weixin_ry5219775·2022-12-29 17:12

【图像/视频压缩】论文笔记整理

Variationalimagecompressionwithascalehyperprior作者指出，以往的图像压缩模型都是通过对潜在表示（latentrepresentation）整体进行熵模型（entropymodel
Carl39·2022-12-29 17:07

决策树ID3，C4.5，CART算法及实现

Entropy=系统的凌乱程度，使用算
机智的橙子·2022-12-29 15:03

目标检测模型的基础

前言一，anchorbox三，IOU三，FocalLoss3.1，CrossEntropy3.2，BalancedCrossEntropy3.3，FocalLossDefinition四，NMS4.1，
嵌入式视觉·2022-12-29 11:22

Focal Loss论文笔记

提出解决类别不平衡通过重塑标准的crossentropyloss，降低分配给分类很好的样本的loss。为了评估loss的有效性，我们设计和训练了一个简单的密集检测器：RetinaNet。
HPUPUPUP·2022-12-29 11:47

[论文解读]Deep active learning for object detection

Deepactivelearningforobjectdetection文章目录Deepactivelearningforobjectdetection简介摘要初步以前的工作Method黑箱主动学习3.1.1Minmax(mm)3.1.2MaximumEntropy
年糕糕糕·2022-12-29 00:09

[cs231n] Softmax Classifier/ SVM

scores由线性函数得到:损失函数Lossfunction:Softmax——交叉熵损失CrossEntropyLoss每个样本的损失：SVM——HingeLoss正则项：总损失=数据损失+正则项：损失函数求梯度
Deserve_p·2022-12-28 17:42

英文文献阅读1-基于灰色关联熵分析的电子商务背景下农村终端配送模式评价

题目：EvaluationofRuralLogisticsTerminalDeliveryModeundertheBackgroundofE-commerce-BasedonGreyRelationalEntropyAnalysi
JUQIYEZHIDMAYI·2022-12-28 15:49

RuntimeError: “nll_loss_forward_reduce_cuda_kernel_2d_index“ not implemented for ‘Int‘解决办法

运行pytorch在计算cross_entropy的loss遇到报错RuntimeError:"nll_loss_forward_reduce_cuda_kernel_2d_index"notimplementedfor'Int
qi_sama·2022-12-28 13:28

Tensorflow中CategoricalCrossentropy()和SparseCategoricalCrossentropy()的区别

今天在调试testset代码是报如下错：ValueError:Cannotsqueezedim[2],expectedadimensionof1,got5for'{{nodeSqueeze}}=Squeeze[T=DT_FLOAT,squeeze_dims=[-1]](strided_slice_1)'withinputshapes:[32,10,5].debug了一会才发现是loss函数的问题，
小轩爱学习·2022-12-28 13:46

机器学习笔记之条件随机场(二)HMM vs MEMM

隐马尔可夫模型隐马尔可夫模型的模型参数隐马尔可夫模型的两个假设关于生成模型MEMMVSHMM最大熵马尔可夫模型引言上一节介绍了概率判别模型与概率生成模型，并简单介绍了最大熵马尔可夫模型(MaximumEntropyMarkovModel
静静的喝酒·2022-12-28 12:50

基于熵权法的topsis分析（包含matlab源码以及实例）

6.计算信息效用值7.计算熵权8.计算最优距离和最劣距离9.计算未归一化得分以及归一化得分三、MATLAB代码实现1.主函数topsis.m2.正向化函数Positivization.m3.熵权法函数Entropy_Method
michelle emma·2022-12-28 12:49

熵，信息增益，信息增益率，基尼指数(附案例)

数据样例名称是否用鳃呼吸有无鱼鳍是否为鱼鲨鱼是有是鲫鱼是有是河蚌是无否鲸否有否海豚否有否熵熵(Entropy)是度量样本集合纯度最常用的一种指标，对于包含m个训练样本的数据集D:{(X(1),y(1))
迷雾总会解·2022-12-28 07:16

决策树——信息熵，熵增益率，基尼系数的计算说明

Entropy=系统的凌乱程度，使用算法ID3,C4.5和C5.0生成
qq_32834123·2022-12-28 07:45

机器学习：决策树之信息熵、信息增益、信息增益率、基尼指数分析

“信息熵”(informationentropy)是度量样本集合纯度最常用的一种指标。1.2信息熵理解信息熵是一个变量包含信息多少的度量方式信息熵的值越大，则认为该变量包含的信息量就大信息熵越
示木007·2022-12-28 07:14

信息熵(ID3)、信息增益（C4.5）、基尼值和基尼指数

1、信息熵熵Entropy是“混乱”程度的量度。系统越有序，熵值越低；系统越混乱或者分散，熵值越高。
甜甜的初夏·2022-12-28 07:43

决策树及分类原理与划分依据：信息熵、信息增益、信息增益率、基尼值和基尼指数

一、决策树及分类原理决策树：是一种树形结构，其中每个内部节点表示一个属性上的判断，每个分支代表一个判断结果的输出，最后每个叶节点代表一种分类结果，本质是一颗由多个判断节点组成的树熵(Entropy)：物理学上是
learning-striving·2022-12-28 07:10

小白的神经网络学习

环境配置二.感知器（Perceptron）单层感知器多层感知器（MLP，MultilayerPerceptron）Keras实现三.逻辑回归与交叉熵关于sparse_categorical_crossentropy
summer_bugs·2022-12-28 06:02

C++：图像二维熵的图像信号丢失检测(附完整源码)

C++：图像二维熵的图像信号丢失检测boolSignalLossDetection::SignalEntropyLossException(cv::Mat&inputImg,doublethreshold
全栈技术博客·2022-12-28 06:53

Keras中损失函数binary_crossentropy和categorical_crossentropy产生不同结果的分析

我在进行一个小的实验时突然发现了两个不同的结果，在进行首先体识别的任务中。这是一个多分类的问题，它总共有10类。一开始我只是为了验证一下实验的效果，就直接在网络上找了一个代码然后就直接对着这个代码跑了。最后实验也跑通了。最后发现了一个特征奇怪的问题。当我直接跑这个代码的时候发现准确度很高，而且出奇的稳定。没有多少波动。当我从别的地方import一个网络运行时发现结果差别很大。我检查了两个代码发现没
skyfengye·2022-12-28 01:37

论文笔记2：Combining Lexical, Syntactic, and Semantic Features with Maximum Entropy Models for Extracting

这篇论文发表于2004年，属于比较早期的论文，主要解决提取实体之间的语义关系问题。一、文章要解决的问题解决实体之间的语义关系问题，在theAutomaticContentExtraction(ACE)evaluation中获得了非常好的结果。二、文章使用的方法（亮点、创新点）解决传统方法主要基于语法解析树，增强语法解析树（Milleretal.,2000）问题。使用最大熵模型，将来自文本的各种词汇
腾云丶·2022-12-27 23:00

数字图像处理Matlab-图像压缩与离散余弦变换（附代码）

2.ExperimentContent：3.ExperimentPrinciple:4.ExperimentStepsResultandConlusion：1、操作使用mat2lpc,lpc2mat，entropy
来一块葱花饼·2022-12-27 21:30

loss.backward(),scheduler(), optimizer.step()的作用

optimizer.zero_grad(),loss.backward()和optimizer.step()，scheduler()四个函数，如下所示：model=MyModel()criterion=nn.CrossEntropyLoss
脱坑diary·2022-12-27 10:32

人工智能导论知识归纳五

Words翻译LinearClassifiers线性分类器overfitting过度拟合AutomaticDifferentiation自动微分hypothesis假设Regularization正则化entropy
海盐_焦糖·2022-12-27 08:18

Generative Adversarial Imitation Learning 论文简析

GenerativeAdversarialImitationLearning》20161、几个概念：（1）occupancymeasureρπ(s,a)：（2）costfunctionC(s,a),π策略下的累计回报：（3）causalentropy
Demian_Neit·2022-12-26 23:29

sklearn学习中的小知识点

查看训练集的特征名称，标签名称datasets.feature_namesdatasets.target_names决策树DecisionTreeClassfier的参数Criterion用来决定不纯度的计算方法，①entropy
qq_36842037·2022-12-26 22:13

如何手写softmax函数防止数值溢出？

当我手写cross-entropy的时候，发现有时候竟然会出现error？
花_哥·2022-12-26 16:35

解决sigmoid/softmax指数运算溢出问题及python实现

sigmoid/softmax指数运算溢出问题sigmoid/softmax指数运算溢出问题解决sigmoidsigmoidsigmoid函数溢出问题解决LR模型中计算crossentropy溢出问题解决
追梦*小生·2022-12-26 16:03

机器学习-概率图模型：最大熵马尔可夫模型（MEMM）【解决序列问题】【前提假设：隐层状态序列符合马尔可夫性】【HMM--去除“观测状态相互独立”假设--＞MEMM】【判别式模型】

例如词性标注问题中，一个词被标注为动词还是名词，不仅与它本身以及它前一个词的标注有关，还依赖于上下文中的其他词，于是引出了最大熵马尔可夫模型（MaximumEntropyMarkovModel，MEM
u013250861·2022-12-26 07:44

【中文分词】最大熵马尔可夫模型MEMM

Xue&Shen'2003[2]用两种序列标注模型——MEMM(MaximumEntropyMarkovModel)与CRF(ConditionalRandomField)——用于中文分词；看原论文感觉作者更像用的是
bye那夏末·2022-12-26 07:13

【自然语言处理】最大熵马尔可夫模型

最大熵马尔可夫模型最大熵马尔可夫模型（maximum-entropyMarkovmodel，MEMM）又称为条件马尔可夫模型（co
不牌不改·2022-12-26 07:12

基于CNN的MINIST手写数字识别项目代码以及原理详解

2.1Dataset2.2Dataloader2.3Torchvision2.4Torchtext2.5加载项目需要使用的库三、加载MINIST数据集3.1数据集简介3.2数据预处理3.3加载数据集四、模型构建五、CrossEntropyLoss5.1Softmax5.2Log5.3NLLL
IronmanJay·2022-12-26 07:30

Python_熵计算实现

importmathdefentropy(Plist):iflen(Plist):re
夭夭耀·2022-12-26 01:31

解决shapes (none,111) and (none,111) are incompatible

1,sparse_categorical_crossentropy和categorical_crossentropy的区别对应解决这类问题:“logitsandlabelsmusthavethesamefirstdimension
king52113141314·2022-12-25 20:14

端到端的图像压缩----码率估计

码率估计前言超先验架构1.VARIATIONALIMAGECOMPRESSIONWITHASCALEHYPERPRIOR（JohannesBallé---google）2.CONTEXT-ADAPTIVEENTROPYMODELFOREND-TO-ENDOPTIMIZEDIMAGECOMPRESSION
叶笙箫·2022-12-25 18:35

02：损失函数总结

目录nn.L1Loss:nn.NLLLoss:nn.MSELoss:nn.CrossEntropyLoss:损失函数是用来估量模型的预测值与真实值的不一致程度，它是一个非负实值函数。
夏天是冰红茶·2022-12-25 15:17

Pytorch实现多分类问题——Pytorch学习笔记二

本文所记录的内容是观看B站刘二大人的相关pytorch教学视频所做的笔记视频链接：Pytorch深度学习实践目录一、多分类问题1.softmax()2.NNLLoss()函数——不建议使用3.CrosssEntropyLoss
Er_Bai·2022-12-25 09:49

keras学习记录——神经网络训练踩坑记

不能收敛到一个较好的值，查找原因发现学习率中的步长一直为0.001，可是设置了自动调节学习率的函数呀，具体见下述代码：model.compile(loss='sparse_categorical_crossentropy
追梦苦旅·2022-12-25 08:52

决策树算法（五）

APIclasssklearn.tree.DecisionTreeClassifier(criterion=’gini’,max_depth=None,random_state=None)criterion特征选择标准“gini"或者"entropy
王涛涛.·2022-12-24 18:07

机器学习中各种损失函数对比总结

文章目录一、分类问题1.0-1损失函数(zero-oneloss)2.Hinge损失函数3.log对数损失函数4.Logistic损失5.交叉熵损失函数(Cross-entropylossfunction
小·幸·运·2022-12-24 17:14

深度学习相关杂乱知识

"~/.keras/datasets"目录下例如，在Winodws下，这个文件夹一般为“C:\Users\Administrator\.keras\datasets”categorical_crossentropy
yiteeee·2022-12-24 16:54

PyTorch | 学习笔记2

一.损失函数1.损失函数概念衡量模型输出与真实标签的差异nn.CrossEntropyLoss功能：nn.LogSoftmax()与nn.NLLLoss()结合，进行交叉熵计算weight：各类别的loss
奔跑的蜗牛君666·2022-12-24 14:22
上一页 11 12 13 14 15 16 17 18 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他