Entropy

正负样本数不均衡——Focal Loss

公式1，CrossEntropyLoss；公式2，使用一个新的变量代替；公式3，引入参数，可以用作调节样本数量的权重，更大的赋予样本数量少的类别更大的权重；让损失函数不受样本数量过多的类别影响；公式4，
Neil_YoungHY·2020-07-30 09:45

tomcat在linux启动应用慢解决方式

/proc/sys/kernel/random/entropy_avail中存储了熵池现在的大小，/proc/sys/kernel/random/poolsize是熵池的最大容量，单位都是bit。
lius007·2020-07-30 08:38

2018-04-01

主要的参考文献是AmirDembo,OferZeitouni的LargeDeviationsTechniquesandApplications和RichardEllis的Entropy,LargeDeviations
史努B·2020-07-30 07:08

Unet项目解析(7): 模型编译-优化函数、损失函数、指标列表

Retinabloodvesselsegmentationwithaconvolutionneuralnetwork(U-net)1.模型编译model.compile(optimizer='rmsprop',loss='categorical_crossentropy
沈子恒·2020-07-30 00:02

Keras【Deep Learning With Python】逻辑回归·softmax多分类与交叉熵

2交叉熵交叉熵（Cross-Entropy）交叉熵是一个在ML领域经常会被提到的名词。在这篇文章里将对这个概念进行详细的分析。1.什么是信息量？假设X是一个离散型随机变量，其取值
Li xiang007·2020-07-29 12:00

熵权法

@20171107熵权法的原理1信息熵InformationEntropy2熵权法熵权法的计算步骤1确定指标体系2数据预处理3归一化处理4计算指标的熵和权5指标加权计算得分总结示例1熵权法的原理1.1信息熵
Mars_myCafe·2020-07-29 05:42

计算机视觉之对抗样本（一）：一文读懂Rethinking softmax cross entropy loss for adversarial robustness(ICLR2020)和MMC

Rethinkingsoftmaxcrossentropylossforadversarialrobustness是一篇关于对抗样本的Paper，详见arXiv与Github。
清风思月·2020-07-29 03:19

tensorflow的loss，dropout，AdamOptimizer

二次代价函数loss=tf.reduce_mean(tf.square(y-prediction))loss=tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits
yanghedada·2020-07-29 01:00

keras从入门到放弃(五）独热编码和顺序编码

上次我们用探究多分类的问题,目标数据做独热编码，用categorical_crossentropy来计算softmax交叉熵，但是多分类还可以将目标数据做顺序编码，用sparse_categorical_crossentropy
润森·2020-07-28 22:00

随机森林的参数（分类树）

其中关于决策树的参数：criterion:”gini”or“entropy”(default=”gini”)是计算属性的gini(基尼不纯度)还是entropy(信息增益)，来选择最合适的节点。
apple-平家物语·2020-07-28 22:08

python学习之单元测试

正像软件熵（softwareentropy）所描述的那样：一个程序从设计很好的状态开始，随着新的功能不断地加入，程序逐渐地失去了原有的结构，最终变成了一
huiqin08·2020-07-28 19:08

机器学习实战笔记（二）决策树

Entropy=系统的凌乱程度，使用算法ID3,C4.5和C5.0生成树算法使用熵。这一度量是基于信息学理论中熵的概念。分类决策树模型是一种描述对实例进行分类的树形结构。
HJ_彼岸·2020-07-28 14:17

MixMatch：半监督学习

MixMatch：半监督学习1摘要2介绍3已有相关工作3.1ConsistencyRegularization一致性正则化3.2EntropyMinimization/Entropyregularization
随君·2020-07-28 14:20

【半监督学习】MixMatch、UDA、ReMixMatch、FixMatch

目录ConsistencyRegularizationEntropyMinimization结合ConsistencyRegularization和EntropyMinimizationFixMatc
mishidemudong·2020-07-28 13:41

最大熵模型（ME）和最大熵马尔可夫模型（MEMM）

文章目录最大熵模型（MaximumEntropyModel,MEM）最大熵思想最大熵模型表示最大熵模型学习最大熵模型求解过程举例最大熵模型与极大似然估计最大熵模型与逻辑回归模型学习之改进的迭代尺度法（ImprovedIterativeScaling
十里清风·2020-07-28 11:34

generalized Linear Models

对数线性模型里有：logisticregression、Maxinumentropy。本篇是对逻辑回归的学习总结，以及广义线性模型导出逻辑回归的过程。下一篇将是对最大熵模型的学习总结。
sinat_25357975·2020-07-28 11:05

keras搭建神经网络分类新闻主题

fromkeras.datasetsimportreutersimportnumpyasnpfromkerasimportmodelsfromkerasimportlayersfromkeras.optimizersimportRMSpropfromkeras.lossesimportcategorical_crossentropy
程勇uestc·2020-07-28 08:41

百度地图POI边界坐标数据采集

原文地址：百度地图POI边界坐标数据采集在线工具地址：百度地图POI边界数据采集工具由于之前探索过高德地图POI数据边界坐标的采集，后面接口太不稳定，很难能稳定成功采集到数据，该功能搁置了一段时间，最近在@entropy
人如墨·2020-07-28 06:28

图像评价指标

（Pratt’sFigureOfMerit）[1][2]（第一个引用是它的来源，第二个引用是使用它的例子）；图像增强，有EEME（EvaluatingimageEnhancementMeasurebyEntropy
purgle·2020-07-28 04:26

CNN入门+猫狗大战(Dogs vs. Cats)+PyTorch入门

原网络采用的交叉熵torch.nn.CrossEntropyLoss()进行Loss计算，而这个函数内部是已经进行了softmax处理的（参考），所以网络中的输出再进行F.softmax(x,dim=1
l1076604169·2020-07-28 01:25

信息熵，条件熵，相对熵

后面在《数学之美》，在书中看到了这些公式能够解释什么问题时，才有所领悟~~~1，信息熵（Entropy)公式大家都不陌生吧：P(x)是变量出现
jxlijunhao·2020-07-28 01:14

tf.nn.softmax_cross_entropy_with_logits

#coding=utf-8"""tf.nn.softmax_cross_entropy_with_logits(logits,labels,name=None)第一个参数logits：就是神经网络最后一层的输出
guoyunfei20·2020-07-27 22:40

Maximum Entropy Model最大熵模型

WelcomeToMyBlog最大熵模型(MaximumEntropyModel)属于对数线性模型,由最大熵原理推导实现.最大熵原理最大熵原理是概率模型学习的一个准则.最大熵原理认为,学习概率模型时,在所有可能的概率模型
LittleSasuke·2020-07-27 22:04

Hidden Markov and Maximum Entropy Models

Chapter6.HiddenMarkovandMaximumEntropyModels这篇文章是我在看SpeechandLanguageProcessingAnIntroductiontoNaturalLanguageProcessing
finder_cat·2020-07-27 22:15

信息论基本概念

1.熵（Entropy）熵又叫自信息（self-information），可以视为描述一个随机变量的不确定性的数量。它表示信源X每发一个符号所提供的平均信息量。一个随机变量的熵越大，它的
Wisimer·2020-07-27 17:28

交叉熵损失函数nn.CrossEntropyLoss()

nn.CrossEntropyLoss()1.引言在使用pytorch深度学习框架做多分类时，计算损失函数通常会使用交叉熵损失函数nn.CrossEntropyLoss()2.信息量和熵信息量：它是用来衡量一个事件的不确定性的
yuan·2020-07-27 17:23

决策树

本文代码摘自书籍《机器学习实战》,我仅稍加改正和整理，详细代码和数据集见GitHub文章目录决策树概述信息增益（informationgain）和熵（entropy）香农熵的计算划分数据集找到最好的特征划分点递归构建决策树图形化决策树测试算法决策树的存储总结决策树概述优点
Ruanes·2020-07-27 17:56

python将标签转化为one-hot(独热编码)

问题描述:在利用categorical_crossentropy作为损失函数时,需要将标签设定为one-hot格式,即每个标签的长度应转换为一个长度为类别数的向量,该向量除了所属的类别位置为1之外,其他位置值为
云端浅蓝·2020-07-27 15:33

机器学习笔记（三十）：基尼系数、CART

计缘来源|凌云时刻（微信号：linuxpk）基尼系数在一开始我们使用ScikitLearn中提供的决策树分类器时，DecisionTreeClassifier有一个参数criterion，我们之前传入了entropy
凌云时刻·2020-07-27 11:02

学习笔记：tensorflow和keras中的交叉熵损失

学习笔记：tensorflow和keras中的交叉熵损失tensorflowtf.nn.softmax_cross_entropy_with_logits(labels,logits)logits未经过
Puddinggggg·2020-07-27 10:47

pytorch中CrossEntropyLoss和NLLLoss的区别与联系

pytorch中CrossEntropyLoss和NLLLoss的区别与联系CrossEntropyLoss和NLLLoss主要是用在多分类问题的损失函数，他们两个既有不同，也有不浅的联系。
Dynamicw·2020-07-16 14:47

深度学习中损失值(loss值)为nan（以tensorflow为例）

我做的是一个识别验证码的深度学习模型，识别的图片如下验证码图片识别4个数字，数字间是有顺序的，设立标签时设计了四个onehot向量链接起来，成了一个长度为40的向量，然后模型的输入也是40维向量用softmax_cross_entropy_with_logits
keaton-zhang·2020-07-16 06:58

解决RuntimeError: cuda runtime error (59) : device-side assert triggered

运行程序时发现这个问题Traceback(mostrecentcalllast):File"train_pytorch1.py",line217,inloss=F.cross_entropy(output
予你心安、·2020-07-16 05:08

手写数字识别mnist改进版本实现及代码

手写数字识别，损失函数是CrossEntropyCost，初始化weights，biases是服从于N（0，1/sqrt（x）），其中还有save函数，精度比之前的几种更高importrandomimportjsonimportsysimportnumpyasnpdefsigmoid
mercies·2020-07-16 03:55

熵、图像熵的意义及计算方法

6906413http://www.360doc.com/content/17/1215/15/50936292_713342097.shtmlAutofocusingofISARimagebasedonentropyminimizationXLi
marleylee·2020-07-16 03:22

模型训练时loss出现Nan的原因分析

下面的分析都是基于tensorflow数据不正确比如说我们处理的实际是一个N分类问题的时候，在tensorflow中，我们计算crossentropy的时候将其当作一个M分类问题。
UpCoderXH·2020-07-16 02:09

机器学习基础（五十）—— Gini Impurity（基尼不纯度）与香浓熵（Shannon Entropy））

基尼不纯度/香浓熵：衡量集合的无序程度；基尼不纯度基尼不纯度：将来自集合的某种结果随机应用于某一数据项的预期误差率。IG(f)=∑i=1mfi(1−fi)=∑i=1mfi−∑i=1mf2i=1−∑i=1mf2i（1）显然基尼不纯度越小，纯度越高，集合的有序程度越高，分类的效果越好；（2）基尼不纯度为0时，表示集合类别一致；（3）基尼不纯度最高（纯度最低）时，f1=f2=…=fm=1m，IG(f)=
Inside_Zhang·2020-07-16 01:38

爱狗，请给予他们更多被尊重的权利

dpr=1&auto=format&crop=entropy&fit=crop&w=1500&h=937&q=80&cs=tinysrgb最近小区因为养宠物狗的问题贴出了帖子，主要就如何规范养狗而不影响他人生活征求好的建议
暂住16楼·2020-07-16 00:07

sigmoid_cross_entropy_with_logits的计算方法

sigmoid_cross_entropy_with_logits可以衡量已标注过数据预测的正确度。比如一个（x,y）数据项，x表示输入取值为实数，y表示标注取值0或1。
brooknew·2020-07-15 21:10

Tensorflow四种交叉熵函数

交叉熵计算函数输入中的logits都不是softmax或sigmoid的输出，而是softmax或sigmoid函数的输入，因为它在函数内部进行sigmoid或softmax操作tf.nn.sigmoid_cross_entropy_with_logits
MiracleJQ·2020-07-15 20:53

【深度学习】目标检测之YOLOv3算法

【深度学习】目标检测之YOLOv3算法YOLO系列目标检测算法官方代码YOLOv3网络结构anchor的编解码损失函数binarycross-entropylossAP（AveragePrecision
Zhang_Chen_·2020-07-15 19:17

TensorFlow遇到的问题汇总(持续更新...)

一般采用的都是crossentropylossvalue,定义如下：发现就是网络预测给出的二类概率向量为[0.5,0.5],也就是a和1-a都是0.5，不管y取值0/1，整个的平均loss就是-ln(0.5
一瓶可乐zc·2020-07-15 07:28

长尾问题/小样本问题

DiceLoss形式简单且十分有效，将CrossEntropyLoss替换为DiceLoss能够在词性标注数据集CTB5、CTB6、UD1.4，命名实体识别数据集CoNLL
梅子味の·2020-07-15 07:45

数学推导+纯Python实现机器学习算法21：最大熵模型

Python机器学习算法实现Author：louwillMachineLearningLab最大熵原理（MaximumEntropyPrinciple）是一种基于信息熵理论的一般原理，在机器学习领域也有着广泛的应用价值
louwill12·2020-07-15 06:38

交叉熵

文章转自：https://blog.csdn.net/tsyccnh/article/details/79163834关于交叉熵在loss函数中使用的理解交叉熵（crossentropy）是深度学习中常用的一个概念
yanzhelee·2020-07-15 00:36

TensorFlow计算loss值大小，tf.nn.softmax_cross_entropy_with_logits的用法

在计算loss的时候，最常见的一句话就是tf.nn.softmax_cross_entropy_with_logits，那么它到底是怎么做的呢？
tumi678·2020-07-14 23:58

Fast(er) rcnn的损失函数总结

因此损失函数必定是多任务的：其中分类任务还是我们常用的对数损失，对数损失,即对数似然损失(Log-likelihoodLoss),也称逻辑斯谛回归损失(LogisticLoss)或交叉熵损失(cross-entropyLoss
恋蛩音·2020-07-14 16:23

《Automatic Proofreading in Chinese: Detect and Correct Spelling Errors in Character-level》baseline实现

基础知识&原理MEM(MaximumEntropyMethod),即最大熵模型平滑算法解释：平滑算法具体分差值(Interpolation)和回退(backoff)这两个思想Katzsmoothing实现对
QiufengWang424·2020-07-14 11:30

单层NN中使用adam算法

784,10]))b=tf.Variable(tf.zeros([10]))y=tf.matmul(x,W)+by_=tf.placeholder(tf.float32,[None,10])cross_entropy
律动的时间线·2020-07-14 04:49

深度学习基础之-1.5交叉熵损失函数

交叉熵交叉熵（CrossEntropy）是Shannon信息论中一个重要概念，主要用于度量两个概率分布间的差异性信息。
SusanLovesTech·2020-07-13 20:26
上一页 33 34 35 36 37 38 39 40 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他