交叉熵

解锁lintcode-猫和狗的问题

采用cnn算法，目前准确率做到84.7%，用了几种图像预处理算法和旋转之类的增加训练样本的方法，效果不理想，后继续再改进，有高手欢迎分享源码一块学习2，遇到的一些问题及解决办法：(1)XXXisnan交叉熵计算时出现了梯度爆炸
NBtingwu·2018-04-02 15:15

【机器学习】交叉熵函数的使用及推导

前言说明：本文只讨论Logistic回归的交叉熵，对Softmax回归的交叉熵类似。minist手写数字识别就是用交叉熵作为代价函数。
月亮是蓝色·2018-03-28 12:36

tensorflow中交叉熵系列函数总结

importtensorflowastfimportnumpyasnpsess=tf.InteractiveSession()分类标签用onehot向量表示，1的下标就是类别号。是一个shape=(None,num_classes)向量。这种类别表示法用于函数tf.nn.softmax_cross_entropy_with_logits。labels=np.array([[0,0,1],[0,1,
冰冰火·2018-03-28 11:18

神经网络学习（十二）卷积神经网络与BP算法

首先计算输出层的δLδL:δL=∂C∂aL⊙σ′(zL)(BP1)(BP1)δL=∂C∂aL⊙σ′(zL)注：若输出函数采用softmax函数aLj=ezLj/∑kezLkajL=ezjL/∑kezkL，则对应的交叉熵函数选择
oio328Loio·2018-03-26 22:52

理解熵(信息熵,交叉熵,相对熵)

2）交叉熵：编码方案不一定完美时（由于对概率分布的估计不一定正确），平均编码长度的是多少。平均编码长度=最短平均编码长度+一个增量3）相对熵：编码方案不一定完美时，平均编码长度相对于最小值的增加值。
hellowin4_18th·2018-03-22 13:43

ML中几种常见熵学习笔记

在机器学习中包括各种熵，例如信息熵、条件熵、交叉熵、相对熵、互信息、信息增益等。
chasephd·2018-03-19 20:21

ML中几种常见熵学习笔记

在机器学习中包括各种熵，例如信息熵、条件熵、交叉熵、相对熵、互信息、信息增益等。
chasephd·2018-03-19 20:21

神经网络学习（九）优化方法：规范化

下面是\规范化的的交叉熵代价函数：C=−1n∑xj[y
oio328Loio·2018-03-18 10:37

pytorch CrossEntropyLoss

多分类用的交叉熵损失函数，用这个loss前面不需要加Softmax层。
摇摆的果冻·2018-03-16 22:10

一些琐碎+分不清的知识点

反向传播算法的推导可以看博客：反向传播算法具体推导过程交叉熵其中在softtarget时，用到了raiset
小胖蹄儿·2018-03-14 09:01

卷积神经网络（二）：Softmax损失以及反向传播导数推导

Softmax与交叉熵Softmax函数如下：Pk=eθkx∑dj=0eθjxPk=eθkx∑j=0deθjx其中，Pk对应输出层第k个神经元的输出，也就是预测为第k类的概率,d表示输出层神经元总数其损失函数
Fire_Light_·2018-03-13 16:20

卷积神经网络（二）：Softmax损失以及反向传播导数推导

Softmax与交叉熵Softmax函数如下：Pk=eθkx∑dj=0eθjxPk=eθkx∑j=0deθjx其中，Pk对应输出层第k个神经元的输出，也就是预测为第k类的概率,d表示输出层神经元总数其损失函数
Fire_Light_·2018-03-13 16:20

tensorflow实现softma识别MNIST

误差函数与线性回归不同，这里因为是多分类问题，所以使用了交叉熵。另外，有一点值得
freedom098·2018-03-12 15:37

softmax函数和交叉熵损失函数的理解

Softmax函数背景与定义导数softmax的计算与数值稳定性Lossfunction对数似然函数交叉熵Lossfunction求导TensorFlow方法1手动实现不建议使用方法2使用tfnnsoftmax_cross_entropy_with_logits
学习_forever_go·2018-03-09 10:09

tf中交叉熵计算

tf中交叉熵计算标签（空格分隔）：tensorflowhttps://zhuanlan.zhihu.com/p/27842203http://blog.csdn.net/taoyanqi8932/article
cotecc·2018-03-06 18:42

深度神经网络（DNN）

DeepNeuralNetworks,DNN）（1）深度学习定义：一类通过多层非线性变换对高复杂性数据建模算法的集合（wikipedia）（2）DNN定义：一种具备至少一个隐藏层的，利用激活函数去线性化，使用交叉熵作损失函数
dreamsfuture·2018-03-04 11:14

优达学城-深度学习笔记（一）

优达学城-深度学习笔记（一）标签：机器学习优达学城-深度学习笔记一一神经网络简介最大似然概率交叉熵Crossentropy1交叉熵代码实现2多类别交叉熵对数几率回归的误差函数costfunction梯度下降代码神经网络
蚍蜉_·2018-02-09 17:50

TensorFlow：实战Google深度学习框架（三）深层神经网络

第四章深层神经网络4.1深度学习与深层神经网络4.1.1线性模型的局限性4.1.2激活函数实现非线性化4.1.3多层网络解决异或问题4.2损失函数4.2.1经典损失函数1.交叉熵（给定两个概率分布ppp
呆呆的猫·2018-02-08 19:33

交叉熵损失（Cross Entropy Loss）计算过程

在机器学习中（特别是分类模型），模型训练时，通常都是使用交叉熵（Cross-Entropy）作为损失进行最小化：CE(p,q)=−∑i=1Cpilog(qi)CE(p,q)=−∑i=1Cpilog(qi
加勒比海鲜·2018-02-04 02:51

深度学习: Softmax 函数

可转换为交叉熵误差(CE)。Softmax将向量等比例压缩到[0,1]之间，且保证所有元素之和为1。
JNingWei·2018-02-01 18:44

一文搞懂交叉熵在机器学习中的使用，透彻理解交叉熵背后的直觉

关于交叉熵在loss函数中使用的理解交叉熵（crossentropy）是深度学习中常用的一个概念，一般用来求目标与预测值之间的差距。
史丹利复合田·2018-01-25 16:50

Tensorflow解决MNIST手写体数字识别

首先这个示例应用了几个基本的方法：使用随机梯度下降（batch）使用Relu激活函数去线性化使用正则化避免过拟合使用带指数衰减的学习率使用滑动平均模型来使模型更健壮使用交叉熵损失函数来刻画预测值和真实值之间的差距的损失函数
lilong117194·2018-01-25 15:47

机器学习习题(13)

A.卡方B.信息增益C.平均互信息D.期望交叉熵E.以上都有参考答案：E解析：特征选择是机器学习框架中的比较重要的一环，可以说是仅次于模型选择。
刘炫320·2018-01-23 10:37

Softmax 以及 交叉熵损失函数 的求导

Ouputlayer&代价函数网络结构Outputlater有K个神经元，有K个输入和输出。为了分别标记输入和输出，用ai∈[1,K]来表示Outputlayer的输入数据，yj∈[1,K]来表示Outputlayer输出点数据。每个输入数据ai∈[1,K]和隐藏层的H个块之间是全连接的。输入和输出数据每个Outputlayer层的输入数据是ai=∑Hh=1whibh。当使用softmax输出函数
abeldeng·2018-01-19 15:06

BP算法推导-softmax层+交叉熵(logloss)

另外，一致沿用的损失函数都是均方误差，所以借这个机会也讲解下当损失函数是交叉熵时候的推导情况。引言：本文打算在RNN训练与BP算法文章的基础，将最后一层输出层改成
kingsam_·2018-01-17 17:14

基于交叉熵损失函数的山鸢尾二分类问题

利用花瓣长度和花瓣宽度的特征在山鸢尾和其他物种间拟合一条曲线，可视化分类结果。代码如下：fromsklearnimportdatasetssess=tf.Session()iris=datasets.load_iris()binary_target=np.array([1.if(x==0)else(0.)forxiniris.target])iris_2d=np.array([[x[2],x[3]
Artemis_Wang·2018-01-17 14:02

TensorFlow函数：tf.where

前言最近在研究FocalLoss的Keras实现过程中，由于要实现类似交叉熵的函数，需要将label图像中class=1和class=0的位置拿出来，以寻找在该位置对应的CNN预测值。
Atomwh·2018-01-12 21:13

机器学习之CTR预估评价指标

交叉熵KL散度(相对熵)上式中代表观察样本的真实分布概率，代表对观察样本的一种近似分布。那么KL散度描述的就是当用
dangzhileiqaz·2018-01-12 17:23

论文笔记-损失函数之SSIM

在深度学习中，如果是分类问题，则可以用交叉熵，softmax,SVM等损失函数。如果是回归问题，则代价函数普遍采用L2，或者L1。由于L2（即用真值和预测值的欧氏距离）是一个非凸形式且可导。。
一只飞鱼fy·2018-01-10 21:15

神经网络经典损失函数-交叉熵和均方误差

交叉熵（crossentropy）是常用的方法之一，刻画了两个概率分布之间的距离，是分类问题中使用较多的一种损失函数。
gaoyueace·2018-01-10 18:28

吴恩达机器学习-BP神经网络-核心公式推导

相当于课程中的thetahttp://blog.csdn.net/lanchunhui/article/details/50086025（博客名字：BP神经网络——从二次代价函数（Quadraticcost）到交叉熵
自动化小学生·2018-01-10 14:01

Tensorflow学习笔记：基础篇（9）——Mnist手写集完结版（Embedding Visualization）

—今天是我们三层全连接神经网络的最后一篇博文，我们先来回忆一下这一系列我们做了些什么：单层神经网络—>三层神经网络—>交叉熵函数—>Optimizer—>Dropout—>Tensorboard—我们针对这个神经网络
Laurenitum·2018-01-07 12:03

信息熵、交叉熵与相对熵

本文参考了：https://baike.baidu.com/item/%E4%BF%A1%E6%81%AF%E7%86%B5/7302318?fr=aladdinhttp://blog.csdn.net/zb1165048017/article/details/48937135这三个概念广泛用于如nlp等深度学习任务中。TF-IDF等概念，是基于这些基本概念衍生出来的。而这三者有着密不可分的联系。
LucyGill·2018-01-04 09:16

使用交叉熵作为代价函数

二次代价函数（quadraticcost）：其中，C表示代价函数，x表示样本，y表示实际值，a表示输出值，n表示样本的总数。例如：假如我们使用梯度下降法（Gradientdescent）来调整权值参数的大小，权值w和偏置b的梯度推导如下：其中，z表示神经元的输入。w和b的梯度跟激活函数的梯度成正比，激活函数的梯度越大，w和b的大小调整得越快，训练收敛得就越快。假设我们的激活函数是sigmoid函数
kyang624823·2017-12-26 20:18

pytorch函数

pytorch-cn.readthedocs.io/zh/latest/1.nn.CrossEntropyLoss()EXP:loss_func=torch.nn.CrossEntropyLoss()交叉熵
SSurprising·2017-12-26 11:39

caffe 加权交叉熵损失函数层（weighted sigmoid_cross_entropy_loss_layer）添加方法

用卷积神经网络实现边缘检测的论文”Holistically-NestedEdgeDetection”中使用了加权交叉熵损失函数（sigmoid_cross_entropy_loss_layer），因为在边缘检测中正样本
残月飞雪·2017-12-24 13:30

12.13百度实习面试总结－风控体系产品技术部

找实验室师兄内推的简历，投的是部门的算法岗一面项目经历1.写出交叉熵的公式2.问了一些linux的指令(sort)3.问了我之间sentence2vec怎么实现的以及word2vec原理（写公式）wordembedding
Johnson0722·2017-12-24 12:53

为什么在神经网络中要使用交叉熵而不是均方差作为损失函数

https://jamesmccaffrey.wordpress.com/2013/11/05/why-you-should-use-cross-entropy-error-instead-of-classification-error-or-mean-squared-error-for-neural-network-classifier-training/JamesD.McCaffreySoft
Catherine_985·2017-12-12 14:11

人工智能里的数学修炼 | 交叉熵损失函数：从信息说起

交叉熵损失函数被广泛的运用于各种神经网络的训练目标函数，今天我们来深度刨析一番这一函数的优势何在，它又是从何而来？
Liangjun_Feng·2017-12-08 22:05

机器学习中的经验风险，期望风险和结构风险最小化

常见的损失函数有平方误差损失函数，交叉熵损失函数等，在分类任务中一般使用交叉熵损失函数，回归问题中一般使用平方误差损失函数。
河流儿·2017-12-08 00:00

详解softmax与softmax loss的前后向推导及caffe源码实现

而Softmaxloss是基于Softmax的输出，使用多元交叉熵损失函数得到的loss。下面我们来讨论一下他们其中的正向和反向导数推导，以及caffe中的源码实
isMarvellous·2017-12-06 21:27

2线性分类器基本原理-2.3线性分类器之SoftMax和交叉熵损失(Cross-Entropy)

图像分类器模型的整体结构：交叉熵（Cross-Entropy）损失和SoftMaxSVM是最常用的两个分类器之一，而另一个就是Softmax分类器，它的损失函数与SVM损失函数不同。
hongxue8888·2017-12-05 15:43

交叉熵代价函数（作用及公式推导）

m.blog.csdn.net/u014313009/article/details/51043064http://blog.sina.com.cn/s/blog_80ce3a550102wko1.html交叉熵代价函数
LY-林雨·2017-11-29 21:51

交叉熵代价函数定义及其求导推导

则交叉熵代价函数为：其中n是训练数据的总数，求和是在所有的训练输⼊x上进⾏的，y是对应的⽬标输出。表达式是否解决学习缓慢的问题并不明显。实际上，甚⾄将这个定义看做是代价函数也不是显⽽易⻅的！
huangqjduter·2017-11-27 12:05

python实现神经网络

主要提问点写出softmax损失函数代码（python），以及交叉熵损失函数判断和消除过拟合的方法dropout，正则项，还有其他的方法？
谁是我的小超人·2017-11-25 15:52

简单易懂的softmax交叉熵损失函数求导

简单易懂的softmax交叉熵损失函数求导本博客转自：http://m.blog.csdn.net/qian99/article/details/78046329来写一个softmax求导的推导过程，不仅可以给自己理清思路
Allenlzcoder·2017-11-21 13:34

keras - softmax

softmax:有人把它看作一个归一化的工具，通过概率来进行归一化中的值，反正比较简单，过几天再传解释，包括交叉熵。keras：不熟悉的大家可以看中文文档讲得不错，恩恩。然后我的后端是theano。
googler_offer·2017-11-18 17:05

信息熵、交叉熵与相对熵

信息熵编码方案完美时，最短平均编码的长度交叉熵编码方案不一定完美时（由于对概率分布的估计不一定正确），平均编码的长度H(p)是p的信息熵，后者是相对熵相对熵编码方案不一定完美时，平均编码长度相对于最小值的增加值
Goet·2017-11-15 11:49

信息熵、交叉熵与相对熵

信息熵编码方案完美时，最短平均编码的长度交叉熵编码方案不一定完美时（由于对概率分布的估计不一定正确），平均编码的长度H(p)是p的信息熵，后者是相对熵相对熵编码方案不一定完美时，平均编码长度相对于最小值的增加值
Goet·2017-11-15 11:49

交叉熵、相对熵及KL散度通俗理解

u012162613/article/details/44239919本文是《Neuralnetworksanddeeplearning》概览中第三章的一部分，讲machinelearning算法中用得很多的交叉熵代价函数
随心1993·2017-11-14 19:50
上一页 55 56 57 58 59 60 61 62 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他