交叉熵

标签平滑(label smoothing)

当目标函数为交叉熵时，这一思想有非常简单的实现，称为标签平滑（LabelSmoothing）。我们以2类分
InceptionZ·2020-05-30 09:48

阶梯网络与特征解耦

  最近遇到个阶梯网络，利用标签从样本中提取“干净”的任务相关信息和样本中与任务无关的“噪声”信息，如果任务是分类，那么提取任务相关信息就是利用交叉熵损失来实现，而无关信息只能利用样本自身所带有的信息，
jiangweijie1981·2020-05-04 00:15

将“softmax+交叉熵”推广到多标签分类问题

©PaperWeekly原创·作者｜苏剑林单位｜追一科技研究方向｜NLP、神经网络一般来说，在处理常规的多分类问题时，我们会在模型的最后用一个全连接层输出每个类的分数，然后用softmax激活并用交叉熵作为损失函数
PaperWeekly·2020-05-01 13:55

模型压缩（二）：知识蒸馏

学生模型多任务，与老师的softtarget的loss是kl散度，真实label的loss是交叉熵。比赛中用模型融合，但是实际中不能用多个模型，但是学生模型可
夕一啊·2020-04-29 21:28

自己动手实现深度学习框架-4 使用交叉熵损失函数支持分类任务

代码仓库:https://github.com/brandonlyg/cute-dl目标增加交叉熵损失函数，使框架能够支持分类任务的模型。
自带buff·2020-04-21 17:00

神经网络基础：从一个线性模型说起

神经网络基础：从一个线性模型说起1.从一个线性模型说起1.1一个通用的模式识别流程1.2一个线性分类器1.3softmax函数2.损失函数2.1one-hot编码2.2交叉熵损失函数Cross-EntropyLoss2.2
stdcoutzrh·2020-04-19 15:23

直觉模糊交叉熵、线性规划及matlab应用

在上一篇“直觉模糊交叉熵、灰关联度系数及matlab应用”中，假设权重未知可以使用直觉模糊熵构造的权重，如果已知部分权重信息，则可以使用线性规划的方法计算权重。
计量小虫·2020-04-16 14:34

直觉模糊交叉熵、灰关联度系数及matlab应用

一、定义由性质(2)可以看出，当两个直觉模糊集完全相等的时候，直觉模糊交叉熵最小，所以交叉熵可以用来度量两个直觉模糊集之间的差异程度或距离；而性质(5)则为直觉模糊交叉熵距离的大小比较提供了充足依据。
计量小虫·2020-04-16 14:20

Neural Network and Deep Learning读书笔记-Chap3

提升学习速率交叉熵损失函数的好处：损失函数对权重的偏导中不包含sigma的导数项（可抵消），所以不会引起学习速度过慢的问题神经元的饱和问题：当z（也就是神经元的加权输入和）接近0或者1的时候，sigma_prime
xx2bblol·2020-04-14 06:26

tensorflow之mnist实例--用简单的神经网络来训练和测试

BP_Mnist.ipynbcross_entropy=tf.reduce_mean(-tf.reduce_sum(y_actual*tf.log(y_predict),reduction_indies=1))#求交叉熵报错
EchoIR·2020-04-12 16:14

《深度学习Ng》课程学习笔记01week2——神经网络基础

2.2logistic回归2.3logistic回归损失函数这里给出的是交叉熵损失函数：2.4梯度下降法为了最小化代价函数，找到w,b的最优解对代价函数对w，b求导，再根据学习率，更
小爷Souljoy·2020-04-12 03:41

二分类与多分类的交叉熵损失函数

序交叉熵损失是分类任务中的常用损失函数，但是是否注意到二分类与多分类情况下的交叉熵形式上的不同呢？本次记录一下二者的不同。两种形式这两个都是交叉熵损失函数，但是看起来长的却有天壤之别。
0过把火0·2020-04-12 03:40

损失函数汇总和Pytorch代码示例

一.交叉熵损失1.交叉熵是一个信息论中的概念，它原来是用来估算平均编码长度的。
761527200·2020-04-07 15:54

交叉熵的含义以及为什么可以用作损失函数

H(p,q)我们称之为“交叉熵”。
logic_wei·2020-04-07 12:43

交叉熵

一、信息量交叉熵是信息论中的概念，了解信息熵的本质，需要先了解信息在生活中，我们常常听到说“xxxx事情信息量很大”。从言语中我们能分析出这件事情可能是爆炸性的新闻。
陈道乐·2020-04-04 20:13

【NLP面试QA】激活函数与损失函数

目录Sigmoid函数的优缺点是什么ReLU的优缺点什么是交叉熵为什么分类问题的损失函数为交叉熵而不能是MSE？
西多士NLP·2020-04-04 11:00

为什么交叉熵可以作为机器学习的损失函数

先简单了解信息论中信息量和信息熵的概念，再通过信息熵引出相对熵（KL散度）和交叉熵，并说明为什么交叉熵可以用于机器学习中分类任务的损失函数。
mrhalyang·2020-04-02 05:45

神经网络：损失函数详解

http://blog.csdn.net/google19890102/article/details/50522945交叉熵代价函数（Cross-entropycostfunction）是用来衡量人工神经网络
nightwish夜愿·2020-04-01 07:20

LR为什么用极大似然估计，损失函数为什么是log损失函数（交叉熵）

https://www.cnblogs.com/stAr-1/p/9020537.htmlimage.png为什么不用平方损失函数？如果使用平方损失函数，梯度更新的速度会和sigmod函数的梯度相关，sigmod函数在定义域内的梯度都不大于0.25，导致训练速度会非常慢。平方损失会导致损失函数是的非凸函数，不利于求解，因为非凸函数存在很多局部最优解，很难得到全局最优解。LR损失函数为什么用极大似然
小幸运Q·2020-03-30 11:49

最大熵模型

本篇笔记主要介绍熵、联合熵、条件熵、互信息、相对熵（KL散度）和交叉熵。这里先给出个Venn图，后面会用到，
吴金君·2020-03-27 15:22

信息论和数理统计——机器学习基础

目录一、信息论熵信源信息量信息熵条件熵信息增益信息增益比相对熵交叉熵最大熵原理二、数理统计与概率论的区别统计推断方式一：参数估计统计推断方式二：假设检验一、信息论信息论处理的是客观世界中的不确定性。
雪山飞猪·2020-03-26 21:00

TF04_1交叉熵代价函数

第一个问题主要是训练过程中梯度太小导致的；解决方法是寻找合适的激活函数、代价函数或Optimizer第二个问题则是参数过多而训练数据太少导致的；解决方法之一是使用dropout1、交叉熵代价函数1.1使用二次代价函数存在的问题二次代价函数其中
mayi14·2020-03-24 12:53

交叉熵损失函数

转自简单的交叉熵损失函数，你真的懂了吗？说起交叉熵损失函数「CrossEntropyLoss」，脑海中立马浮现出它的公式：交叉熵函数我们已经对这个交叉熵函数非常熟悉，大多数情况下都是直接拿来使用就好。
井底蛙蛙呱呱呱·2020-03-23 01:50

深度学习基础回顾

献给莹莹一.损失函数1.BECloss二分类用的交叉熵，用的时候需要在该层前面加上Sigmoid函数。因为离散版的交叉熵定义是其中p,q都是向量，且都是概率分布。
Yankee_13·2020-03-20 14:47

为什么交叉熵（cross-entropy）可以用于计算代价

https://www.zhihu.com/question/65288314知乎上第一条和第二条回答的不错在利用深度学习模型解决有监督问题时，比如分类、回归、去噪等，我们一般的思路如下：信息流forwardpropagation，直到输出端；定义损失函数L(x,y|theta)；误差信号backpropagation。采用数学理论中的“链式法则”，求L(x,y|theta)关于参数theta的梯
只为此心无垠·2020-03-20 11:41

信息熵、交叉熵、相对熵

1信息熵信息熵代表的是随机变量或整个系统的不确定性，熵越大，随机变量或系统的不确定性就越大。1.1举例题目1：爸爸拿来一个箱子，跟小明说：里面有橙、紫、蓝及青四种颜色的小球任意个，各颜色小球的占比不清楚，现在我从中拿出一个小球，你猜我手中的小球是什么颜色？小明思路：在这种情况下，小明什么信息都不知道，只能认为四种颜色的小球出现的概率是一样的。所以，根据策略1，1/4概率是橙色球，小明需要猜两次，1
0过把火0·2020-03-20 07:42

各种 熵，信息 等概念

详细解释交叉熵！为什么sigmoid单元激活后面要用交叉熵而不用MSE。http://blog.csdn.net/u01
Dorts·2020-03-20 06:44

机器学习面试问题集（2018-3-13更新）

http://blog.csdn.net/u011239443/article/details/763602941基础概念1.1熵、联合熵、条件熵、交叉熵与相对熵的意义？1.2归一化方法？
小爷Souljoy·2020-03-19 23:09

机器学习中的信息熵，交叉熵，相对熵（KL散度是什么），基尼不纯度

其实信息熵在机器学习的应用比较广泛，包括评价指标，树模型的分叉等，那信息熵，交叉熵，相对熵又分别是什么呢。信息熵：熵最好理解为不确定性的量度而不是确定性的量度，因为越随机的信源的熵越
数据小新手·2020-03-16 00:31

PyTorch损失函数 torch.nn.CrossEntropyLoss()

交叉熵损失函数，主要是用来判定实际的输出与期望的输出的接近程度。一般的交叉熵损失函数的公式为：其中，p为标签值，q为预测值。
qq_29631521·2020-03-14 10:42

tensorflow代码全解析 -3- seq2seq 自动生成文本

基本工作流程如下：序列A中的每一个单词通过word_embedding操作以后，作为input进seq2seq入模型，模型生成同样维度的序列A_out训练的时候，模型的输出序列A_out与序列B之间的交叉熵作为模型的目标函数
zy_now·2020-03-14 10:26

关于语言模型的一些新理解

语言模型的评价目标:语言模型的计算的概率分布能够与真实的理想模型的概率分布可以相接近(这一点其实是比较困难的,但是这是我们一直追求的目标)2:困难:无法知道语言模型的理想模型的真实分布3:常用的几个指标;交叉熵
云时之间·2020-03-12 22:49

TensorFlow从0到1 - 16 - L2正则化对抗“过拟合”

TensorFlow从0到1系列回顾前面的14交叉熵损失函数——防止学习缓慢和15重新思考神经网络初始化从学习缓慢问题入手，尝试改进神经网络的学习。
黑猿大叔·2020-03-12 07:37

信息熵、条件熵、联合熵、互信息、相对熵、交叉熵

信息熵、联合熵、条件熵、互信息的关系1、信息量信息量是通过概率来定义的：如果一件事情的概率很低，那么它的信息量就很大；反之，如果一件事情的概率很高，它的信息量就很低。简而言之，概率小的事件信息量大，因此信息量可以定义如下：下面解释为什么要取倒数再去对数。（1）先取倒数：这件事表示：“信息量”和“概率”呈反比；（2）在取对数：取对数是为了将区间映射到。再总结一下：2、信息熵信息熵是信息量的数学期望。
李威威·2020-03-08 19:48

交叉熵的理解

损失函数交叉熵的公式如下，其中P(x)为真实分布，Q(x)为预测分布，x为随机变量:!
kelseyh·2020-03-08 17:27

1-2 神经网络基础

m组训练样本的集合：把m组训练样本合并，形成训练矩阵：2.logistic回归给定输入x，输出结果y^，其中：y^的计算公式如下：3.损失函数的表达Lossfunction：一组训练样本的损失（下图为交叉熵损失
温素年·2020-03-07 20:56

编程基础教程

入门练手TensorFlow-From-Zero-To-One100个python练手题为什么交叉熵（cross-entropy）可以用于计算代价？
EdwardMa·2020-03-07 04:23

两张图像的交叉熵（cross entropy）

functionf=CERF(h1,h2)%CERFreturnCERF(交叉熵)求两图像的交叉熵%inputmustbeaimagehandle输入图像句柄%imagefusionevaluateparameter
Persistently·2020-03-04 02:57

Pytorch实现Deep Mutual Learning网络

交叉熵和相对熵(KL散度),极大似然估计求loss,softmax多分类一文搞懂熵、相对熵、交叉熵损失classtorch.nn.KLDivLoss(size_average=True,reduce=True
茗君（Major_s）·2020-03-03 03:42

交叉熵和softmax函数和sigmoid函数

1.softmax假设在进入softmax函数之前，已经有模型输出CCC值，其中CCC是要预测的类别数，模型可以是全连接网络的输出aaa，其输出个数为CCC，即输出为a1,a2,...,aCa_1,a_2,...,a_Ca1,a2,...,aC所以对每个样本，它属于类别iii的概率为：yi=eai∑k=1Ceak∀i∈1…Cy_{i}=\frac{e^{a_{i}}}{\sum_{k=1}^{C}
orangerfun·2020-03-02 15:00

交叉熵

鸣谢：https://blog.csdn.net/tsyccnh/article/details/79163834图片.png什么是熵？X是一个离散型随机变量，其取值集合为X，可以理解为，一个事件发生的概率越大，则它所携带的信息量就越小，而当p(x0)=1时，熵将等于0，也就是说该事件的发生不会导致任何信息量的增加。熵的定义：X的熵定义为：例：HA(x)=−[p(xA)log(p(xA))+(1−
小幸运Q·2020-03-01 02:31

tf.nn.softmax_cross_entropy_with_logits

交叉熵损失函数为什么要用交叉熵损失函数?
cb_guo·2020-02-28 23:56

深度学习（一） cross-entropy和sofrmax

为此神经网络引入交叉熵代价函数cross-entropy函数弥补sigmoid型函数的导数形式易发生饱和
静默zzzz·2020-02-28 06:34

机器学习中的交叉熵

交叉熵公式p和q是两个概率分布。其中xi是取值的可能，在机器学习中，xi为样本的某一个类别的可能，n为类标的数量。p(xi)为样本取值为xi的真实概率，q(xi)表示样本取值为xi的预测概率。
Jeffery_李俊峰·2020-02-27 20:22

详解机器学习损失函数之交叉熵

我在看paper的时候发现对于交叉熵的理解又有些遗忘，复习了一下之后，又有了一些新的认识。故写下本文和大家分享。
TechFlow2019·2020-02-26 09:00

二次代价函数、交叉熵(cross-entropy)、对数似然代价函数（log-likelihood cost）(04-1)

二次代价函数$C=\frac{1}{2n}\sum_{x_1,...x_n}\|y(x)-a^L(x)\|^2$其中，C表示代价函数，x表示样本，y表示实际值，a表示输出值，n表示样本的总数；整个的意思就是把n个y-a的平方累加起来，再除以2求一下均值。为简单起见，先看下一个样本的情况，此时二次代价函数为：$C=\frac{(y-a)^2}{2}$$a=\sigma(z),z=\sumw_j*x_
wsg_fun·2020-02-23 00:00

损失函数

1、交叉熵p是数据的真实概率分布，q是由数据计算得到的概率分布。机器学习的目的就是希望q尽可能地逼近甚至等于p，从而使得相对熵接近最小值0。
溪奇·2020-02-22 12:29

交叉熵

作者：NorikoOshima链接：https://www.zhihu.com/question/41252833/answer/108777563来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。熵的本质是香农信息量()的期望。现有关于样本集的2个概率分布p和q，其中p为真实分布，q非真实分布。按照真实分布p来衡量识别一个样本的所需要的编码长度的期望(即平均编码长度)
jjkke88·2020-02-21 20:25

多层神经网络，从零开始——（八）、分类问题中为什么使用交叉熵作为损失函数

“ThereweremanyatBellLabsandMITwhocomparedShannon’sinsighttoEinstein’s.Othersfoundthatcomparisonunfair—unfairtoShannon.”“贝尔实验室和MIT有很多人将香农和爱因斯坦相提并论，而其他人则认为这种对比是不公平的——对香农不公平。”前言将熵这个概念用于信息是一位天才的杰作，作为信息论的创
忆霜晨·2020-02-21 02:56

pytorch【损失函数模块】一、损失函数之一

一、什么是损失函数1.nn.CrossEntropyLoss（非真正交叉熵损失）2.nn.NLLLoss（只是求了一个负）3.nn.BCELoss（真正的交叉熵损失）4.nn.BCEWithLogitsLoss
米线织毛衣·2020-02-20 21:38
上一页 45 46 47 48 49 50 51 52 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他