最大熵

数学之美~阅读

数学之美目录数学之美目录统计语言模型谈谈中文分词隐马尔科夫在语言处理中的应用怎样度量信息布尔代数和搜索引擎的索引图论和网络爬虫信息论在信息处理中的应用贾里尼克的故事和现代语言处理如何确定网页和查询的相关性有限状态机和地址识别Google的阿卡47制造者阿米特辛格博士余弦定理和新闻分类信息指纹及其应用谈谈数学模型的重要性繁与简自然语言处理的几位精英不要把所有的鸡蛋放到一个篮子里最大熵模型矩阵运算和文
walkeao·2017-12-15 18:02

【图像处理与分析】图像分割方法总结

这种方法是只考虑像素值不考虑空间特征的，例如峰谷法、最大熵分割法。如下是一维最大熵分割法实现。最大熵原理：只掌握关于未知分布的部分知识时，应选取符合这些知识的但是熵值最大的概率分布。
miss0_RSDIP·2017-12-15 11:24

机器学习总结(二)——逻辑斯谛回归和最大熵模型

一、逻辑斯谛回归1.逻辑斯蒂回归的优缺点优点：计算代价不高，易于理解和实现，且若采用随机梯度上升法可以在线学习；速度快，存储资源低。缺点：可能容易欠拟合，分类精度不高，这个可能是因为我们无法找到足够的特征。只能处理两类分类问题，且必须是线性可分的；（在此基础上衍生出来的softmax可以用于多分类）2.与其它的分类算法比较直接用线性回归做分类因为考虑到了所有样本点到分类决策面的距离，所以在两类数据
manong_wxd·2017-12-07 20:38

逻辑斯蒂回归与最大熵模型初探

逻辑斯蒂回归逻辑斯蒂回归（logisticregression）是统计学习中的经典分类方法，它属于一种对数线性模型（转化为对数形式后可转化为线性模型）从概率角度看，逻辑斯蒂回归本质上是给定特征条件下的类别条件概率0x2：最大熵准则最大熵模型的原则
郑瀚Andrew.Hann·2017-12-05 22:00

逻辑斯谛回归与最大熵模型logistic regression/maximum entropy model

本文是《统计学习方法》李航著学习笔记。为了叙述方便，将logisticregressionmode简称LR，maximumentropymode简称ME。LR和ME都是判别模型，即将预测实例点分配到“条件概率分布”最大的类中。下述讨论会着重于LR模型和ME模型的学习过程。逻辑斯谛函数：l(x)=11+e−(x−μ)/γ，μ为位置参数，γ>0为形状参数l(x)=\frac{1}{1+e^{-(
Young_win·2017-10-02 22:07

算法工程师面试

SVM，LR，softmax，Kmeans，DBSCAN，决策树（CART，ID3，C45），GBDT，RF，Adaboost，xgboost，EM，BP神经网络，朴素贝叶斯，LDA，PCA，核函数，最大熵等深度学习
HappyAngel19921027·2017-09-17 13:18

机器学习笔试题目

生成式模型：HMM、朴素贝叶斯判别式模型：svm、最大熵模型、决策树、神经网络、条件随机场。2、Android的intent都可以传递那些数据类型？
看穿数据之美·2017-09-17 08:26

Arxiv网络科学论文摘要11篇(2017-09-15)

从节点嵌入到社区嵌入;通过最大熵减轻复杂交通网络中的拥塞;网络分类与归类;重新生成社区模型的谱图聚类;基于图表示学习方法的框架;扩展corona积作为加权异构网络的完美解决模型;关于潜在人口博弈的模仿动态
ComplexLY·2017-09-15 09:08

最大熵阈值分割法

你现在有的信息仅仅是P1+P2=1而已，按最大熵的思想，既
qq_27668313·2017-09-12 20:11

《统计学习方法》笔记二

逻辑回归与最大墒逻辑回归logistic分布logistic回归模型逻辑回归中输出是输出的线性函数多项logistic回归最大墒模型最大墒模型的最优化函数拉格朗日转化最大化过程的等价于最大熵模型的极大似然估计最优化算法
TheOneAc1·2017-09-10 16:09

python实现最大熵模型

#encoding:utf-8'''Createdon2017-8-7根据李航>实现'''fromcollectionsimportdefaultdictimportmathclassMaxEnt(object):def__init__(self):self.feats=defaultdict(int)self.trainset=[]self.labels=set()defload_data(se
adzhua·2017-08-08 09:28

马尔科夫与隐马尔可夫总结

http://www.cnblogs.com/skyme/p/4651331.htmlCRF，HMM(隐马模型)，MEMM(最大熵隐马模型)都常用来做序
chonghlyln·2017-08-04 08:32

逻辑回归与最大熵模型

转自微信公众号：机器学习算法与Python学习以及统计学习方法Logistic回归逻辑回归是用来分类的，是一种线性分类器，需要注意的地方有：1.Logistic函数的表达式：其导数形式为2.logsitc回归方法主要是用最大似然估计来学习的，所以单个样本的后验概率为：到整个样本的后验概率：其中：可通过对数进一步简化：3.其实它的lossfunction为-l(θ)，因此我们需使lossfuncti
士多啤梨苹果橙_cc15·2017-08-02 17:42

nltk主要应用总结

nltk.collocationst-检验，卡方，点互信息PMI词性标识符nltk.tagn-gram，backoff，Brill，HMM，TnT分类nltk.classify,nltk.cluster决策树，最大熵
chonghlyln·2017-07-27 15:23

最大熵模型中的数学推导

注：此文非本人所写，来源于http://blog.csdn.net/u014114990/article/details/47808183仅供自己学习参考，其中问题还有待验证，如果对文章著作权有任何问题，联系本人，本人将立即删除0引言写完SVM之后，一直想继续写机器学习的系列，无奈一直时间不稳定且对各个模型算法的理解尚不够，所以导致迟迟未动笔。无独有偶，重写KMP得益于今年4月个人组织的算法班，而
无良笔记·2017-07-20 10:08

最大熵原理

最大熵原理近期在学习信息论，看到了最大熵原理。关于最大熵原理，之前有所了解，也知道它在信息论中的一些基本应用和推论。最近我定量地学习了最大熵原理并结合热力学问题加深了理解。
pku_zzy·2017-06-26 16:17

机器学习笔试题目

生成式模型：HMM、朴素贝叶斯判别式模型：SVM、最大熵模型、神经网络、决策树、条件随机场2、EM算法的基本概念和应用场景？
忧郁一休·2017-05-18 22:16

［每日问答］生成方法和判别方法有什么区别？

典型的判别模型包括：kNN，感知机，决策树，LR，最大熵模型，支持向量机，提升方法和条件随机场等。在监督学
七月知上·2017-05-16 10:22

逻辑斯蒂回归,最大熵模型及其等价性

首先推导二类分类训练集上的逻辑斯蒂回归模型(LogisticRegression),然后推导最大熵模型(MaximumEntropyModel),最后给出给出最大熵模型等价于逻辑斯蒂回归模型的条件.1.
RobotX900·2017-05-07 23:38

熵模型—— 熵，条件熵，联合熵，相对熵，互信息及其关系，最大熵模型。。

引入1：随机变量函数的分布给定X的概率密度函数为fX(x),若Y=aX,a是某正实数，求Y得概率密度函数fY(y).解：令X的累积概率为FX(x),Y的累积概率为FY(y).则FY(y)=P(Y=0,D(q||p)>=0.那么，我们应该使用D(p||q)还是D(q||p)呢？假定已知随机变量P，求一个随机变量Q，使得Q尽量接近于P，这样我们可以使用P和Q的K-L来度量他们的距离。假定使用KL(Q|
aizenggege·2017-04-15 10:48

CRF 理解

它在观测序列的基础上对目标序列进行建模．重点解决序列化标注的问题，条件随机场的模型既具有判别式模型的优点，又具有产生式模型考虑到上下文标记时间的转移概率，以序列化形式进行全局参数优化和解码的特点，解决了其他判别式模型（如最大熵马尔可夫模型
godotlee·2017-03-26 15:55

Arxiv网络科学论文摘要19篇(2017-03-14)

在路径和时间网络中的多阶图模型选择;复杂网络中的最大熵采样;拮抗作用还通过转发流动：中外语言行为对观点的影响极化分析;在线搜索
ComplexLY·2017-03-14 10:28

统计学相关（网易公开课笔记）

机器学习算法要学习数据挖掘十大算法抽时间学习一下Hadoop集群性能测试，测试一下集群性能决策树模型逻辑斯蒂回归采用了极大似然估计估计模型参数最大熵模型使用连续变量的最大熵模型的公式会简单许多连续变量的熵
GodsLeft·2017-02-26 21:25

以字分词最大熵模型

http://www.voidcn.com/blog/u010189459/article/p-3147283.htmlhttp://blog.csdn.net/on_1y/article/details/9769919
我想我可以更强·2017-01-27 19:49

如何从零起步学习AI

在一直想继续写但每每错不开时间的反复纠结中，于14年年底终于腾出时间，又开始写最大熵、adaboost、聚类、贝叶斯、LDA等模型的学习笔记。
v_JULY_v·2017-01-15 13:56

机器学习笔记（二十）——求解最大熵模型

一、问题的引出最大熵模型的学习过程就是求解最大熵模型的过程。最大熵模型的学习可以形式化为约束最优化问题。
_Kevin_Duan_·2016-12-11 18:32

机器学习笔记（十九）——最大熵原理和模型定义

一、最大熵原理最大熵原理是概率模型学习的一个准则。最大熵原理认为，在学习概率模型时，在所有可能的概率分布中，熵最大的模型是最好的模型。
_Kevin_Duan_·2016-11-27 18:13

Python机器学习库scikit-learn实践

原文链接：https://my.oschina.net/ZoeyZhong/blog/789229一、概述线性逻辑回归、朴素贝叶斯、最大熵等训练和预测的效率比较高，但最终效果对特征的依赖程度较高，需要数据在特征层面上是线性可分的
chuanjiang9220·2016-11-16 17:00

约束最优化问题求解：拉格朗日乘子法和KKT条件

该方法应用在许多统计学习方法中，例如最大熵模型和支持向量机。
DawnRanger·2016-11-11 21:43

约束最优化问题求解：拉格朗日乘子法和KKT条件

该方法应用在许多统计学习方法中，例如最大熵模型和支持向量机。
DawnRanger·2016-11-11 21:43

最大熵模型The Maximum Entropy：学习

http://blog.csdn.net/pipisorry/article/details/52791036最大熵模型的学习最大熵模型具体形式的推导+参数w的学习。
-柚子皮-·2016-10-11 20:31

最大熵模型The Maximum Entropy：模型

http://blog.csdn.net/pipisorry/article/details/52789149最大熵模型相关的基础知识[概率论：基本概念CDF、PDF]熵定义为：[信息论：熵与互信息][
-柚子皮-·2016-10-11 17:52

图像分割有哪些方法

直方图门限分割就是在一定的准则下，用一个或几个门限值将图像的灰度直方图（一维的或多维的）分成几个类，认为图像中灰度值在同一个灰度类内的象素属于同一个物体，可以采用的准则包括直方图的谷底、最小类内方差（或最大类间方差）、最大熵
xcymorningsun·2016-09-27 20:00

斯坦福大学深度学习笔记：神经网络

神经网络算法在八十到九十年代被广泛使用过，20世纪90年代，各种各样的浅层机器学习模型相继被提出，例如支撑向量机（SVM，SupportVectorMachines）、Boosting、最大熵方法（如LR
imudges_Zy·2016-07-25 17:23

李航《统计学习方法》第二章——用Python实现感知器模型（MNIST数据集）

李航《统计学习方法》第五章——用Python实现决策树（MNIST数据集）李航《统计学习方法》第六章——用Python实现逻辑斯谛回归（MNIST数据集）李航《统计学习方法》第六章——用Python实现最大熵模型
wds2006sdo·2016-07-16 11:18

信息论、最大熵模型

七月在线4月机器学习算法班课程笔记——No.81.统计学习基础回顾1.1先验概率与后验概率先验概率：根据以往经验和分析得到的概率，如全概率公式，它往往作为”由因求果”问题中的”因”出现。后验概率：依据得到”结果”信息所计算出的最有可能是那种事件发生，如贝叶斯公式中的，是”执果寻因”问题中的”因”。后验概率可以根据通过贝叶斯公式，用先验概率和似然函数计算出来。贝叶斯定理：假设B1,B2,...,Bn
心潇瑶·2016-06-16 15:42

信息论、最大熵模型

七月在线4月机器学习算法班课程笔记——No.8 1.统计学习基础回顾1.1先验概率与后验概率先验概率：根据以往经验和分析得到的概率，如全概率公式，它往往作为”由因求果”问题中的”因”出现。后验概率：依据得到”结果”信息所计算出的最有可能是那种事件发生，如贝叶斯公式中的，是”执果寻因”问题中的”因”。后验概率可以根据通过贝叶斯公式，用先验概率和似然函数计算出来。贝叶斯定理：假设B1,B2,...,B
JoyceWYJ·2016-06-16 15:00

利用最大熵进行阈值分割从而实现灰度图像的二值化的原理概要及OpenCV代码

详细的数学原理目前我也没搞明白，所以只说下原理概要：图像进行二值化的过程中，显然是需要一个阈值的，这个阈值取多少？前面已经有一种通过像素领域动态确定每个像点点阈值的方法详情可见我的博文http://blog.csdn.net/wenhao_ir/article/details/51565517 这篇博文要求解的阈值具有这样的特点：图像用此阈值进行二值化后，整幅图像的熵值是最大的，所谓熵值最大，就是
wenhao_ir·2016-06-14 13:00

机器学习之数学知识

v_july_v/article/details/6684636数据挖掘中所需的概率论与数理统计知识http://blog.csdn.net/v_july_v/article/details/8308762最大熵模型中的数学推导
明星程序员之魔者侠情·2016-05-31 14:00

信息论

熵(信息论)https://zh.wikipedia.org/zh-cn/%E7%86%B5_(%E4%BF%A1%E6%81%AF%E8%AE%BA)最大熵模型中的数学推导http://blog.csdn.net
明星程序员之魔者侠情·2016-05-31 09:00

深度学习在文本分类中的应用

引言文本分类这个在NLP领域是一个很普通而应用很广的课题，而且已经有了相当多的研究成果，比如应用很广泛的基于规则特征的SVM分类器，以及加上朴素贝叶斯方法的SVM分类器，当然还有最大熵分类器、基于条件随机场来构建依赖树的分类方法
u010223750·2016-05-17 20:00

图像基本变换---图像二值化(包含OSTU/迭代法/统计法/双峰法/P分位法/最大熵法)

OSTU法图像二值化[算法说明]Ostu法又叫做最大类间方差法，是一种常用的图像分割算法。基本算法思想是根据初始阈值把图像分为两类，然后计算两类之间的方差，更新阈值，重新计算类间方差，当满足类间方差最大时的阈值，即为所求最佳阈值，具体过程如下：1，初始化一阈值Th，将图像f(x,y)分为A，B两类；2，分别计算A，B两类像素集合的均值ua和ub，公式如下：其中，Na和Nb分别表示集合A，B中的像素
bravebean·2016-05-11 14:21

图像基本变换---图像二值化(包含OSTU/迭代法/统计法/双峰法/P分位法/最大熵法)

OSTU法图像二值化[算法说明]  Ostu法又叫做最大类间方差法，是一种常用的图像分割算法。基本算法思想是根据初始阈值把图像分为两类，然后计算两类之间的方差，更新阈值，重新计算类间方差，当满足类间方差最大时的阈值，即为所求最佳阈值，具体过程如下：  1，初始化一阈值Th，将图像f(x,y)分为A，B两类；  2，分别计算A，B两类像素集合的均值ua和ub，公式如下：  其中，Na和Nb分别表示集
bravebean·2016-05-11 14:00

初识最大熵原理

最大熵方法就是解决这种问题的一个方法。最大熵原理是有E.T.Jaynes在1957年提出的，其基本思想如下：在只掌握未知部分的部分知识时，我们应该选取符合这些知识并且熵
DM张朋飞·2016-05-08 17:00

最大熵模型中的数学推导

最大熵模型中的数学推导原文来自：http://blog.csdn.net/v_july_v/article/details/405084650引言  写完SVM之后，一直想继续写机器学习的系列，无奈一直时间不稳定且对各个模型算法的理解尚不够
xiangyong58·2016-05-01 14:00

deep learning tutorial(四)Restricted Boltzmann Machines (RBM)

peghoty 产生式模型：用来估计联合概率P(x,y),因此可以根据联合概率来生成样本，如HMM判别式模型：用来估计条件概率P(y|x),因为没有x的知识，无法生成样本，只能判断分类，如SVM,CRF,MEM(最大熵
pmt123456·2016-04-24 14:00

数据挖掘&机器学习

一、数据挖掘&机器学习最大熵学习笔记（零）目录和引言最大熵学习笔记（一）预备知识最大熵学习笔记（二）最大熵原理最大熵学习笔记（三）最大熵模型最大熵学习笔记（四）模型求解最大熵学习笔记（五）最优化算法最大熵学习笔记
qq1175421841·2016-04-22 19:00

最大熵模型介绍及实现

转自：http://www.cnblogs.com/hexinuaa/p/3353479.htmlhttp://blog.csdn.net/hexinuaa/article/details/24711675统计建模方法是用来modeling随机过程行为的。在构造模型时，通常供我们使用的是随机过程的采样，也就是训练数据。这些样本所具有的知识（较少），事实上，不能完整地反映整个随机过程的状态。建模的目
lihaitao000·2016-04-19 19:00

概率模型与条件随机场

概率模型机器学习中的很多模型可以根据概率分布形式分为生成模型和判别模型，其中生成模型以输入输出的联合分布P(X,Y)为基础建模，如朴素贝叶斯、隐马尔可夫模型；判别模型以条件概率分布P(Y|X)为基础建模，如最大熵模型
shijing_0214·2016-04-16 21:00

最大熵模型基础知识

最大熵模型是指在预测结果时，不添加任何主观判断的一种预测模型。
qq_23617681·2016-04-14 18:00
上一页 12 13 14 15 16 17 18 19 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他