最大熵

最大熵学习笔记（二）最大熵原理

其实，这里边包含了所谓的最大熵原理（The Maximum Entropy Principle）。
·2015-11-12 17:01

最大熵学习笔记（三）最大熵模型

其实，这里边包含了所谓的最大熵原理（The Maximum Entropy Principle）。
·2015-11-12 17:00

最大熵学习笔记（五）最优化算法

其实，这里边包含了所谓的最大熵原理（The Maximum Entropy Principle）。
·2015-11-12 17:59

最大熵学习笔记（四）模型求解

其实，这里边包含了所谓的最大熵原理（The Maximum Entropy Principle）。
·2015-11-12 17:59

最大熵学习笔记（六）优缺点分析

其实，这里边包含了所谓的最大熵原理（The Maximum Entropy Principle）。
·2015-11-12 17:58

一种利用 Cumulative Penalty 训练 L1 正则 Log-linear 模型的随机梯度下降法

        Log-Linear 模型（也叫做最大熵模型）是 NLP 领域中使用最为广泛的模型之一，其训练常采用最大似然准则，且为防止过拟合，往往在目标函数中加入
·2015-11-12 17:57

无约束最优化一

转：http://www.52nlp.cn/unconstrained-optimization-one 估计有些读者看到这个题目的时候会觉得很数学，和自然语言处理没什么关系，不过如果你听说过最大熵模型
·2015-11-12 16:26

学习笔记——逻辑斯蒂回归与最大熵模型

最大熵是概率模型学习的一个准则，将其推广到分类问题得到最大熵模型（maximumentropy）。都属于对数线性模型。
rubbninja·2015-11-12 16:00

HMM模型

通过前几时断续的学习，发现自己对HMM模型的了解还只停留在皮毛，导致在学习CRF模型并将其与最大熵模型、HMM、MEMM做比较时感觉很吃力，所以又花了两天时间使劲看了遍HMM，发现了解得确实深刻了很多，
·2015-11-12 10:19

统计学习

朴素贝叶斯法实际上学习到生成数据的机制，所以属于生成模型  4.5式子 4.6式子 P50的朴素贝叶斯算法 P51贝叶斯估计 逻辑斯谛回归（logistic regression）与最大熵模型
·2015-11-11 19:10

3月机器学习在线班第六课笔记--信息熵与最大熵模型

原文：https://www.zybuluo.com/frank-shaw/note/108124 信息熵 信息是个很抽象的概念。人们常常说信息很多，或者信息较少，但却很难说清楚信息到底有多少。比如一本五十万字的中文书到底有多少信息量。直到1948年，香农提出了“信息熵”的概念，才解决了对信息的量化度量问题。（百度百科） 香农定义的信息熵的计算公式如下：  H(X)=−∑p(xi)
·2015-11-11 12:04

最大熵

1、信息与熵     熵(信息熵)可被认为是系统不确定性(混乱程度)的度量，熵值越大，系统越混乱。     一个X值域为{x1, ..., xn}的随机变量的熵值 H 定义为：         其中，E 代表了期望函数，而I(X) 是X的信息量（又称为信息本体），熵是随
·2015-11-11 12:21

使用Python,字标注及最大熵法进行中文分词

使用Python,字标注及最大熵法进行中文分词 在前面的博文中使用python实现了基于词典及匹配的中文分词，这里介绍另外一种方法， 这种方法基于字标注法，并且基于最大熵法，使用机器学习方法进行训练，
·2015-11-11 04:08

最大熵模型

1. logistic回归模型 1.1 Logsitic分布 设X是服从logistic分布的连续随即变量，则X的分布函数和密度函数如下： 　　　　　　\( F(x)=P(x \le x)=\displaystyle\frac{1}{1+e^{-(x-\mu)/\gamma}} \) 　　　　　　\( f(x)=F'(x) = \displaystyle\frac{e^{-(x-\mu)/\
·2015-11-11 03:20

最大熵模型（一）熵是什么及如何表示熵

主要参考源：http://www.zhizhihu.com/html/y2011/3489.htmlhttp://blog.sina.com.cn/s/blog_73361fab0100zi8x.html 1.0 熵的概念如果一个系统ξ有多个事件S={E1,E2...En}，每个事件的概率分布为P={p1,p2...pn}则每个事件本身的信息量为：　　　　　　　　　　　　　　　　　　而熵为整个系
·2015-11-07 11:35

阅读记录：Learning multiple layers of representation（杂乱笔记）

典型的浅层学习结构: 传统隐马尔可夫模型（ＨＭＭ）、条件随机场 （ＣＲＦｓ）、最大熵模型（Maxent）、支持向量机（ＳＶＭ）、核回归及仅含单隐层的多层感知器（ＭＬＰ）等。
·2015-11-02 17:26

"模式识别与机器学习"读书笔记——2.3 The Gaussian Distribution

比如令单一变量取值分布能够具有最大熵就要用高斯分布；一堆随机数求和，得到的和的分布也满足高斯分布（根据拉普拉斯的中心极限定理）。这第2.3章就要介绍其一些重要性质，对后续章节很有帮助。
·2015-11-02 14:09

最大熵模型介绍

Overview   统计建模方法是用来modeling随机过程行为的。在构造模型时，通常供我们使用的是随机过程的采样，也就是训练数据。这些样本所具有的知识（较少），事实上，不能完整地反映整个随机过程的状态。建模的目的，就是将这些不完整的知识转化成简洁但准确的模型。我们可以用这个模型去预测随机过程未来的行为。 在统计建模这个领域，指数模型被证明是非常好用的。因此，自世纪之交以来
·2015-11-02 09:59

CRF

最大熵模型的实质是，在已知部分知识的前提下，关于未知分布最合理的推断是符合已知知识的最不确定或最随机的推断，这是我们可以做出的唯一一个不偏不倚的选择。
gsp_2015·2015-11-02 09:09

最大熵工具包的使用

最大熵是自然语言处理中经常用到的一种统计方 法。网上也有很多最大熵方面的工具包，目前大家用得最多的应该是张乐博士写的最大熵工具包了。
·2015-10-31 11:35

信息增益(Information Gain)

因为这时概率分布的信息熵最大，所以称之为“最大熵法”。
·2015-10-31 11:33

最大熵模型学习

什么是最大熵 熵（entropy）指的是体系的混乱的程度，它在控制论、概率论、数论、天体物理、生命科学等领域都有重要应用，在不同的学科中也有引申出的更为具体的 定义，是各领域十分重要的参量。
·2015-10-31 11:32

最大熵原理/最大熵原则/最大熵模型(the maximum entropy principle,MEP)

       最大熵原理是在1957 年由E.T.Jaynes 提出的，其主要思想是，在只掌握关于未知分布的部分知识时，应该选取符合这些知识但熵值最大的概率分布
·2015-10-31 09:39

Python自然语言处理学习笔记(55)： 最大熵分类器

6.6   Maximum Entropy Classifiers 最大熵分类器 The Maximum Entropy classifier uses
·2015-10-21 11:04

CRF HMM,MEMM的区别

article/details/7056068图示区别：http://blog.csdn.net/zhoubl668/article/details/7787690CRF，HMM(隐马模型)，MEMM(最大熵隐马模型
baidu_26550817·2015-10-09 09:00

逻辑斯谛回归与最大熵模型

本文希望通过《统计学习方法》 第六章的学习，由表及里地系统学习最大熵模型。文中使用Python实现了逻辑斯谛回归模型的3种梯度下降最优化算法，并制作了可视化动画。
hankcs·2015-10-03 00:00

最大熵模型

最大熵模型：读书笔记  胡江堂，北京大学软件学院 1.物理学的熵2.信息论的熵3.熵和主观概率（一个简单注释4.熵的性质4.1.当所有概率相等时，熵取得最大值4.2.小概率事件发生时携带的信息量比大概率事件发生时携带的信息量多
mydear_11000·2015-09-25 12:00

最大熵模型中的数学推导

最大熵模型中的数学推导转自:http://blog.csdn.net/v_july_v/article/details/405084650引言写完SVM之后，一直想继续写机器学习的系列，无奈一直时间不稳定且对各个模型算法的理解尚不够
Un-Infinite·2015-09-21 22:25

最大熵模型中的数学推导

最大熵模型中的数学推导转自:http://blog.csdn.net/v_july_v/article/details/405084650引言  写完SVM之后，一直想继续写机器学习的系列，无奈一直时间不稳定且对各个模型算法的理解尚不够
MrChen11·2015-09-21 22:00

最大熵模型总结

最大熵模型总结声明：引用请注明出处http://blog.csdn.net/lg1259156776/摘要本文对最大熵模型进行了系统性的学习和总结，从不同的角度来解读熵的概念以及最大熵的内涵。
LG1259156776·2015-09-21 20:00

Maximum entropy modeling(一)

Maximumentropymodeling(一)0.写在前面的话初次接触最大熵的时候，有点觉得无厘头，因为熵是代表信息的混乱程度，那么最大熵不就是最大化信息的混乱程度？这样的模型能用吗？
appleprince·2015-09-14 06:29

GBDT（Gradient Boost Decision Tree）

GBDT是决策树中的回归树，决策树分为回归树和分类树，分类树的衡量标准是最大熵，而回归树的衡量标准是最小化均方差。GBDT可以用来做分类
GeekStuff·2015-09-13 15:46

机器学习：WEKA的应用之 J48（C4.5）

对于机器学习分类问题的解决方法除了SVM（支持向量机）、maxent（最大熵）还有J48和Adaboost，这两项工具箱都有集成在weka里，下面先说一下对J48即C4.5的应用weka的下载与安装什么是
happy_XYY·2015-09-10 19:14

机器学习：WEKA的应用之 J48（C4.5）

对于机器学习分类问题的解决方法除了SVM（支持向量机）、maxent（最大熵）还有J48和Adaboost，这两项工具箱都有集成在weka里，下面先说一下对J48即C4.5的应用weka的下载与安装什么是
oMengLiShuiXiang1234·2015-09-10 19:00

条件随机场 （conditional random fields ）模型

它在观测序列的基础上对目标序列进行建模,重点解决序列化标注的问题条件随机场模型既具有判别式模型的优点,又具有产生式模型考虑到上下文标记间的转移概率,以序列化形式进行全局参数优化和解码的特点,解决了其他判别式模型(如最大熵马尔科夫模型
tiandijun·2015-08-30 11:00

最大熵模型

最大熵模型最大熵原理：学习概率模型时，在所有的可能概率模型（分布）中，熵最大的模型是最好的模型。通常根据约束条件来确定概率模型的集合，所以也可理解为：在满足约束条件的模型集合中选取熵最大的模型。
qunxingvip·2015-08-01 20:00

2015-8-1 收集资料

例如，k近邻,贝叶斯，决策树，svm，逻辑斯蒂回归和最大熵模型。如何评价Python的深度学习框架DeepPy？Logit回归模型中的那个函数形式F是怎么被发现的？
hzyido·2015-08-01 20:20

最大熵分割法

最大熵分割法主要的熵算法有P氏熵算法、KSW熵算法、JM熵算法。本文以KSW熵算法威力，介绍其原理和计算过程。
aban-mtd·2015-07-25 19:09

最大熵分割法

最大熵分割法主要的熵算法有P氏熵算法、KSW熵算法、JM熵算法。本文以KSW熵算法威力，介绍其原理和计算过程。
bendanban·2015-07-25 19:00

最大熵模型 推导

1、似然函数概率和似然的区别：概率是已知参数的条件下预测未知事情发生的概率，而似然性是已知事情发生的前提下估计模型的参数。我们通常都是将似然函数取最大值时的参数作为模型的参数。那么为何要取似然函数取最大值的参数作为模型的参数？我们基于这样的假设：对于已经发生的事情，在同样条件下再次发生的概率就会很大。假如模型的参数固定，然后用这个参数固定的模型来预测已经发生的事情，这时我们得到的概率不一定很大，并
liuwu265·2015-07-23 22:00

最大熵模型文献阅读指南

转载地址：http://www.52nlp.cn/maximum-entropy-model-tutorial-reading最大熵模型文献阅读指南发表于2009年11月4号由52nlp最大熵模型（MaximumEntropyModel
hechenghai·2015-07-05 16:40

最大熵模型文献阅读指南

转载地址：http://www.52nlp.cn/maximum-entropy-model-tutorial-reading最大熵模型文献阅读指南发表于 2009年11月4号 由 52nlp最大熵模型
hechenghai·2015-07-05 16:00

MaxEnt: 最大熵模型(Maximum Entropy Models)

转自：http://www.zhizhihu.com/html/y2011/3489.html刚看完HMM，因为有个ME-HMM方法，所以再看看最大熵模型，最后再把CRF模型看看，这一系列理论大体消化一下
hechenghai·2015-07-05 16:00

基于Hash算法的高维数据的最近邻检索

随机投影：实际上就是随机的，实际上需要挖掘使用数据的内部结构，结合最大熵原理。　　基于密度的哈希就是依据数据分布产生最合理的投影。　　数据稀疏：稀疏编码+ 压缩感知 　　GIST1
·2015-07-03 15:00

竞价广告系统-逻辑回归优化方法-L-BFGS

  逻辑回归优化方法-L-BFGS逻辑回归的优化方法是一个经典的问题，如果我们把它视为一个最大熵模型，那么我们知道最早的优化方法是IIS，这个方法就不细讲了，因为它速度很慢。
·2015-06-30 16:00

竞价广告系统-逻辑回归优化方法-L-BFGS

逻辑回归优化方法-L-BFGS逻辑回归的优化方法是一个经典的问题，如果我们把它视为一个最大熵模型，那么我们知道最早的优化方法是IIS，这个方法就不细讲了，因为它速度很慢。
94julia·2015-06-30 16:00

最大熵模型理论及推导

记得刚开始研究最大熵模型时，被它的数学推导搞得云里雾里（汗！数学基础不好啊~~~~快哭了）不过现在补还来得及，借此机会缕了一下MaxEnt的推导一、熵入门理解什么是熵？
renyp8799·2015-06-30 15:00

拉格朗日对偶性的一些总结

但类似于最大熵模型(MaximumEntropyModel)，或者支持向量机(SupportVectorMachines)，这些有约束优化问题要求解怎么办呢？这就是本文的目的。
coder_oyang·2015-06-19 20:00

用L-BFGS法训练最大熵模型做分类

作者：金良（[email protected]）csdn博客：http://blog.csdn.net/u012176591defchangelabels(labels): #对标签进行处理，使得第一个标签为0，第二个标签为1，依次递增 index=0 labeldict=dict() foriinrange(np.shape(labels)[0]): iflabels[i]notin
u012176591·2015-06-10 00:00

感知器，线性回归，logistic回归

1.感知器算法h(x)=theta*xf(x)=sign(h(x))J(theta)=-所有误分类样本（yh(x)）利用梯度下降2.线性回归算法（梯度下降，正规方程组）3.logistic回归和最大熵原理
a353833082·2015-05-27 09:31
上一页 14 15 16 17 18 19 20 21 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他