最大熵

机器学习学习笔记(1)

常用的方法有HMM（隐马尔科夫模型），MAXENT（最大熵模型），MEMM（最大熵隐马尔科夫模型），CRF（条件随机场）。2）
摩天轮的守候·2018-11-07 16:17

【机器学习】ICA算法简介

基于信息论的方法研究中，各国学者从最大熵、最小互信息、最大似然和负熵最大化等角度提出了一系列估计算法。如FastICA算法,Infomax算法
岁月流星0824·2018-11-06 22:36

一些对最大熵模型的理解

一、最大熵原理概念：对于随机变量X，其概率分布为P(X)，一般在约束条件下会有无数P(X)存在。最大熵原理就是在所有符合约束条件的P(X)中，熵最大的模型即为最优模型。
t2u·2018-11-01 13:50

例如，k近邻,贝叶斯，决策树，svm，逻辑斯蒂回归和最大熵模型

关于这个问题我今天正好看到了这个文章。讲的正是各个算法的优劣分析，很中肯。https://zhuanlan.zhihu.com/p/25327755正好14年的时候有人做过一个实验[1]，比较在不同数据集上（121个），不同的分类器（179个）的实际效果。论文题为：DoweNeedHundredsofClassifierstoSolveRealWorldClassificationProblems
城市中迷途小书童·2018-10-20 20:14

系统学习机器学习之随机场(二)--MEMM

   最大熵模型（MaximumEntropyModels,MaxEnt）是基于大熵理论的统计模型，广泛应用于模式识别和统计评估中。
Eason.wxd·2018-10-12 11:13

Python【图解】信息熵

文章目录1、简介2、公式3、举个栗子栗子1栗子24、相关补充联合熵条件熵互信息最大熵模型1、简介信息熵是随机事件不确定性的度量信息熵越大，不确定性越高2、公式H(X)=−∑i=1np(xi)log⁡2p
基基伟·2018-10-10 22:16

最大熵模型和算法

信息自信息自信息的定义：某一事件发生的自信息是它发生的概率的对数取反，即：I(x)=−logp(x)I(x)=-logp(x)I(x)=−logp(x)也就是说，如果一个事件发生的概率越大，则它发生所含有的信息越少。独立事件的信息：如果两个事件x和y独立，即p(xy)=p(x)p(y)，则根据自信息的定义，两个事件同时发生的信息量为I(x∩y)=I(x)+I(y)I(x\capy)=I(x)+I(
ajaccio8899·2018-10-09 13:59

机器学习笔记 - 19. EM算法（讲师：邹博）

比如现在如果遇到问题，如果想对问题做优化，大家或许只会用最大似然估计(MLE)写目标函数，当然也可以换成最大熵模型的目标函数。
blade_he·2018-10-07 20:50

Random Walk 随机漫步理论 Random Walk Theory 随即漫步应用

目录Randomwalk点阵随机游走一维随机游走马尔可夫链更高的纬度与维纳过程的关系高斯随机游走异常扩散不同站点的数量应用变种在图表上自我互动随机游走远程相关步行偏向随意走在图上最大熵随机游走相关的随机游走也可以看看参考参考书目外部链接
水木本源·2018-10-07 18:22

机器学习笔记：各种熵

在机器学习中通常会使用各种熵来描述分布与分布之间的关系，如条件熵和交叉熵等，也有直接优化熵的模型，如最大熵模型。这篇文章简单总结一下之前见到过的一些熵相关的概念。
iambabao·2018-10-01 17:48

【机器学习】最大熵模型原理小结

最大熵模型(maximumentropymodel，MaxEnt)也是很典型的分类算法了，它和逻辑回归类似，都是属于对数线性分类模型。在损失函数优化的过程中，使用了和支持向量机类似的凸优化技术。
ChenVast·2018-09-29 09:06

统计学习笔记6—逻辑斯谛回归与最大熵模型

第六章逻辑斯谛回归与最大熵模型6.1逻辑斯谛回归模型6.1.1逻辑斯谛分布6.1.2二项逻辑斯谛回归模型模型定义：将b加入到内积中：几率定义：该事件发生的概率与不发生的概率的比值。
DMU_lzq1996·2018-09-24 11:05

从线性到非线性模型-Fisher线性判别与线性感知机

从线性到非线性模型1、线性回归，岭回归，Lasso回归，局部加权线性回归2、logistic回归，softmax回归，最大熵模型3、广义线性模型4、Fisher线性判别和线性感知机5、三层神经网络6、支持向量机四
myazi·2018-09-13 17:41

最大熵模型原理小结

最大熵模型（MaximumEntropyModel，MaxEnt）是一种很经典的分类算法，理解它有助于加深我们对逻辑回归、支持向量机、决策树等算法的理解。
Maples丶丶·2018-09-10 14:43

Opencv2.4学习：：（二维）最大熵阈值分割----信息量最大化分割

一维最大熵阈值分割应该比较好理解，可参见：http://blog.sina.com.cn/s/blog_159aff7940102xbm4.html二维一、灰度直方图二、熵（这里实在看不懂，请大神赐教）
dieju8330·2018-09-09 19:33

【信息论】熵、交叉熵、互信息、KL散度（相对熵）

基于最大熵原理的模型选择是从具有最高熵的竞争模型中得出的最佳状态。交叉熵直观交叉熵用于比较两个概率分布。它告诉我们两个分布是如何相似的。数学在相同的结果集上定义的两个概率分
ChenVast·2018-09-03 16:37

【信息论】熵、交叉熵、互信息、KL散度（相对熵）

基于最大熵原理的模型选择是从具有最高熵的竞争模型中得出的最佳状态。交叉熵直观交叉熵用于比较两个概率分布。它告诉我们两个分布是如何相似的。数学在相同的结果集上定义的两个概率分
ChenVast·2018-09-03 16:37

图解最大熵原理（The Maximum Entropy Principle）

这个“熵“并不是指热力学上熵的概念，而是由信息论男神克劳德·艾尔伍德·香农（ClaudeElwoodShannon）在1948年提出的“信息熵“，用来描述信息的不确定程度。信息熵公式:这个听起来很神奇的概念，其实蕴含着最朴素最简洁的思想，看下去你就能体会这一点了。先来问个问题，如果给你一颗骰子，你觉得分别掷到1，2，…，6的概率是多少？我觉得你肯定会立刻就回到我，答案是1/6。很好，如果你知道答案
扬子落木·2018-08-23 19:34

深度学习与TensorFlow实战（一）深度学习基本概述

传统的机器学习算法例如SVM、Boosting、最大熵、LR都属于浅层的机器学习模型，这些模型只有一层隐藏节点，或者没有隐藏节点（LR），其局限在于有限样本和计算单单元对复杂函数的表示能力有限，泛化能力的局限性也较大
gsx316·2018-08-20 11:05

详解最大熵模型

今天的主题是最大熵模型（MaximumEntropyModel，以下简称MaxEnt），MaxEnt是概率模型学习中一个准则，其思想为：在学习概率模型时，所有可能的模型中熵最大的模型是最好的模型；若概率模型需要满足一些约束
CC丶Z·2018-08-19 23:00

最大熵模型详解

最大熵模型可用于自然语言处理中歧义消解的问题，再有就是《数学之美》中很经典的拼音转汉字问题、词性标注、句法分析、机器翻译等相关任务中也有相应的应用场景。
Katherine_C_nlp·2018-08-13 11:40

机器学习——Logistic回归

1LR模型二项LR模型是如下的条件概率分布：是参数与输入变量x的内积如果你有疑惑P为什么是这个公司，这是因为：因为LR是基于伯努利分布，属于概率模型，可以引用最大熵模型的结论，而伯努利属于指数分布族，也是广义线性模型
MuBaicao·2018-08-07 11:55

神经网络在文本分类中的应用

在自然语言的文本分类中，主要使用两类模型，一类是使用传统的机器学习模型，如朴素贝叶斯，最大熵，支持向量机等，第二类就是使用神经网络模型，包括CNN和RNN。
Ring__Rain·2018-08-04 09:48

十、最大熵模型与EM算法

一、最大熵模型1、熵联合熵和条件熵相对熵交叉熵互信息总结2、最大熵模型二、EM算法（期望最大化算法）三、GMM一、最大熵模型lnx0f(x)=x−1−lnx,x>0，求导是凸函数，在x=1处取得极值1、
呆呆的猫·2018-07-30 16:12

《中文文本信息抽取模型与方法研究》4：特定类型事件的探测与分类

一种基于最大熵模型的事件分类方法，该方法能够综合事件表述语句中的触发词信息及各类上下文特征对事件进行分类。确定的事件类别正确与否对事件模板的选择以及究竟要抽取哪些事件要素来填充模板至关重要。
CopperDong·2018-07-24 18:35

图像处理——常用阈值分割方法及源码

目录1、Otsu阈值分割2、自适应阈值分割3、最大熵阈值分割法4、迭代阈值分割5、测验1、Otsu阈值分割Otsu（大津法或最大类间方差法）使用的是聚类的思想，把图像的灰度数按灰度级分成2个部分，使得两个部分之间的灰度值差异最大
fly108108·2018-07-18 20:18

详解熵、最大熵、联合熵和条件熵、相对熵以及互信息之间的关系

信息量的定义某事件发生的概率小，则该事件的信息量大。定义随机变量XX的概率分布为P(X)P(X),XX的信息量为：h(X)=−log2P(X)h(X)=−log2P(X).熵对随机事件的信息量求期望，得到随机变量X的熵：H(X)=−∑x∈XP(x)logP(x)当对数底数是2时，单位是bit，当对数底数是e时，单位是nat(奈特)。同时，若P(x)=0,则定义0log0=0。由熵定义可知，随机变量
随遇而安_小强·2018-07-03 19:15

Ubuntu下最大熵实现中文分词

最大熵模型实现中文分词一、实验环境1.1Ubuntu16.4LTS(Linux)1.2python2本实验完全在Linux环境(Ubuntu64位)下使用python脚本和命令行实现实验结果输入文本。
Cornan_·2018-05-29 15:23

最大熵模型（三）

最大熵模型-极大似然估计最大熵模型（一）讲诉了最大熵原理以及最大熵模型定义，最大熵模型（二）讲诉了最大熵模型的学习及其公式推导，本篇讲诉最大熵模型的极大似然估计。
初沏的茶·2018-05-29 09:39

最大熵模型（二）

最大熵模型-最大熵模型的学习对于给定的训练数据集T={(x1,y1),(x2,y2),⋅⋅⋅,(xN,yN)}T={(x1,y1),(x2,y2),⋅⋅⋅,(xN,yN)}以及特征函数fi(x,y)fi
初沏的茶·2018-05-27 16:18

最大熵模型（一）

最大熵模型-最大熵原理与最大熵模型定义基本概率熵熵是表示随机变量的不确定性的度量。熵越大，随机变量的不确定性越大。
初沏的茶·2018-05-27 14:30

最大熵模型（一）

最大熵模型-最大熵原理与最大熵模型定义基本概率熵熵是表示随机变量的不确定性的度量。熵越大，随机变量的不确定性越大。
初沏的茶·2018-05-27 14:30

《统计学习方法》笔记（五）逻辑斯蒂回归与最大熵模型

LR回归（LogisticRegression）LR回归，虽然这个算法从名字上来看，是回归算法，但其实际上是一个分类算法。在机器学习算法中，有几十种分类器，LR回归是其中最常用的一个。LR回归是在线性回归模型的基础上，使用sigmoid函数，将线性模型$w_T$x的结果压缩到[0,1]之间，使其拥有概率意义。其本质仍然是一个线性模型，实现相对简单。在广告计算和推荐系统中使用频率极高，是CTR预估模
芦金宇·2018-05-23 14:28

例如，k近邻,贝叶斯，决策树，svm，逻辑斯蒂回归和最大熵模型

关于这个问题我今天正好看到了这个文章。讲的正是各个算法的优劣分析，很中肯。https://zhuanlan.zhihu.com/p/25327755正好14年的时候有人做过一个实验[1]，比较在不同数据集上（121个），不同的分类器（179个）的实际效果。论文题为：DoweNeedHundredsofClassifierstoSolveRealWorldClassificationProblems
至极L·2018-05-18 15:21

Python 条件随机场(CRF) 序列标注 介绍及工具简单用法解析

CRF由Lafferty等人于2001年提出，结合了最大熵模型和隐马尔可夫模型的特点，是一种无向图模型，近年来在分词、词性标注和命名实体识别等序列标注任务中取得了很好的效果。
Gransand·2018-05-11 20:36

NLP情感分析——KNN算法

后者是将传统的文本分类方法如朴素贝叶斯（NB）、k近邻（kNN）、最大熵、支持向量机（SVM）等算法应用于情感分类
SpringRolls·2018-05-07 17:02

数据挖掘/机器学习工作知识体系（实习面试准备清单）

1、统计机器学习方法（有监督（预测）、无监督）线性回归、感知机、k近邻法、朴素贝叶斯法、决策树、逻辑回归、最大熵模型、支持向量机SVM、支持向量回归SVR、集成学习（boos
liongxiong·2018-04-27 19:38

机器学习中的熵

开篇熵这个词在机器学习中出镜率颇高，机器学习中使用的熵基本是信息熵相关的一些熵，这边博客我会聊到决策树和逻辑回归，至于最大熵，后期我会在这篇博客上补上，当然，我复习到其他机器学习算法用到熵的概念的话，我也会在这篇博客上续上
Ding_xiaofei·2018-04-26 14:56

机器学习中的熵

开篇熵这个词在机器学习中出镜率颇高，机器学习中使用的熵基本是信息熵相关的一些熵，这边博客我会聊到决策树和逻辑回归，至于最大熵，后期我会在这篇博客上补上，当然，我复习到其他机器学习算法用到熵的概念的话，我也会在这篇博客上续上
Ding_xiaofei·2018-04-26 14:56

（数据科学学习手札24）逻辑回归分类器原理详解&Python与R实现

一、简介逻辑回归（LogisticRegression），与它的名字恰恰相反，它是一个分类器而非回归方法，在一些文献里它也被称为logit回归、最大熵分类器（MaxEnt）、对数线性分类器等；我们都知道可以用回归模型来进行回归任务
费弗里·2018-04-12 14:00

Maximum Entropy Model最大熵模型

WelcomeToMyBlog最大熵模型(MaximumEntropyModel)属于对数线性模型,由最大熵原理推导实现.最大熵原理最大熵原理是概率模型学习的一个准则.最大熵原理认为,学习概率模型时,在所有可能的概率模型
littlehaes·2018-04-07 13:03

使用opennlp进行文档分类

序本文主要研究下如何使用opennlp进行文档分类DoccatModel要对文档进行分类，需要一个最大熵模型(MaximumEntropyModel)，在opennlp中对应DoccatModel@TestpublicvoidtestSimpleTraining
codecraft·2018-04-06 00:00

最大熵模型python实现

本文参考nltkMaxentClassifier实现了一个简单的最大熵模型，主要用于理解最大熵模型中一些数学公式的实际含义。
nwnlp·2018-04-02 19:45

逻辑回归模型（一）——数学模型

逻辑回归与最大熵模型（maximumentropy）都属于对苏线性模型。
Amy_mm·2018-03-29 17:16

逻辑回归模型（一）——数学模型

逻辑回归与最大熵模型（maximumentropy）都属于对苏线性模型。
Amy_mm·2018-03-29 17:16

条件随机场（conditional random field，CRF）模型初探

隐马尔可夫模型（HiddenMarkovModel，HMM）、最大熵马尔可夫模型（MaximumEn
郑瀚Andrew.Hann·2018-03-27 08:00

最大熵模型 Maximum Entropy Model

今天的主题是最大熵模型（MaximumEntropyModel，以下简称MaxEnt），MaxEnt是概率模型学习中一个准则，其思想为：在学习概率模型时，所有可能的模型中熵最大的模型是最好的模型；若概率模型需要满足一些约束
张博208·2018-03-23 15:53

Lagrange duality拉格朗日对偶性

在约束最优化问题(ConstrainedOptimization)中,常常利用拉格朗日对偶性(Lagrangeduality)将原始问题转换为对偶问题,通过求解对偶问题而得到原始问题的解,该方法可用在最大熵模型
LittleSasuke·2018-03-17 11:17

【机器学习】最大熵算法 整理

最大熵模型由最大熵原理推导实现1.最大熵原理最大熵原理认为，学习概率模型时，在所有可能的概率模型（分布）中，熵最大的模型是最好的模型。
CWS_chen·2018-03-14 15:50

学习笔记CB007:分词、命名实体识别、词性标注、句法分析树

符合最大熵原理。基于条件随机场命名实体识别方法属于有监督学习方法，利用已标注大规模语料库训练。命名实体的放射性。命名实体的前后词。特征模板，当前位置前后n个位置字/词/字母/数字/
利炳根·2018-03-11 00:00
上一页 11 12 13 14 15 16 17 18 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他