最大熵

从拉格朗日乘数法到最大熵再到基因表达分析

从拉格朗日乘数法到最大熵再到基因表达分析 前言：本文将简要的介绍一下拉格朗日乘数法，并填一下上篇文章挖的坑（证明当为均匀分布时，熵值达到最大。），最后简要介绍熵在基因表达分析中的应用。 
隔壁王同学啊·2020-07-08 21:46

NLP --- 最大熵模型的引入

前几节我们详细的阐述了什么是HMM,同时给出了HMM的三个问题，也给出了解决这三个问题的方法最后给出了HMM的简单的应用。其中为了解决第三个问题我们引入了EM算法，这个算法有点麻烦，但是不难理解，而解决第一个和第二个问题时使用的算法基本上都是基于动态规划的，这里需要大家首先对动态规划算法有深入的理解，这样才有可能理解前向、后向和维特比算法，所所以从这里可以看出一些基础性的算法很重要。前面基本就讲了
zsffuture·2020-07-08 20:00

机器学习笔记（《统计学习方法》李航and《机器学习》周志华）

目录知识点感知机k近邻法朴素贝叶斯决策树logistic回归和最大熵模型支持向量机提升方法EM算法隐马尔可夫模型(HMM)统计学习方法总结知识点进程和线程:进程和线程都是一个时间段的描述，是CPU工作时间段的描述
妙手书生2016·2020-07-08 18:55

广义线性模型(GLM, Generalized Linear Model)

在机器学习中，有很多模型都是基于广义线性模型的，比如传统的线性回归模型，最大熵模型，Logistic回归，softmax回归，等等。今天主要来学习如何来针对某类型的分布建立相应的广义线性模型。
weixin_30409849·2020-07-08 13:58

图像分割（二）——阈值分割/区域生长/区域分裂合并法

最常用的阈值方法是基于灰度直方图的方法，如最大类间方差法(OTSU)、最小误差法、最大熵法等。此类方法通常对整幅图像使用固定的
hairuiJY·2020-07-08 08:24

对数线性模型之一(逻辑回归), 广义线性模型学习总结

下一篇将是对最大熵模型的学习总结。本篇介绍的大纲如下：1、逻辑斯蒂分布
玉心sober·2020-07-07 13:41

【机器学习】生成模型与判别模型详解

生成模型与判别模型1.定义2.通俗解释例1：猫狗分类例2：如何确定一只羊是山羊还是绵羊例3.识别一种语言是哪种语言例4.跟踪问题3.如何选择哪种模型主要来源：[白话解析]深入浅出最大熵模型1.定义生成模型
y = wX + b·2020-07-06 19:46

拉格朗日乘数法求条件极值（最大熵）

作为一种优化算法，拉格朗日乘子法主要用于解决约束优化问题，它的基本思想就是通过引入拉格朗日乘子来将含有n个变量和k个约束条件的约束优化问题转化为含有（n+k）个变量的无约束优化问题。拉格朗日乘子背后的数学意义是其为约束方程梯度线性组合中每个向量的系数。如何将一个含有n个变量和k个约束条件的约束优化问题转化为含有（n+k）个变量的无约束优化问题？拉格朗日乘数法从数学意义入手，通过引入拉格朗日乘子建立
evanna-y·2020-07-06 18:19

图解最大熵原理（The Maximum Entropy Principle）

这个“熵“并不是指热力学上熵的概念，而是由信息论男神克劳德·艾尔伍德·香农（ClaudeElwoodShannon）在1948年提出的“信息熵“，用来描述信息的不确定程度。信息熵公式:H=−∑p(x)logp(x),H=-\sump(x)logp(x),H=−∑p(x)logp(x),这个听起来很神奇的概念，其实蕴含着最朴素最简洁的思想，看下去你就能体会这一点了。先来问个问题，如果给你一颗骰子，你
旧人赋荒年·2020-07-06 13:24

《统计学习方法》第六章逻辑斯蒂回归与最大熵模型学习笔记

一、逻辑斯蒂回归模型1.二项逻辑斯蒂回归模型二项逻辑斯蒂回归模型是如下的条件概率分布：P(Y=1|x)=exp(w⋅x+b)1+exp(w⋅x+b)P(Y=0|x)=11+exp(w⋅x+b)注意：P(Y=1|x)模型也经常写成hθ(x)=11+exp(−θT⋅x)。事件的几率（odds）是指该事件发生的概率与该事件不发生的概率的比值。如果事件发生的概率是p，那么该事件的几率是P1−P，该事件的对
wjlucc·2020-07-06 07:13

隐马尔可夫模型（Hidden Markov Model，HMM）

其它常见的判别式模型有：K近邻法、感知机、决策树、逻辑斯蒂回归模型、最大熵模型
Firework_han·2020-07-06 03:59

关于信息熵最大值的讨论

关于信息熵最大值的讨论最大离散熵定理均值受限的最大熵值参考书目最大离散熵定理\qquad一般的离散信源的r个概率分量分别为p1,p_1,p1,p2,p_2,p2,...,...,...,pr,p_r,pr
王延凯的博客·2020-07-06 02:41

基于MATLAB的二值化图像常用的三种方法

经过国内外学者的广泛努力，已经提出了数以百计的阈值分割的算法，依据阈值分割算法本身所具有的准则或特性，可以分为迭代法、最大类间误差法（Otsu）、最大熵法等。本文主要介绍以上几种阈值分割方法。
vicdd·2020-07-05 19:54

ASRT中文语音识别系统

分帧加窗等操作输出：语谱图(二维频谱图像信号)2.声学模型参考VGG的深度卷积神经网络-输入：语谱图-操作：VGG模型训练-输出：VGG输出3.CTC解码输入：VGG输出输出：汉语拼音序列4.语言模型基于概率图的最大熵隐马尔可夫模型输入
绝版小哥·2020-07-05 06:39

自动识别事件类别的中文事件抽取技术研究

根据抽取模型所采用的不同的数据驱动源，现有的方法主要可分为三类：1.基于事件元素驱动Chieu等首次在事件抽取中引入最大熵分类器，用于事件元素的识别。
阳光总在风雨后1127·2020-07-05 04:51

《统计学习方法》笔记07：最大熵模型

foreword最大熵模型，最初在吴军博士《数学之美》看到。那节题目为《不要把鸡蛋放在一个篮子里——最大熵模型》。
鸟恋旧林XD·2020-07-05 01:48

十六、深究熵的概念和公式以及最大熵原理

在机器学习算法中，最常用的优化方式就是使熵最大，那么到底什么是熵呢？很多文章告诉了我们概念和公式，但是很少有人讲到这些公式都是怎么来的，那么就让我们来深究一下这里面的奥秘请尊重原创，转载请注明来源网站www.shareditor.com以及原始链接地址熵有关熵的介绍，我在《自己动手做聊天机器人十五-一篇文章读懂拿了图灵奖和诺贝尔奖的概率图模型》中做过简单的介绍，熵的英文是entropy，本来是一个
jiangjingxuan·2020-07-04 19:46

最大熵模型中的heldout accuracy（张乐老师提供的最大熵模型包相关技术）

最大熵模型中的heldoutaccuracy（张乐老师提供的最大熵模型包相关技术）里面有一段这样的描述，我想了解一下有关heldout的相关详情，并且为什么会因此引入高斯方差？谢谢！
firstboy0513·2020-07-04 15:25

【备忘】机器读心术之文本挖掘与自然语言处理人工智能视频

应用案例：语音识别，分词消岐04、概率图模型，生成式模型与判别式模型，贝叶斯网，马尔科夫链，隐马尔科夫模型HMM，应用案例：语音识别与分词05、马尔科夫网，最大熵模型，条件随机场CRF，实现HMM和CRF
qq_38472451·2020-07-04 01:49

机器学习系列(九)【最大熵模型】

文章目录指数家族伯努利分布转指数家族高斯分布转指数家族指数家族的性质最大熵模型最大似然求解最大熵似然法参考  了解最大熵模型之前，我们需要先了解一个和最大熵模型相伴的概念，指数家族。
小小何先生·2020-07-03 19:03

SAM--Chap 6 逻辑斯蒂回归与最大熵模型自我梳理

July3梦入少年丛歌舞匆匆老僧夜半误鸣钟惊起西窗眠不得卷地西风1.LogisticregressionSomebasiclogicsource:https://www.vebuso.com/2020/02/linear-to-logistic-regression-explained-step-by-step/对我这种线代忘的一干二净的人还是要从头捋一捋Thebasicideabehindlog
jinmu3·2020-07-03 13:00

逻辑斯谛回归模型（ Logistic Regression，LR）& 最大熵模型（Max Entropy，ME）

1.LogisticRegression模型1.1logistic分布1.2二项逻辑斯谛回归模型1.3模型参数估计1.4多项逻辑斯谛回归1.5Python代码2.MaximumEntropy模型2.1最大熵原理
Michael阿明·2020-07-02 16:51

概率图模型简介

概率图模型包括了朴素贝叶斯模型、最大熵模型、隐马尔可夫模型、条件随机场、主题模型。
人鱼线·2020-07-02 15:41

面试宝典

证3.CRF/朴素贝叶斯/EM/最大熵模型/马尔科夫随机场/混合高斯模型CRF：https://www.imooc.com/article/277954.如何解决过拟合问题？
Yoline777·2020-07-02 13:27

机器学习：LDA_数学基础_2：贝叶斯数学：先验分布的选择

先验信息确定先验分布主观概率对事件似然比专家意见历史资料无信息先验分布贝叶斯假设离散均匀分布有限区间的均匀分布广义分布共轭先验分布在已知样本的情况下，为了理论的需要，常常选择参数的分布为共轭先验分布最大熵先验分布无信息
LandscapeMi·2020-07-02 12:55

机器学习笔记（二） 最大熵模型

一最大熵原理最大熵原理指出，对一个随机事件的概率分布进行预测时，预测应当满足全部已知的约束，而对未知的情况不要做任何主观假设。
Edith077·2020-07-02 11:43

打开数学这扇窗

但至少对TF-IDF,最大熵，马尔
寻海·2020-07-02 10:04

机器学习算法系列（三）：最大熵模型

条件熵公式为：二、最大熵模型的思想最大熵模型认为，学习概率模型时，在所有可能的概率模型中，熵最大的模型是最好的模型。
人工智能遇见磐创·2020-07-02 04:41

张乐博士的工具包mexent 笔记

张乐博士最大熵工具包：下载地址点击打开链接我自己数据放进去，迭代20轮，程序处理完后输出：Total1063226trainingeventsand0heldouteventsaddedin2.63sReducingevents
warrioR_wx·2020-07-02 02:47

【机器学习基础】数学推导+纯Python实现机器学习算法22：最大熵模型

Python机器学习算法实现Author：louwillMachineLearningLab最大熵原理（MaximumEntropyPrinciple）是一种基于信息熵理论的一般原理，在机器学习领域也有着广泛的应用价值
风度78·2020-07-01 23:09

主题模型及其变种的实现代码汇总

1.MALLET:实现语言，Java，实现模型，LDA，HLDA,PachinkoAllocationModel，此外，还实现了HMM，最大熵马尔科夫模型和条件随机场；2.Shuyo的github代码：
ann_hp·2020-07-01 17:40

Attention-Based Recurrent Neural Network Models for Joint Intent Detection and Slot Filling（翻译）

基于注意的递归神经网络模型用于联合意图检测和槽填充摘要提出基于注意力的神经网络模型用于构建意图识别和槽填充的联合模型1.简介意图识别：意图识别可以看做语义表达的分类问题，流行的方法如支持向量机和深度神经网络槽填充：槽填充看做是一个序列标记问题，流行的方法如最大熵马尔可夫模型
你好世界_zhy·2020-07-01 17:10

机器学习中的优化问题

最优化问题：解析解存在：最优解可以由公式简单计算没有解析解数值计算启发式方法例：朴素贝叶斯、隐马尔可夫：最优解即极大似然估计值，可由概率计算公式直接计算感知机、逻辑回归、最大熵模型、条件随机场：利用梯度下降法
Shingle_·2020-07-01 13:20

张乐最大熵工具包的模型文件格式分析

本文为张乐最大熵工具包模型文件格式分析：训练文件如下：c1f21f30f40f51f60f70f81f91f101f111f120f130f144f150f160f171c1f21f30f40f51f60f70f80f91f101f111f120f130f144f151f160f171c4f20f30f41f50f60f71f81f91f101f110f120f131f140f151f160f17
李亚超·2020-07-01 09:10

最大熵工具包的使用

最大熵工具包的使用最大熵是自然语言处理中经常用到的一种统计方法。网上也有很多最大熵方面的工具包，目前大家用得最多的应该是张乐博士写的最大熵工具包了。
Augusdi·2020-07-01 08:19

信息增益

因为这时概率分布的信息熵最大，所以称之为“最大熵法”。最大熵法在数学形式上很漂亮，但是实现起来比较复杂，但把它运用于金融领域的诱惑也比较大，比如说决定股票涨落的因素可能有几十甚至上百种，而最
iteye_20561·2020-07-01 02:05

sigmoid函数是如何诞生的（最大熵原理）

由于工作的原因没有在学校里那么多学习的时间，对于很多基础知识纠结好久还是觉得应该记录下来，于是就打开了好多年没用的csdn，开始记录下自己的偶尔的学习过程，希望能以此勉励自己。当然第一篇博客，自然逼格不能低，先来谈谈自己一直很好奇的，大牛们熟的不能再熟的sigmod函数究竟是怎么得来的。很多人可能会说，懵的？那你怕是石乐志，其实很多地方都有解释这个函数为什么好，但始终没有给出这个玩意儿到底是怎么出
zynash2·2020-06-30 20:06

升级ubuntu中的gcc和g++版本

在利用张乐博士的最大熵模型工具包(MaximumEntropyModelingToolkitforPythonandC++)和条件随机场的经典工具包CRF++(CRF++:YetAnotherCRFtoolkit
zx249388847·2020-06-30 20:05

scikit-learn--逻辑回归应用

在某些文献中，logistic回归又被称作logit回归，maximum-entropyclassification（MaxEnt，最大熵分类），或log-linearcl
面朝大海zyp·2020-06-30 14:26

标记偏置 隐马尔科夫 最大熵马尔科夫 HMM MEMM

最大熵隐马尔科夫模型（MEMM）：图2.最大熵马尔科夫模型MEMM考虑到相
mijing·2020-06-29 23:15

图像阈值分割（二值化）

经过国内外学者的广泛努力，已经提出了数以百计的阈值分割的算法，依据阈值分割算法本身所具有的准则或特性，可以分为迭代法、最大类间误差法（Otsu）、最大熵法等。本文主要介绍以上几种阈值分割方法。
wrightman·2020-06-29 20:41

最大熵模型中的对数似然函数的解释

最大熵模型中的对数似然函数的解释最近在学习最大熵模型，看到极大似然估计这部分，没有看明白条件概率分布p(y∣x)p(y|x)p(y∣x)的对数似然函数。上网查了很多资料都没有一个合理的解释。
wkebj·2020-06-29 19:59

OpenCV自适应阈值化函数adaptiveThreshold详解,并附实例源码!

2016-6-14日：又发现一种阈值分割法，最大熵阈值分割法详情http://blog.csdn.net/wenhao_ir/article/details/51671023图像阈值化的一般目的是从灰度图像中分享目标区域和背景区域
清溪算法老号·2020-06-29 17:30

最大熵马尔科夫模型（MEMM）

最大熵马尔科夫模型MaximumEntropyMarkovModels(MEMM)引入和定义隐马尔科夫模型作了两个基本假设：（1）齐次马尔科夫假设，即假设隐藏的马尔科夫链在任意时刻t的状态只依赖于前一时刻的状态
ALTLI·2020-06-29 08:42

逻辑回归面试题汇总(整理)

逻辑回归输出值的意义欠拟合和过拟合多分类问题模型之间的对比线性回归最大熵SVM贝叶斯逻辑回归模型介绍原
yongrl·2020-06-29 06:01

自适应阈值（adaptiveThreshold）分割原理及实现

背景介绍及原理前面介绍了OTSU算法和最大熵算法，但这两种算法都属于全局阈值法，所以对于某些光照不均的图像，这种全局阈值分割的方法会显得苍白无力，如下图：显然，这样的阈值处理结果不是我们想要的，那么就需要一种方法来应对这样的情况
小武~~·2020-06-29 00:18

机器学习算法整理面试宝典

包含的算法有：分类算法：逻辑回归、决策树、随机森林、朴素贝叶斯、KNN、GBDT、XgBoost和LightGBM、stacking集成模型、最大熵模型；聚类算法：K-Means和混合高斯模型；降维算法
仙女也得写代码·2020-06-28 23:09

【总结】自然语言处理（NLP）算法：概述与分类

目录NLP界神级人物NLP知识结构1.概述2.形式语言与自动机3.语言模型4.概率图模型，生成模型与判别模型，贝叶斯网络，马尔科夫链与隐马尔科夫模型（HMM）5.马尔科夫网，最大熵模型，条件随机场（CRF
黄辣鸡·2020-06-28 22:35

[MLReview] Logistic Regression 逻辑回归代码实现

邏輯回歸湾湾的叫法是这个，感觉还不错~前言：逻辑斯谛回归是最大熵模型的一个准则，属于对数线性模型。本文主要对逻辑回归的原理及代码实现做出说明。
gdtop818·2020-06-28 20:30

浅谈最大熵模型中的特征

最近在看到自然语言处理中的条件随机场模型时，发现了里面涉及到了最大熵模型，这才知道最大熵模型自己还是一知半解，于是在知乎上查阅了很多资料，发现特别受用，饮水思源，我将自己整理的一些资料写下来供大家参考仅仅对输入抽取特征
飞奔的菜猪·2020-06-28 19:32
上一页 7 8 9 10 11 12 13 14 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他