最大熵

业务实战中经典算法的应用

有网友提问：各种机器学习算法的应用场景分别是什么（比如朴素贝叶斯、决策树、K近邻、SVM、逻辑回归最大熵模型）？这些在一般工作中分别用到的频率多大？一般用途是什么？需要注意什么？
阿里巴巴淘系技术团队官网博客·2021-10-14 16:00

逻辑回归与最大熵模型

概论逻辑回归与最大熵模型都属于对数线性模型，逻辑回归求解似然函数的极大值，得到参数w，最大熵模型先转对偶问题，求得条件概率模型，也是通过极大值求解得到w。
米斯特芳·2021-08-28 23:09

条件随机场|机器学习推导系列（二十一）

LR的损失函数为交叉熵损失函数，这类模型也叫做对数线性模型，一般地，又叫做最大熵模型（MaxEntropyMo
酷酷的群·2021-08-02 17:12

Logistic回归与最大熵模型-理论推导

logistics与最大熵思维导图.png1.logistics回归模型logistics模型1.1logistics模型构建对于数据集有Logistics模型的基本思想也是线性回归，其公式为：公式(1.1
To_QT·2021-06-19 00:41

从热力学看到什麽？

热力学第二定律：封闭系统自发地朝着最大熵(≡乱度)状态演化，不可逆的熵增。(能量转换过程中浪费掉的、无法再利用的能量称为熵。在封闭系统，所有能量最终都会转换成熵。)
鄭智勇_a128·2021-06-07 13:01

自然语言处理之分词3

CRF算法是2001年提出，结合了最大熵模型和隐马尔科夫模型，是一个典型的判别式模型。近年来在分词、词性标注和命名实体识别等序列标注任务中取得了很好的效果。
星空慕辰·2021-05-18 08:14

条件随机场（Conditional random fields）

转载自：http://blog.csdn.net/chlele0105/article/details/14897761条件随机场模型是Lafferty于2001年，在最大熵模型和隐马尔科夫模型的基础上
izhangxm·2021-05-02 12:06

【笔记】《统计学习方法》

是学习机器学习原理的“必修课”，抽出点时间把之前看的时候的标注数字化一下，供自己以后回忆用...主概念、理解和算法，不记推导1.统计学习方法概论2.感知机3.k近邻法4.朴素贝叶斯法5.决策树6.逻辑斯谛回归与最大熵模型
PancakeCard·2021-04-27 08:31

机器学习算法背后的思维

在这个框架中，最重要的是损失函数，它度量了拟合值和实际值之间的差异，模型的目标则是最小化差异一般来说监督学习可以看成是最优化问题：2、统计学与贝叶斯思维3、信息论与最大熵思维4、正则化与贝叶斯Le
JSong1122·2021-04-26 18:56

第20章 不要把鸡蛋放在一个篮子里

“最大熵”这个名词听起来很深奥，但它的原理很简单，我们每天都在用。说白了，就是要保留全部的不确定性将风险降到最小。下面来看一个实际的例子：对于“骰子每个面朝上的概率分别是多少？”
whybask·2021-04-23 06:20

熵

一、看文章“熵”不起：从熵、最大熵原理到最大熵模型（一）“熵”不起：从熵、最大熵原理到最大熵模型（二）“熵”不起：从熵、最大熵原理到最大熵模型（三）信息熵与最大熵模型二、那么多概念，怎么办熵，条件熵，联合熵
只为此心无垠·2021-03-10 14:48

李航《统计学习方法》课后习题答案（第2版）

李航《统计学习方法》课后习题答案（第2版）章节链接第1章统计学习及监督学习概论点击进入第2章感知机点击进入第3章k近邻法点击进入第4章朴素贝叶斯法点击进入第5章决策树点击进入第6章逻辑斯谛回归与最大熵点击进入第
#苦行僧·2021-02-19 18:26

逻辑斯谛回归logistic regression-最大熵

1.定义1.1逻辑斯谛分布服从逻辑斯谛分布的X具有以下分布函数与密度函数F(x)=P(X≤x)=11+e−(x−μ)γF(x)=P(X\leqx)=\frac{1}{1+e^{\frac{-(x-\mu)}{\gamma}}}F(x)=P(X≤x)=1+eγ−(x−μ)1f(x)=F′(x)=e−(x−μ)γγ(1+e−(x−μ)γ)2f(x)=F'(x)=\frac{e^{\frac{-(x-\
JeJe_33·2021-02-16 21:39

酒中论熵，知熵知酒；从“熵论”看黄酒中的能量与生命理念的交织

数理生命观中的“熵论”以下内容摘自韦岗博士《生命探秘：信息、能量和气血网》1.生命体的耗散结构状态离最大熵越远，则生命力越强，即生命体越健康。（即气血两旺）2.气血网的生命活力等价于人体负熵生存能力。
北丐新秀·2020-12-09 01:53

MATLAB图像分割应用GUI设计与制作

1.图像分割应用图像切割算法研究领域目前提出了许多新方法，如严学强等人提出了基于量化直方图的最大熵阈值处理算法，将直方图量化后采用最大熵阈值处理算法，使计算量大大减小薛景浩、章毓晋等人提出基于最大类间后验交叉熵的阈值化分割算法
MATLAB粉粉·2020-11-30 18:02

逻辑回归二分类算法python_（数据科学学习手札24）逻辑回归分类器原理详解&Python与R实现...

一、简介逻辑回归（LogisticRegression），与它的名字恰恰相反，它是一个分类器而非回归方法，在一些文献里它也被称为logit回归、最大熵分类器（MaxEnt）、对数线性分类器等；我们都知道可以用回归模型来进行回归任务
weixin_39849888·2020-11-29 12:01

李航《统计学习方法》第2版 第6章 Python编程逻辑斯谛回归与最大熵模型 实现mnist数据集分类

（参考深度之眼dodo老师代码，代码注释中有老师博客地址）逻辑斯谛回归模型（学习算法：梯度下降）#coding=utf-8#Author:Dodo#Date:2018-11-27#Email:[email protected]#Blog:www.pkudodo.com'''数据集：Mnist训练集数量：60000测试集数量：10000----------------------------
#苦行僧·2020-11-17 21:08

各种机器学习算法的应用场景分别是什么（比如朴素贝叶斯、决策树、K 近邻、SVM、逻辑回归最大熵模型）？...

链接：https://www.zhihu.com/question/26726794编辑：深度学习与计算机视觉声明：仅做学术分享，侵删k近邻、贝叶斯、决策树、svm、逻辑斯蒂回归和最大熵模型、隐马尔科夫
woshicver·2020-10-22 09:00

NLP学习笔记-隐马尔可夫（HMM）、最大熵马尔科夫模型（MEMM）、条件随机场(CRF)、最大匹配法（八）

隐马尔可夫1.自动机自动机：（又称为有限自动机，有限状态自动机，FSA）是表示有限个状态以及在这些状态之间的转移和动作等行为的数学模型。例如：我们常用的正则表达式就是一种用来描述字符串出现字符的自动机。假如我们有正则表达式：baa+!，表示的是ba后面有1个或这多个a，最后是一个感叹号。我们可以把上述的自动机用图来展示，如下：自动机从初始状态q0开始，反复进行下面的过程：找到第一个字母b，如果找到
阁下和不同风起·2020-09-19 00:23

【机器学习】对数线性模型之Logistic回归、SoftMax回归和最大熵模型

点击上方蓝色字体，关注AI小白入门哟跟着博主的脚步，每天进步一点点本文介绍对数线性分类模型，在线性模型的基础上通过复合函数（sigmoid，softmax，entropy）将其映射到概率区间，使用对数损失构建目标函数。首先以概率的方式解释了logistic回归为什么使用sigmoid函数和对数损失，然后将二分类扩展到多分类，导出sigmoid函数的高维形式softmax函数对应softmax回归，
大盗零妖qaq·2020-09-16 22:10

对数线性模型、最大熵马尔科夫模型和条件随机场(翻译) 一

1.符号整篇文章里，使用下划线表示向量，例如ω‾∈Rd\underline\omega\in\mathbb{R}^dω∈Rd是由ω1,ω2,…ωd\omega_1,\omega_2,\dots\omega_dω1,ω2,…ωd组成的向量。exp(x)=exexp(x)=e^xexp(x)=ex。2.对数线性模型给定两个集合X\mathcal{X}X和Y\mathcal{Y}Y,假设Y\mathca
lldustc·2020-09-15 08:13

判别模型和生成模型总结

常见模型判别模型：最大熵模型（ME），条件随机场（CRF），最大熵马尔可夫（MEMM），SVM生成模型：朴素贝叶斯（NB），隐马尔可夫模型（HMM），LDA主题模型，高斯混合模型优缺点：生成
promisejia·2020-09-15 05:29

最大熵模型

其实，这里边包含了所谓的最大熵原理（TheMaximumEntropyPrinciple）。什么是熵？熵在统计物理中用于度量一个热力学系
剑之所致，心之所往·2020-09-15 04:36

白话机器学习算法（九）朴素贝叶斯

朴素贝叶斯，确实很朴素，原理也很简单，但是用途很厉害；很多涉及概率的机器学习算法都要用到这些东西：最大似然估计（MLE），贝叶斯估计（最大后验MAP），EM(也是最大似然估计，只是方法不同)，最大熵；先说点废话
wangxin110000·2020-09-14 20:13

opencv阈值分割合集（canny、自适应阈值、七种常见阈值）

七种常见阈值分割代码(Otsu、最大熵、迭代法、自适应阀值、手动、迭代法、基本全局阈值法)：https://blog.csdn.net/qq_33485434/article/details/78328681
狂奔的蜗牛也想跑·2020-09-14 06:37

【ML】从HMM到CRF，我学到了什么？

目录可以略过的前言朴素贝叶斯条件随机场最大熵马尔可夫模型条件随机场参考可以略过的前言以前总结HMM与CRF的区别是什么，只是记住了HMM是生成模型，CRF是条件概率分布模型，深一点的，HMM针对于建模，
一心想做工程师·2020-09-14 06:35

知识图谱中传统关系抽取方法

目前主要采用统计机器学习的方法，将关系实例转换成高维空间中的特征向量或直接用离散结构来表示，在标注语料库上训练生成分类模型，然后再识别实体间关系基于特征向量方法最大熵模型(Kambhatla2004)
sty945·2020-09-14 01:16

Task4条件随机场CRF

模型比较1.3模型之间的关系2概率图模型(GraphicalModels)3朴素贝叶斯分类器(NaiveBayesClassifier)4隐马尔可夫模型(HiddenMarkovModel，HMM)5最大熵马尔可夫模型
ClFH·2020-09-12 19:23

经典机器学习算法：最大熵模型

最大熵模型介绍最大熵模型简介最大熵原理最大熵模型概念定义统计数据集数学定义推导求解最大熵模型简介最大熵模型是对数线性模型，属于判别模型。
wujiekd·2020-09-12 17:06

喾哲~ (八月最佳)

《目录》数学的起源大数定律：贝叶斯概率：傅立叶变换：哈夫曼编码：最大熵原理：幸存者偏差：丑小鸭定理：阿姆达尔法则：马尔可夫模型：学者存在性定理：奥卡姆剃刀法则：柯尔莫哥洛夫复杂度：哥德尔不完备定理：二进制编码的有效性
Debroon·2020-09-12 12:37

自然语言处理-手写笔记

分词、隐马尔科夫模型隐马尔科夫、信息熵互信息、相对熵条件概率、N-gram模型条件随机场、维特比算法图论、网络爬虫、pagerank网页排名有限状态机、余弦定理信息指纹伪随机数产生算法、最大熵原理、GIS
母神·2020-09-11 22:22

机器学习常用算法总结（学习向）

机器学习常用算法总结文章目录机器学习常用算法总结1.感知机模型2.k近邻算法3.朴素贝叶斯4.决策树5.集成学习6.逻辑斯蒂回归7.最大熵模型8.支持向量机9.期望最大化算法10.聚类11.隐马尔可夫模型
爱暖阳真是太好了·2020-09-11 21:22

强化学习策略梯度梳理-SOTA下（A2C，A3C 代码）

强化学习策略梯度梳理-SOTA下策略梯度SOTA分布式ActorlearnerA2Cadvantage&lambdareturn最大熵batchedA2CA3C（AsynchronousAdvantageActorcritic
ThousandsOfWind·2020-08-26 08:17

强化学习策略梯度梳理4-SOTA中（DDPG TD3 SAC SAC-dicrete 附代码）

强化学习策略梯度梳理-SOTA中强化学习策略梯度梳理-SOTA中进阶方向2Q-learningDDPG连续动作空间离散动作空间-待学习TD3（TwinDelayedDDPG）SAC最大熵强化学习v.s.TD3code
ThousandsOfWind·2020-08-26 08:17

GBDT（Gradient Boost Decision Tree）

GBDT是决策树中的回归树，决策树分为回归树和分类树，分类树的衡量标准是最大熵，而回归树的衡量标准是最小化均方差。GBDT可以用来做分类
GeekStuff·2020-08-25 17:42

如何画出几种常见二分类损失函数（附代码）

在二分类的监督学习中，支持向量机、逻辑斯谛回归与最大熵模型、提升方法各自使用合页损失函数、逻辑斯谛损失函数、指数损失函数，分别写为：这3种损失函数都是0-1损失函数的上界，具有相似的形状。
湾区人工智能·2020-08-25 00:33

最大熵模型

以此为依据构建的模型叫做最大熵模型，后面会详细讲，这里只做简单介绍。然后是联合熵H(X,Y)、条件
JieFeiLau·2020-08-24 20:06

智能优化算法应用：基于GWO优化的最大熵图像多阈值分割 - 附代码

智能优化算法应用：基于GWO优化的最大熵图像多阈值分割-附代码文章目录智能优化算法应用：基于GWO优化的最大熵图像多阈值分割-附代码1.前言2.最大熵阈值分割原理3.基于灰狼优化（GWO）的多阈值分割4
Jack旭·2020-08-24 17:56

自然语言处理1-马尔科夫链和隐马尔科夫模型（HMM）

中文分词涉及的基本概念有马尔科夫链，隐马尔科夫模型（HMM），Ngram模型，最大熵马尔科夫模型(MEMM)，条件随机场(CRF)等1、马尔科夫链通俗讲马尔科夫链
tony_xjz·2020-08-24 02:53

google earth engine随缘学习（十）最大熵模型(Maximum Entropy Model)

今天学习利用最大熵模型进行分类，和gee关系不是特别大。。
八千鸟羽·2020-08-24 01:38

NLP：实体识别

实体识别算法1.1有监督的算法HMM最大熵svmcrf决策树1.2半监督的算法自举学习1.3无监督的算法词汇聚类1.4混合方法2分类2.1crf的算法2.2
LandscapeMi·2020-08-24 01:14

最大熵与正态分布

最大熵与正态分布Question已知随机分布的均值和方差，求使得熵最大的概率分布。
直觉与逻辑·2020-08-22 22:15

机器学习笔记-Task04-条件随机场CRF（Conditional Random Field）

)1.2.2判别模型（discriminativemodel）2.隐Markov模型（HMM）2.1Markov过程2.2隐Markov模型2.2.1两大假设2.2.2五个要素2.3问题3.MEMM（最大熵
Yicen_Young·2020-08-22 14:53

NLP --- 条件随机场CRF（预测算法详解）

前几节我们大概的介绍了学习算法，即GIS和IIS的算法，这两个算法在最大熵模型中讲的比较详细，想要深入理解这两个算法，需要你理解动态规划算法。
zsffuture·2020-08-22 14:24

机器学习之经典算法（十一） 条件随机场

条件随机场(CRF)由Lafferty等人于2001年提出，结合了最大熵模型和隐马尔可夫模型的特点，是一种无向图模型，近年来在分词、词性标注和命名实体识别等序列标注任务中取得了很好的效果。
AI专家·2020-08-22 14:43

【转】统计模型之间的比较，HMM，最大熵模型，CRF条件随机场

HMM模型将标注看作马尔可夫链，一阶马尔可夫链式针对相邻标注的关系进行建模，其中每个标记对应一个概率函数。HMM是一种生成模型，定义了联合概率分布，其中x和y分别表示观察序列和相对应的标注序列的随机变量。为了能够定义这种联合概率分布，生成模型需要枚举出所有可能的观察序列，这在实际运算过程中很困难，因为我们需要将观察序列的元素看做是彼此孤立的个体即假设每个元素彼此独立，任何时刻的观察结果只依赖于该时
weixin_34198583·2020-08-22 14:44

条件随机场（四）

对所有类型的CRF模型，包括最大熵模型，都是采用极大似然估计的方法来进行参数估计，也就是说在训练数据集$\mathcalT$上进行对数似然函数$\mathcalL$的极大化。
weixin_30612769·2020-08-22 14:55

下列哪个不属于CRF模型对于HMM和MEMM模型的优势（ ）

problem下列哪个不属于CRF模型对于HMM和MEMM模型的优势（）A.特征灵活B.速度快C.可容纳较多上下文信息D.全局最优答案：BanalysisHMM:隐马尔可夫模型MEMM:最大熵隐马尔可夫模型
农民小飞侠·2020-08-22 14:22

条件随机场学习笔记

首先，对条件随机场的【提出】和【应用场景】一片混沌，其次，说说它的思想吧，无非加入了【空间属性】，相比最大熵模型，多加入了【边特征函数】，而随机变量【X，Y】的联合概率分布的表达式并没有发生本质变化，所以说
Demon的黑与白·2020-08-22 14:47

CRF的优势

条件随机场与最大熵马尔科夫模型(MEMM)和其它马尔科夫判别式模型相比避免了一些有向图方面的基本限制，就是偏向于那些比较少的后续状态的状态点。
我是一只小兔纸咿呀咿呀呦·2020-08-22 14:51
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他