最大熵

十五、一篇文章读懂拿了图灵奖和诺贝尔奖的概率图模型

概率图模型是概率论和图论的结合，经常见到的贝叶斯网络、马尔可夫模型、最大熵模型、条件随机场都属于概率图模型，这些模型有效的解决了很多实际问题，比如自然语言处理中的词性标注、实体识别等，书里的描述都公式纵横
jiangjingxuan·2020-06-23 21:52

《数学之美》—— 读后总结

大致按照下面的流程讲述：语言的兴起人工智能自然语言处理中文分词隐马尔可夫信息熵贾里尼克布尔与搜索图论与爬虫PageRank——相关性与可信度TF-IDF余弦定理与分类矩阵运算与文本处理信息指纹密码学搜索引擎最大熵模
ios99999·2020-06-23 18:39

条件随机场——深入剖析逻辑斯蒂回归和最大熵模型、条件随机场，他们到底有啥关系？（二）

文章目录线性链CRF特征函数如何理解1.w给定时，要找最优的y时，假设每个词m个状态，N个词，解空间是$m^N$个序列，暴力是指数级别的。2.如果给定了x,w这个p计算时有什么问题：归一化因子很麻烦CRF的三个问题——预测问题前向得分CRF的三个问题——概率计算CRF的三个问题——参数学习条件随机场和隐马尔可夫模型，哪个好？众所周知，条件随机场在NLP中做NER和词性标注等任务是一把好手，但是条件
Jamie_Wu·2020-06-23 17:48

从分类问题出发，朴素贝叶斯-隐马尔科夫模型-最大熵马尔科夫模型-条件随机场

在统计学习中，有两种模型：概率模型和非概率模型；软分类：使用的是概率模型，输出不同类对应的概率，最后的分类结果取概率最大的类，如多SVM组合分类；有逻辑回归，朴素贝叶斯-隐马尔科夫模型-最大熵马尔科夫模型
hyzhyzhyz12345·2020-06-23 17:24

分词算法模型学习笔记(二)——MEMM

分词算法模型学习笔记(二)——MEMMMaximumEntropyMarkovModel（MEMM，最大熵马尔科夫模型）1.HMM的存在问题生成式模型需要准确地计算出观测序列X和隐藏状态序列Y的联合概率
烧煤的快感·2020-06-23 10:28

继续Nginx WRR负载均衡算法的优化

不是想当然最好，是必然最好的，因为它就是最大熵结论，宇宙是懒惰的，低熵体的维持需要努力！  好吧，后来我承认了，我就是用的这个算法来做的reuseport优化，只是
dog250·2020-06-23 05:11

自然语言期末复习笔记—最大熵马尔科夫模型MEMM

在这篇博客，我们来谈一谈最大熵马尔科夫模型MEMM关于这部分内容，我看了一晚上，整个公式都都梳理了之后，愣是没明白这个最大熵体现在哪里，当然我最终查阅了很多资料，终于还是弄明白了，我会在这篇博客上详细讲解
Johnny_Cuii·2020-06-23 01:16

自然语言处理之三：最大熵马尔科夫模型

最大熵马尔科夫，看了N遍了。终于有点眉目。最大熵马尔科夫在建模的时候考虑的问题和ME（最大熵模型）其实是一样的。同样是马尔科夫的三个基本问题。
chjjunking·2020-06-22 22:09

熵，信息熵，最大熵，交叉熵，交叉熵，损失函数，随机熵，vc熵的区别和联系

1熵的定义起源于物理学领域。热力学中表征物质状态的参量之一，用符号S表示，其物理意义是体系混乱程度的度量，简单的可以表述为，在一个孤立系统中，熵总是增大，朝无序的方向发展。2在信息论中，熵是信息熵,熵代表了信息量，系统状态越少，熵越少。系统越复杂，熵越大，定义如下，H(x)=E[I(xi)]=E[log(2,1/P(xi))]=-∑P(xi)log(2,P(xi))(i=1,2,..n)其中，x表
changdejie·2020-06-22 21:06

【统计学习方法】第六章 逻辑回归与最大熵模型

文章目录基础概念第六章逻辑回归与最大熵模型1.逻辑回归模型1.1逻辑斯谛分布1.2二项逻辑斯谛回归模型1.3模型参数估计1.4多项逻辑斯谛回归2.最大熵模型3.模型学习的最优化算法（略）3.1改进迭代尺度法
aaon22357·2020-06-22 11:35

[白话解析]用水浒传为例学习最大熵马尔科夫模型

[白话解析]用水浒传为例学习最大熵马尔科夫模型0x00摘要本文将尽量使用易懂的方式，尽可能不涉及数学公式，而是从整体的思路上来看，运用感性直觉的思考来解释最大熵马尔可夫模型。
罗西的思考·2020-06-21 13:11

深度学习在NLP中的应用

深度学习在NLP中的应用1引言文本分类这个在NLP领域是一个很普通而应用很广的课题，而且已经有了相当多的研究成果，比如应用很广泛的基于规则特征的SVM分类器，以及加上朴素贝叶斯方法的SVM分类器，当然还有最大熵分类器
陈浅墨·2020-06-21 08:29

06_逻辑回归算法和最大熵模型

看了一天的最大熵模型，多少理解了一些内容，在学校看的啥啊真是，要不是写这个博客，关键的地方真是一点看不出来啊。反思再反思，看书的时候难懂的地方直接翻过去了，现在为了写出来，多查了很多资料。
十八线码农ing·2020-06-01 09:00

《机器学习Python实现_08_代价敏感学习_添加sample_weight支持》

简介这一节主要是为模型打补丁，在这之前笔者已经介绍并实现了几种典型的机器学习模型，比如线性回归、logistic回归、最大熵、感知机、svm等，但目前它们都有一个共性，那就是构造的损失函数对每个样本都是
努力的番茄·2020-05-24 23:00

机器学习模型之最大熵模型

1、最大熵模型最大熵模型描述的是这么一种情况，即在有约束条件的情况下，如何得到最好的模型。
空空如也_stephen·2020-05-23 11:00

《机器学习Python实现_05_线性模型_最大熵模型》

./')importmatplotlib.pyplotasplt%matplotlibinline一.最大熵原理最大熵的思想很朴素，即将已知事实以外的未知部分看做“等可能”的，而熵是描述“等可能”大小很合适的量化指标
努力的番茄·2020-05-18 23:00

计算机视觉基础-图像分割(阈值化)

Task05OpenCV框架实现基于阈值化的图像分割一、前言二、阈值化图像分割2.1原理2.2基本全局阈值处理2.3OTSU(最大类间方差法)2.4自适应阈值分割法2.5最大熵阈值分割算法三、基于OpenCV
CleMints·2020-04-28 23:45

逻辑回归和最大熵模型

逻辑回归逻辑分布在介绍逻辑回归之前，我先简单介绍一些logistic分布，在此之前，我只当其为一个简单的函数。logistic分布定义：假设为连续随机变量，服从logistic分布，则的分布函数和密度函数分别如下：其中为位置参数，为形状参数，值越小，曲线在中心附近增长越快对应的密度函数和分布函数的图如下：[图片上传失败...(image-c6edd0-1551349596414)]分布函数又叫lo
毛毛虫_wendy·2020-04-12 23:10

《统计学习方法》第 6 章“最大熵模型”学习笔记

用于分类问题最大熵模型用于分类问题，其基本假设是：在满足约束条件的情况下，条件熵最大的模型就是最好的模型。正如一个著名的投资理念“鸡蛋不要放在一个篮子里”。
李威威·2020-04-10 03:44

决策树、回归树算法

1.决策树用到是信息论1.1ID3算法决策树、熵与最大熵选择信息增益最大得那个特征，才符合算法思想。图11.计算类别的自身的熵(A)。
逍遥自在017·2020-04-09 20:43

逻辑斯谛回归&最大熵模型

1、逻辑斯谛回归模型逻辑斯谛回归是经典的分类方法。二项逻辑斯谛回归模型是如下条件概率分布：下面我们考察逻辑斯谛回归的特点。一个事件的几率（odds）是指该事件发生概率与该事件不发生的概率的比值。若事件发生概率为，那么该事件的几率为，该事件的对数几率（logodds）或logit函数是：对逻辑斯谛回归而言：因此在逻辑斯谛回归模型中，输出的对数几率是输入的线性函数。这就是逻辑斯谛回归的特点。模型的参数
单调不减·2020-04-06 06:55

Gradient Boosting Decision Tree (GBDT) 决策树

首先，区分概念：分类树&回归树分类树的准则是最大熵准则(相当于分得的两类远离1:1)；回归树的准则是最小化均方差(实际值-预测值)^2/N。
RouyiDing·2020-04-06 00:10

图像分割

（霍夫变换和边缘检测）B）基于像素属性的分布的相似性（如亮度值）得阈值；（graythresh）C)直接寻找区域的分割技术；（RegionGrow,暂不讨论）对应B又可以分为1.全局阈值法（Otsu、最大熵法
北风知我意·2020-04-02 20:41

感兴趣目标及对象提取

图像分割二值图像处理边界提取阈值分割法阈值分割法原理重点：各阈值分割法原理及优缺点最核心的就是阈值的最优选择1、基于灰度直方图来判断判断波峰波谷处2、均匀性度量法3、最大类间距离法4、最大类间方差法5、最大熵法局部自适应阈值分割法先划分成子块
王之何·2020-04-01 09:22

学习笔记CB007:分词、命名实体识别、词性标注、句法分析树

符合最大熵原理。基于条件随机场命名实体识别方法属于有监督学习方法，利用已标注大规模语料库训练。命名实体的放射性。命名实体的前后词。特征模板，当前位置前后n个位置字/词/字母/数字/
利炳根·2020-03-31 06:30

最大熵模型

最大熵模型0.引言这部分内容主要是从七月在线的课程上学习到的，算是自己的学习笔记。在介绍最大熵模型和EM算法之前首先要明确几个熵的概念，然后再来研究什么是最大熵，什么是最大熵模型，什么是EM算法。
吴金君·2020-03-27 15:22

信息论和数理统计——机器学习基础

目录一、信息论熵信源信息量信息熵条件熵信息增益信息增益比相对熵交叉熵最大熵原理二、数理统计与概率论的区别统计推断方式一：参数估计统计推断方式二：假设检验一、信息论信息论处理的是客观世界中的不确定性。
雪山飞猪·2020-03-26 21:00

逻辑回归目标函数凹凸性的证明

逻辑回归模型的物理含义是基于信息熵的，概率计算公式可以通过最大熵模型推导得出，而目标函数是通过极大似然估计得到的。这些基础知识本篇不再介绍，以后有时间再写推导过程。本篇的重点是，
0_oHuanyu·2020-03-25 19:04

自然语言处理（NLP）-思维导图-更新中

词语的变形和上线文意思分析标识化处理：有意义词语处理结果词干处理：词根相同处理词性标注WHAT:对词语性质，形式的定位HOW：如何使用1.顺序标注器1.1.正则标注器1.2N-gram标注器2.Brill标注器3.机器学习标注器3.1最大熵分类器
老生住长亭·2020-03-24 16:32

广义线性模型

在机器学习中，有很多模型都是基于广义线性模型的，比如传统的线性回归模型，最大熵模型，Logistic回归，softmax回归，等等。
jiandanjinxin·2020-03-22 12:10

Arxiv网络科学论文摘要6篇(2018-05-14)

社交媒体上的情绪驱动的社区分析和检测;Graphlets、node2vec和struc2vec在网络对齐任务中的作用;二模网络中链路预测的最大熵方法;时间网络上新菌株出现的动力学;基于网络的比特币泡沫指标
ComplexLY·2020-03-22 10:16

【机器学习】【最大熵模型】统计学原理

每条数据包含有若干个特征xi，模型需要计算数据属于y个类别的概率，然后取最大概率对应类别y作为该数据的归属类别。假设，全体数据中包含有N个特征可用于分类，每个特征对于决定将数据分为哪类的贡献不同。举例来说，在分词场景中，"中华民族伟大复兴"中的“华”字具有3个特征“中华”、“华”、“华民”，其中：（1）特征“中华”对于将“华”分属于各类的概率有：S=0.001,B=0.001,E=0.13,M=0
JinMoon·2020-03-13 03:28

经典概率模型和条件随机场

概率模型概述由上图中可知，1）：贝叶斯模型（NB）和隐马尔科夫模型（HMM）都属于求取联合概率的模型，而最大熵模型（ME）和条件随机场模型（CRF）则是求取条件概率模型。
lirainbow0·2020-03-08 10:44

[白话解析]用水浒传为例学习最大熵马尔科夫模型

[白话解析]用水浒传为例学习最大熵马尔科夫模型0x00摘要本文将尽量使用易懂的方式，尽可能不涉及数学公式，而是从整体的思路上来看，运用感性直觉的思考来解释最大熵马尔可夫模型。
罗西的思考·2020-03-07 21:00

深度学习 CNTK使用入门

可以训练DNNs、RNNs、CNNs、LTMS、罗杰斯特回归及最大熵模型，对于在做深度学习的朋友会有帮助。下面介绍CNTK中的几个样例的使用：1.首先下载工具包及源码。下载地址http
xiaozhuo12138·2020-02-26 17:56

机器学习基础·常用信息论基本概念

摘要熵、KL散度、互信息正文熵熵认为小概率事件信息量大，一个分布的熵为信息量的期望离散形式：连续形式：离散形式下最大熵为均匀分布；连续形式下，确定时，最大熵为高斯分布另外有：交叉熵、相对熵、互信息交叉熵
jiangweijie1981·2020-02-19 11:42

Arxiv网络科学论文摘要5篇(2017-05-11)

汽车销售动态背后的最大熵原理;挖掘目标属性子空间和大型归属网络中目标社区的集合;挖掘应用感知社区组织与社会网络中有关属性的扩展特征子空间;基于动态不对称链路影响的网络中有影响力的扩散者的准确排名;背景知识的分层在线学习
ComplexLY·2020-02-18 08:26

《统计学习方法》读书笔记

本文总结了《统计学习方法》（李航）中的一些机器学习方法，组织目录如下：【第1章】统计学习方法概论【第2章】感知机【第3章】k近邻法【第4章】朴素贝叶斯法【第5章】决策树【第6章】逻辑斯谛回归与最大熵模型
牛奶芝麻·2020-02-15 01:41

简单图像目标检测

总体目标：使用matlab编写程序，在图像中识别苹果果实目标所用知识：颜色空间：RGB颜色空间、HSV颜色空间、Lab颜色空间阈值分割：最大熵阈值分割、最大类间方差阈值分割连通域分析边缘检测：Canny
lightming6·2020-02-13 17:45

最大熵原理随笔

当我们需要对一个随机事件的概率分布进行预测时，我们的预测应当满足全部已知的条件，而对未知的情况不要作任何主观假设。小王准备花一笔钱买15个大公司的股票，如果他对这些公司一无所知，他选择的投资方案很可能是15种股票均分。如果有位行家告诉他，其中B公司最具潜力，其次是G公司。那么，他可能将更多的钱投资到B公司和G公司，其余的再均分到剩下的13种股票中。小王的这种选择就是基于已知条件与未知的不确定建立的
gyl58365·2020-02-08 14:40

文本分类方法总结

机器学习的文本分类方法1.1特征工程1.1.1文本预处理1.1.2文本表示和特征提取1.1.3基于语义的文本表示1.2分类器朴素贝叶斯分类（NaïveBayes）用朴素贝叶斯分类算法做中文文本分类KNNSVM最大熵
一枚小码农·2020-01-17 15:42

最大熵和概率分布

概率论我们需要描述一组数据时候，本质上需要描述每一个点。但是如果我们可以用分布去表示这些数据，就只需要均值或者方差分布参数，大大节省了存储空间。离散型随机分布伯努利分布：一次实验，结果只有两种结果。，期望：，方差：二项分布：n次伯努利实验正好得到k次成功的概率，单次成功的概率为p。当n=1的时候退化到伯努利分布。当p=0.5的时候，整体上和正态分布图形类似。，期望：，方差：几何分布：进行n次伯努利
springzzj·2020-01-16 23:31

机器学习面试之最大熵模型

最大熵模型属于运用最大熵原理的多分类模型，这个模型在面试中经常会与逻辑回归一起问，比如，为什么说二者是类似的？
milter·2020-01-05 14:28

2017.10.26

今天复习了信息论与最大熵那一块，信息熵作为一个信息的度量，表示事件的不确定性；人类在生产实践的时候就是不断地降低目标事件的不确定性，通过先验概率求后验概率，我们需要寻找降低不确定线性的最大信息熵，同时增加目标事件发生的确定性
三丝牛河·2020-01-04 01:50

最大熵模型

这次，我们在最大熵模型这章继续来学习熵，理解熵在该模型中所扮演的角色。以一个问题开始我们的学习：机器学习的目的或者意义是什么？
alpha19881007·2020-01-03 15:27

logistic回归模型与最大熵模型

logistic回归模型与最大熵模型标签：统计学习目录[TOC]logistic回归模型 分布  定义：logistic分布，指具有如下分布函数与密度函数。
arcral·2020-01-03 01:25

Arxiv网络科学论文摘要6篇(2018-07-30)

电网系统吸引盆地的多稳态性和变化;一种新的稳定的经济复杂算法;基于学习偏好和可靠性的众包任务推荐;宏观经济模型的最大熵网络重构;DeepLink：一种基于深度学习的新型链路预测框架;具有非均匀度量的有限网络中的时间连通性
ComplexLY·2019-12-31 23:13

Arxiv网络科学论文摘要8篇(2017-06-02)

艾滋病研究的研究方向涌现和演变;网络上雪崩的时态;社交机器人的集体行为在其Twitter的活动中被编码;网络容量限制多模式网络中的个性化PageRank;日本大型生产网络社区结构特征;不可约网络骨架：通过最大熵的无偏图过滤
ComplexLY·2019-12-31 14:32

最大熵模型

GitHubCSDN1.最大熵原理最大熵模型（MaximumEntropyModel)是通过最大熵原理推导实现,那什么是最大熵原理？
MaosongRan·2019-12-29 21:02

最大熵模型和条件随机场

最大熵模型：前言引入：如何理解最大熵模型，先从一个给预测值从实数域到概率值的转换再用最大熵构造特征的思想的角度来理解最大熵模型。
Milkmilkmilk·2019-12-19 05:04
上一页 9 10 11 12 13 14 15 16 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他