最大熵

06_逻辑回归算法和最大熵模型

看了一天的最大熵模型，多少理解了一些内容，在学校看的啥啊真是，要不是写这个博客，关键的地方真是一点看不出来啊。反思再反思，看书的时候难懂的地方直接翻过去了，现在为了写出来，多查了很多资料。
十八线码农ing·2020-06-01 09:00

《机器学习Python实现_08_代价敏感学习_添加sample_weight支持》

简介这一节主要是为模型打补丁，在这之前笔者已经介绍并实现了几种典型的机器学习模型，比如线性回归、logistic回归、最大熵、感知机、svm等，但目前它们都有一个共性，那就是构造的损失函数对每个样本都是
努力的番茄·2020-05-24 23:00

机器学习模型之最大熵模型

1、最大熵模型最大熵模型描述的是这么一种情况，即在有约束条件的情况下，如何得到最好的模型。
空空如也_stephen·2020-05-23 11:00

《机器学习Python实现_05_线性模型_最大熵模型》

./')importmatplotlib.pyplotasplt%matplotlibinline一.最大熵原理最大熵的思想很朴素，即将已知事实以外的未知部分看做“等可能”的，而熵是描述“等可能”大小很合适的量化指标
努力的番茄·2020-05-18 23:00

计算机视觉基础-图像分割(阈值化)

Task05OpenCV框架实现基于阈值化的图像分割一、前言二、阈值化图像分割2.1原理2.2基本全局阈值处理2.3OTSU(最大类间方差法)2.4自适应阈值分割法2.5最大熵阈值分割算法三、基于OpenCV
CleMints·2020-04-28 23:45

逻辑回归和最大熵模型

逻辑回归逻辑分布在介绍逻辑回归之前，我先简单介绍一些logistic分布，在此之前，我只当其为一个简单的函数。logistic分布定义：假设为连续随机变量，服从logistic分布，则的分布函数和密度函数分别如下：其中为位置参数，为形状参数，值越小，曲线在中心附近增长越快对应的密度函数和分布函数的图如下：[图片上传失败...(image-c6edd0-1551349596414)]分布函数又叫lo
毛毛虫_wendy·2020-04-12 23:10

《统计学习方法》第 6 章“最大熵模型”学习笔记

用于分类问题最大熵模型用于分类问题，其基本假设是：在满足约束条件的情况下，条件熵最大的模型就是最好的模型。正如一个著名的投资理念“鸡蛋不要放在一个篮子里”。
李威威·2020-04-10 03:44

决策树、回归树算法

1.决策树用到是信息论1.1ID3算法决策树、熵与最大熵选择信息增益最大得那个特征，才符合算法思想。图11.计算类别的自身的熵(A)。
逍遥自在017·2020-04-09 20:43

逻辑斯谛回归&最大熵模型

1、逻辑斯谛回归模型逻辑斯谛回归是经典的分类方法。二项逻辑斯谛回归模型是如下条件概率分布：下面我们考察逻辑斯谛回归的特点。一个事件的几率（odds）是指该事件发生概率与该事件不发生的概率的比值。若事件发生概率为，那么该事件的几率为，该事件的对数几率（logodds）或logit函数是：对逻辑斯谛回归而言：因此在逻辑斯谛回归模型中，输出的对数几率是输入的线性函数。这就是逻辑斯谛回归的特点。模型的参数
单调不减·2020-04-06 06:55

Gradient Boosting Decision Tree (GBDT) 决策树

首先，区分概念：分类树&回归树分类树的准则是最大熵准则(相当于分得的两类远离1:1)；回归树的准则是最小化均方差(实际值-预测值)^2/N。
RouyiDing·2020-04-06 00:10

图像分割

（霍夫变换和边缘检测）B）基于像素属性的分布的相似性（如亮度值）得阈值；（graythresh）C)直接寻找区域的分割技术；（RegionGrow,暂不讨论）对应B又可以分为1.全局阈值法（Otsu、最大熵法
北风知我意·2020-04-02 20:41

感兴趣目标及对象提取

图像分割二值图像处理边界提取阈值分割法阈值分割法原理重点：各阈值分割法原理及优缺点最核心的就是阈值的最优选择1、基于灰度直方图来判断判断波峰波谷处2、均匀性度量法3、最大类间距离法4、最大类间方差法5、最大熵法局部自适应阈值分割法先划分成子块
王之何·2020-04-01 09:22

学习笔记CB007:分词、命名实体识别、词性标注、句法分析树

符合最大熵原理。基于条件随机场命名实体识别方法属于有监督学习方法，利用已标注大规模语料库训练。命名实体的放射性。命名实体的前后词。特征模板，当前位置前后n个位置字/词/字母/数字/
利炳根·2020-03-31 06:30

最大熵模型

最大熵模型0.引言这部分内容主要是从七月在线的课程上学习到的，算是自己的学习笔记。在介绍最大熵模型和EM算法之前首先要明确几个熵的概念，然后再来研究什么是最大熵，什么是最大熵模型，什么是EM算法。
吴金君·2020-03-27 15:22

信息论和数理统计——机器学习基础

目录一、信息论熵信源信息量信息熵条件熵信息增益信息增益比相对熵交叉熵最大熵原理二、数理统计与概率论的区别统计推断方式一：参数估计统计推断方式二：假设检验一、信息论信息论处理的是客观世界中的不确定性。
雪山飞猪·2020-03-26 21:00

逻辑回归目标函数凹凸性的证明

逻辑回归模型的物理含义是基于信息熵的，概率计算公式可以通过最大熵模型推导得出，而目标函数是通过极大似然估计得到的。这些基础知识本篇不再介绍，以后有时间再写推导过程。本篇的重点是，
0_oHuanyu·2020-03-25 19:04

自然语言处理（NLP）-思维导图-更新中

词语的变形和上线文意思分析标识化处理：有意义词语处理结果词干处理：词根相同处理词性标注WHAT:对词语性质，形式的定位HOW：如何使用1.顺序标注器1.1.正则标注器1.2N-gram标注器2.Brill标注器3.机器学习标注器3.1最大熵分类器
老生住长亭·2020-03-24 16:32

广义线性模型

在机器学习中，有很多模型都是基于广义线性模型的，比如传统的线性回归模型，最大熵模型，Logistic回归，softmax回归，等等。
jiandanjinxin·2020-03-22 12:10

Arxiv网络科学论文摘要6篇(2018-05-14)

社交媒体上的情绪驱动的社区分析和检测;Graphlets、node2vec和struc2vec在网络对齐任务中的作用;二模网络中链路预测的最大熵方法;时间网络上新菌株出现的动力学;基于网络的比特币泡沫指标
ComplexLY·2020-03-22 10:16

【机器学习】【最大熵模型】统计学原理

每条数据包含有若干个特征xi，模型需要计算数据属于y个类别的概率，然后取最大概率对应类别y作为该数据的归属类别。假设，全体数据中包含有N个特征可用于分类，每个特征对于决定将数据分为哪类的贡献不同。举例来说，在分词场景中，"中华民族伟大复兴"中的“华”字具有3个特征“中华”、“华”、“华民”，其中：（1）特征“中华”对于将“华”分属于各类的概率有：S=0.001,B=0.001,E=0.13,M=0
JinMoon·2020-03-13 03:28

经典概率模型和条件随机场

概率模型概述由上图中可知，1）：贝叶斯模型（NB）和隐马尔科夫模型（HMM）都属于求取联合概率的模型，而最大熵模型（ME）和条件随机场模型（CRF）则是求取条件概率模型。
lirainbow0·2020-03-08 10:44

[白话解析]用水浒传为例学习最大熵马尔科夫模型

[白话解析]用水浒传为例学习最大熵马尔科夫模型0x00摘要本文将尽量使用易懂的方式，尽可能不涉及数学公式，而是从整体的思路上来看，运用感性直觉的思考来解释最大熵马尔可夫模型。
罗西的思考·2020-03-07 21:00

深度学习 CNTK使用入门

可以训练DNNs、RNNs、CNNs、LTMS、罗杰斯特回归及最大熵模型，对于在做深度学习的朋友会有帮助。下面介绍CNTK中的几个样例的使用：1.首先下载工具包及源码。下载地址http
xiaozhuo12138·2020-02-26 17:56

机器学习基础·常用信息论基本概念

摘要熵、KL散度、互信息正文熵熵认为小概率事件信息量大，一个分布的熵为信息量的期望离散形式：连续形式：离散形式下最大熵为均匀分布；连续形式下，确定时，最大熵为高斯分布另外有：交叉熵、相对熵、互信息交叉熵
jiangweijie1981·2020-02-19 11:42

Arxiv网络科学论文摘要5篇(2017-05-11)

汽车销售动态背后的最大熵原理;挖掘目标属性子空间和大型归属网络中目标社区的集合;挖掘应用感知社区组织与社会网络中有关属性的扩展特征子空间;基于动态不对称链路影响的网络中有影响力的扩散者的准确排名;背景知识的分层在线学习
ComplexLY·2020-02-18 08:26

《统计学习方法》读书笔记

本文总结了《统计学习方法》（李航）中的一些机器学习方法，组织目录如下：【第1章】统计学习方法概论【第2章】感知机【第3章】k近邻法【第4章】朴素贝叶斯法【第5章】决策树【第6章】逻辑斯谛回归与最大熵模型
牛奶芝麻·2020-02-15 01:41

简单图像目标检测

总体目标：使用matlab编写程序，在图像中识别苹果果实目标所用知识：颜色空间：RGB颜色空间、HSV颜色空间、Lab颜色空间阈值分割：最大熵阈值分割、最大类间方差阈值分割连通域分析边缘检测：Canny
lightming6·2020-02-13 17:45

最大熵原理随笔

当我们需要对一个随机事件的概率分布进行预测时，我们的预测应当满足全部已知的条件，而对未知的情况不要作任何主观假设。小王准备花一笔钱买15个大公司的股票，如果他对这些公司一无所知，他选择的投资方案很可能是15种股票均分。如果有位行家告诉他，其中B公司最具潜力，其次是G公司。那么，他可能将更多的钱投资到B公司和G公司，其余的再均分到剩下的13种股票中。小王的这种选择就是基于已知条件与未知的不确定建立的
gyl58365·2020-02-08 14:40

文本分类方法总结

机器学习的文本分类方法1.1特征工程1.1.1文本预处理1.1.2文本表示和特征提取1.1.3基于语义的文本表示1.2分类器朴素贝叶斯分类（NaïveBayes）用朴素贝叶斯分类算法做中文文本分类KNNSVM最大熵
一枚小码农·2020-01-17 15:42

最大熵和概率分布

概率论我们需要描述一组数据时候，本质上需要描述每一个点。但是如果我们可以用分布去表示这些数据，就只需要均值或者方差分布参数，大大节省了存储空间。离散型随机分布伯努利分布：一次实验，结果只有两种结果。，期望：，方差：二项分布：n次伯努利实验正好得到k次成功的概率，单次成功的概率为p。当n=1的时候退化到伯努利分布。当p=0.5的时候，整体上和正态分布图形类似。，期望：，方差：几何分布：进行n次伯努利
springzzj·2020-01-16 23:31

机器学习面试之最大熵模型

最大熵模型属于运用最大熵原理的多分类模型，这个模型在面试中经常会与逻辑回归一起问，比如，为什么说二者是类似的？
milter·2020-01-05 14:28

2017.10.26

今天复习了信息论与最大熵那一块，信息熵作为一个信息的度量，表示事件的不确定性；人类在生产实践的时候就是不断地降低目标事件的不确定性，通过先验概率求后验概率，我们需要寻找降低不确定线性的最大信息熵，同时增加目标事件发生的确定性
三丝牛河·2020-01-04 01:50

最大熵模型

这次，我们在最大熵模型这章继续来学习熵，理解熵在该模型中所扮演的角色。以一个问题开始我们的学习：机器学习的目的或者意义是什么？
alpha19881007·2020-01-03 15:27

logistic回归模型与最大熵模型

logistic回归模型与最大熵模型标签：统计学习目录[TOC]logistic回归模型 分布  定义：logistic分布，指具有如下分布函数与密度函数。
arcral·2020-01-03 01:25

Arxiv网络科学论文摘要6篇(2018-07-30)

电网系统吸引盆地的多稳态性和变化;一种新的稳定的经济复杂算法;基于学习偏好和可靠性的众包任务推荐;宏观经济模型的最大熵网络重构;DeepLink：一种基于深度学习的新型链路预测框架;具有非均匀度量的有限网络中的时间连通性
ComplexLY·2019-12-31 23:13

Arxiv网络科学论文摘要8篇(2017-06-02)

艾滋病研究的研究方向涌现和演变;网络上雪崩的时态;社交机器人的集体行为在其Twitter的活动中被编码;网络容量限制多模式网络中的个性化PageRank;日本大型生产网络社区结构特征;不可约网络骨架：通过最大熵的无偏图过滤
ComplexLY·2019-12-31 14:32

最大熵模型

GitHubCSDN1.最大熵原理最大熵模型（MaximumEntropyModel)是通过最大熵原理推导实现,那什么是最大熵原理？
MaosongRan·2019-12-29 21:02

最大熵模型和条件随机场

最大熵模型：前言引入：如何理解最大熵模型，先从一个给预测值从实数域到概率值的转换再用最大熵构造特征的思想的角度来理解最大熵模型。
Milkmilkmilk·2019-12-19 05:04

广义线性模型

在机器学习中，有很多模型都是基于广义线性模型的，比如传统的线性回归模型，最大熵模型，Logistic回归，softmax回归，等等。今天主要来学习如何来针对某类型的分布建立相应的广义线性模型。
Arya鑫·2019-12-18 00:12

几率odds与逻辑回归

13December20151.引言无论在学术界，还是在工业界，LogisticRegression(LR,逻辑回归)模型[1]是常用的分类模型，被用于各种分类场景和点击率预估问题等，它也是MaxEntropy(ME,最大熵
元气小地瓜·2019-12-12 11:30

资源下载 | 深度学习、机器学习、机器学习实战、统计学习方法、高等数学、线性代数

本书全面系统地介绍了统计学习的主要方法，特别是监督学习方法，包括感知机、k近邻法、朴素贝叶斯法、决策树、逻辑斯谛回归与最大熵模型、支持向量机、提升方法、em算法、隐马尔可夫模型和条件随机场等。
我是8位的·2019-11-20 21:00

100天搞定机器学习|Day55 最大熵模型

1、熵的定义熵最早是一个物理学概念，由克劳修斯于1854年提出，它是描述事物无序性的参数，跟热力学第二定律的宏观方向性有关：在不加外力的情况下，总是往混乱状态改变。熵增是宇宙的基本定律，自然的有序状态会自发的逐步变为混沌状态。1948年，香农将熵的概念引申到信道通信的过程中，从而开创了”信息论“这门学科。香农用“信息熵”来描述随机变量的不确定程度，也即信息量的数学期望。关于信息熵、条件熵、联合熵、
jpld·2019-11-20 16:00

《计算语言学》课堂笔记

条件最大熵（20191029）有向图模型有向图模型的分解一阶马尔科夫模型也是有向图模型，是链式的HMM也是，无向图模型团（全连通子图）、最大团（不被其他团所包含的团）势函数：把团映射为正实数，团中不同的取值组合映射到不同的正实数上
lucia320·2019-11-19 20:42

基于sklearn的集成分类器

，模型之间存在依赖关系，最终整合模型随机森林分类器随机森林分类器是投票式的集成模型，核心思想是训练数个并行的决策树，对所有决策树的输出做投票处理，为了防止所有决策树生长成相同的样子，决策树的特征选取由最大熵增变为随机选
月见樽·2019-11-07 07:02

吴恩达深度学习-神经网络基础（神经网络和深度学习）

参见李航-第6章逻辑斯蒂回归与最大熵模型2.3logistic回归损失函数通过损失函数最小化，来找对应的w和b，即确定模型。逻辑回归损失函数.png损失函数又叫做误差函数，用来衡量算法的运行情况。
瘦长的丰一禾·2019-11-03 03:37

自然语言处理从小白到大白系列（5）多个角度彻底理解最大熵模型

文章目录1.最大熵模型初探1.1模型引入1.2特征函数2.最大熵模型和逻辑回归的瓜葛3.最大熵模型和条件随机场的绯闻4.最大熵模型和同母异父兄弟极大似然估计5.最大熵马尔科夫模型5.1隐马尔科夫模型的局限
Jamie_Wu·2019-10-20 15:37

自然语言处理从小白到大白系列（4）条件随机场为什么像女朋友一样不可理喻？

众所周知，条件随机场在NLP中做NER和词性标注等任务是一把好手，但是条件随机场一直是很多同学心中谜一样的存在：贝叶斯网络，隐马模型，马尔科夫网络，最大熵隐马尔可夫模型，这些概率图就是都是写什么样的关系
Jamie_Wu·2019-10-18 10:08

Identification of Encryption Algorithm Using Decision Tree

准备工作通过分析各式各样的密文，作者发现密文都是由乱码（符号）、字母（大小写）和数字组成的，然后利用这些信息的熵、最大熵等构建决策树。整个过程分为训练阶段和测试阶段。
火腿烧豆腐·2019-10-15 17:00

Arxiv网络科学论文摘要12篇(2019-09-30)

图结构和半监督分类联合学习;社会物联网基于海林格的信任管理的矩阵分解模型;通过多路相互作用网络的非线性动力学冲突模型;社区检测的新指标;PowNet：大规模水能耦合研究的电力系统分析模型;一般排序分布的最大熵框架与社会经济应用
ComplexLY·2019-09-30 09:04

数学之美读后感&&习惯的代码规范

更重要的是带给自己的思考首先来梳理一下所获的知识吧主要介绍了这些数学方法：统计方法、统计语言模型、中文信息处理、隐含马尔科夫模型、布尔代数、图论、网页排名技术、信息论、动态规划、余弦定理、矩阵运算、信息指纹、密码学、搜索技术、数学模型、最大熵模型
更欣·2019-09-07 17:00
上一页 9 10 11 12 13 14 15 16 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他