Gini

随机森林

这里主要介绍基于基尼系数（GINI）的特征选择，因为随机森林
Alright_Well·2018-04-26 09:33

CART之回归树python代码实现

一、CART(ClassificationAndRegressionTree)分类回归树1、基尼指数：在分类问题中，假设有KK个类，样本点属于第kk类的概率为PkPk，则概率分布的基尼指数定义为：Gini
Alice20171215·2018-04-19 12:14

CH4 Classification

1-4/7*4/7-3/7*3/7=0.48979591-2/5*2/5-3/5*3/5=0.48GINI=(7/12)*0.4898+(5/12)*0.48=0.4861-1/5*1/5-4/5*4/
gyDBD·2018-03-04 07:12

使用随机森林计算特征重要度

不纯度在分类中通常为Gini不纯度或信息增益/信息熵，对于回归问题来说是方差。
笛在月明·2017-12-20 20:21

一种解决keras的earlystopping的自定义metric麻烦（比如auc）的方法

存在两个比较麻烦的问题：1.自定义metric的函数必须写成后端（theano或者TensorFlow）的符号函数的形式，对于一些比较复杂的计算函数，编写符号函数是一个麻烦的事儿，比如auc或者auc相关的gini
哈哈进步·2017-11-24 23:55

机器学习评判指标

通常来说，有：[x]准确度；PR(PrecisionRecall)；[x]F测量；[]MCC；[]BM；[]MK；[]Gini系数；[x]ROC；[]Zscore；[x]AUC；[]CostCurve；
weixin_34179968·2017-11-22 18:00

怎样区分适度水解奶粉，——陈宇洛燕

在德国有一项非常著名的GINI研究（德国婴儿营养干预研究），被公认为婴儿过敏
陈宇洛燕·2017-11-13 22:16

机器学习算法---随机森林实现（包括回归和分类）

如果cart树是分类数，那么采用的计算原则就是gini指数。随机森林基于每棵树的分类结果，采用多数表决的手段进行分类。
Jiede1·2017-10-16 00:26

【模型 区分度】神秘的KS值和GINI系数

有效性指标中的区分能力指标：KS(Kolmogorov-Smirnov)：KS用于模型风险区分能力进行评估，指标衡量的是好坏样本累计分部之间的差值。好坏样本累计差异越大，KS指标越大，那么模型的风险区分能力越强。KS的计算步骤如下：1.计算每个评分区间的好坏账户数。2.计算每个评分区间的累计好账户数占总好账户数比率(good%)和累计坏账户数占总坏账户数比率(bad%)。3.计算每个评分区间累计坏
开心果汁·2017-10-12 17:06

RandomForest调参，不断总结

classsklearn.ensemble.RandomForestClassifier(n_estimators:int默认10criterion：gini”or“entropy”(default=”
qq_32659887·2017-08-11 15:53

经典算法详解--CART分类决策树、回归树和模型树

决策树创建过程分析了信息混乱度度量Gini指数、连续和离散特征的特殊处理、连续和离散特征共存时函数的特殊处理和后剪枝；用
Jiede1·2017-07-24 18:29

Notes—Random Forest-feature importance随机森林对特征排序

selecting-good-features-part-iii-random-forests/twomethods:1.Meandecreaseimpurity大概是对于每颗树，按照impurity（gini
code_caq·2017-07-01 16:23

决策树与随机森林算法（理论）-----------------------机器学习系列（二））

X|Y)=−∑x∈X,y∈Yp(x,y)logp(x|y)相对熵：D(p||q)=∑xp(x)logp(x)q(x)互信息：I(X,Y)=∑x∈X,y∈Yp(x,y)logp(x,y)p(x)p(y)Gini
河南骏·2017-06-26 14:34

机器学习|决策树分类与python实现

目录：1.决策树简介2.决策树生成a)选择标准——熵b)信息增益——ID3算法c)信息增益率——C4.5算法d)Gini系数——CART算法e)评价标准——评价函数3.剪枝操作a)预剪枝b)后剪枝4.决策树的集成
最会设计的科研狗·2017-06-14 19:55

【官方节目】冠军零距离：有情、有义，这才是游戏人生

（按姓氏拼音字母排序）白鲨、Gini、光明君、海因、娇娇、米勒、漠然、娃娃……众多人气主播齐聚，带来最犀利、专业的赛事解说。
腾讯游戏竞技平台·2017-05-08 00:00

信息增益、信息增益率、gini、特征选择、决策树

先简单介绍一下概念熵：表示随机变量的不确定性。条件熵：在一个条件下，随机变量的不确定性。信息增益：熵-条件熵。在一个条件下，信息不确定性减少的程度。通俗地讲，X(明天下雨)是一个随机变量，X的熵可以算出来，Y(明天阴天)也是随机变量，在阴天情况下下雨的信息熵我们如果也知道的话（此处需要知道其联合概率分布或是通过数据估计）即是条件熵。两者相减就是信息增益。原来明天下雨例如信息熵是2，条件熵是0.01
默一鸣·2017-05-04 16:16

决策树的Python实现

以不同标准进行划分，也就有了各种版本的决策树，著名的有ID3，C4.5，Gini等。在此仅介绍ID3和Gin
qq_25414485·2017-03-30 14:46

[机器学习篇]机器学习知识总结篇

#1、机器学习的数学基础1-数学分析机器学习的一般方法和横向比较数学是有用的：以SVD为例机器学习的角度看数学复习数学分析直观解释常数e导数/梯度随机梯度下降Taylor展式的落地应用gini系数凸函数
刘玉刚·2017-03-08 22:48

CART-分类回归树

cart创建分类决策树使用当前数据集中具有最小Gini信息增益的特征作为结点划分决策树。详述可见决策树一节的描述。回归树，与分类决策树类似，但叶子节点数据类型不是离散型，而是连续型。cart用
hadooper-enjoyment·2017-02-07 16:36

决策树

分类不纯度熵不纯度：i(N)=∑jP(ωj)log(ωj)Gini不纯度：i(N)=∑j≠iP(wi)P(wj)=∑jP(wj)(1−P(wj))=1−∑jP(wj)2错分不纯度：i(N)=1−maxP
_飞奔的蜗牛_·2017-01-10 00:26

基于ID3算法生成决策树

决策树的类型有很多，有CART、ID3和C4.5等，其中CART是基于基尼不纯度(Gini)的，而ID3和C4.5都是基于信息熵的，它们两个得到的结果都是一样的，本次定义主要针对ID3算法。
yqtaowhu·2016-11-05 17:41

cart中回归树的原理和实现

前面说了那么多，一直围绕着分类问题讨论，下面我们开始学习回归树吧，cart生成有两个关键点如何评价最优二分结果什么时候停止和如何确定叶子节点的值cart分类树采用gini系数来对二分结果进行评价，叶子节点的值使用多数表决
2BiTT·2016-10-24 17:00

机器学习模型的评价指标和方法

article/details/52574156衡量分类器的好坏对于二类分类器/分类算法，评价指标主要有accuracy，[precision，recall，F-score，pr曲线]，ROC-AUC曲线，gini
-柚子皮-·2016-09-18 15:55

信息熵 条件熵 信息增益 信息增益比 GINI系数

在信息论与概率统计学中，熵（entropy）是一个很重要的概念。在机器学习与特征工程中，熵的概念也用得灰常多。今天就把跟熵有关的东东稍微整理一下，权当笔记。1.信息熵熵是神马东东？信息论的开山祖师爷Shannon（中文翻译过来一般叫香农，总觉得很多文字经过翻译就不对劲，就跟人家老外翻译贱人就是矫情一样，感觉怪怪的。所以咱们还是用英文了，偷偷装个小逼）明确告诉我们，信息的不确定性可以用熵来表示：对于
bitcarmanlee·2016-05-24 10:55

决策树ID3、C4.5、C5.0以及CART算法之间的比较-并用scikit-learn决策树拟合Iris数据集

最后，我用scikit-learn的决策树拟合了Iris数据集，并生成了最后的决策树图片信息增益（informationgain(IG)）在介绍信息增益之前，我想先介绍3种不纯度的度量手段，它们分别是Gini
xlinsist·2016-05-21 20:00

CART分类和回归树

(＾Ｕ＾)ノ~杂度（不纯度）：gini（t）=1-（各类数量在数据集中的概率）的平方和。(＾Ｕ＾)ノ~标准问题集：所有候选分支方案的集合。连续属性的标准问题集：形如“Is
一只胖椰·2016-05-19 14:48

信息增益，信息增益率，Gini

信息增益，信息增益率，Gini：这三个概念决策树用来划分属性的时候用到的，其中信息增益（InfoGain）用于ID3，Gini用于CART，信息增益率（InfoGainRatio）用于C4.5。
shenxiaoming77·2016-05-17 10:00

3.机器学习实战之决策树

简单理论介绍   决策树的类型有很多，有CART、ID3和C4.5等，其中CART是基于基尼不纯度(Gini)的，这里不做详解，而ID3和C4.5都是基于信息熵的，它们两个得到的结果都是一样的，本次定义主要针对
Wang_AI·2016-05-15 00:00

机器学习方法总结

大类名称关键词有监督分类决策树信息增益分类回归树Gini指数，Χ2统计量，剪枝朴素贝叶斯非参数估计，贝叶斯估计线性判别分析Fishre判别，特征向量求解K最邻近相似度度量：欧氏距离、街区距离、编辑距离、
lihaitao000·2016-04-17 15:00

分类模型的性能评估——以SAS Logistic回归为例(1): 混淆矩阵

跑完分类模型（Logistic回归、决策树、神经网络等），我们经常面对一大堆模型评估的报表和指标，如ConfusionMatrix、ROC、Lift、Gini、K-S之类（这个单子可以列很长），往往让很多在业务中需要解释它们的朋友头大
langb2014·2016-04-11 08:00

决策树系列（五）——CART

CART，又名分类回归树，是在ID3的基础上进行优化的决策树，学习CART记住以下几个关键点：（1）CART既能是分类树，又能是分类树；（2）当CART是分类树时，采用GINI值作为节点分裂的依据；当CART
学会分享~·2016-01-16 16:00

机器学习--决策树

Gini不纯度熵（Entropy）错误率上面的三个公式均是值越大，表示越“不纯”，越小表示越“纯”。三种公式只需要取一种即
anualday·2015-12-22 13:14

机器学习--决策树

Gini不纯度熵（Entropy）错误率上面的三个公式均是值越大，表示越“不纯”，越小表示越“纯”。三种公式只需要取一种即
anualday·2015-12-22 13:00

信息增益、信息增益率、Gini

：（1）使用信息增益率来选择属性，克服了用信息增益选择属性时偏向值多的不足；（2）在构树过程中进行剪枝；（3）能够完成对连续属性的离散化处理；（4）能够对不完整数据进行处理；2、信息增益、信息增益率、Gini
Txiaomiao·2015-12-08 15:10

分类算法属性选择度量--信息增益、增益率、Gini指标

属性选择度量就是分裂规则，用来确定分裂属性和分裂子集信息增益信息增益：某属性的信息增益值越大，这个属性作为一棵树的根节点就能使这棵树更简洁，降低树的高度。衡量给定属性划分训练样本的能力。计算信息增益的公式需要用到“熵”（Entropy）。熵：衡量任意样本集的纯度，熵越小，样本纯度越高。以二分类为例，H（X）表示熵，横坐标表示类别A在这两个类{A,B}中的百分比，越接近0.5，表示两个类对抗越明显。
u010111016·2015-11-22 19:00

CART分类器

cart进行属性分类得是用gini指标 如果我们用k，k=1,2,3……C表示类，其中C是类别集Result的因变量数目，一个节点A的
·2015-11-12 16:59

机器学习问题方法总结

大类 名称 关键词 有监督分类 决策树 信息增益 分类回归树 Gini指数，Χ2统计量，剪枝 朴素贝叶斯 非参数估计，贝叶斯估计
·2015-11-12 15:15

机器学习问题方法总结

机器学习问题方法总结 大类 名称 关键词 有监督分类 决策树 信息增益 分类回归树 Gini指数，Χ2统计量，剪枝 朴素贝叶斯
·2015-11-11 17:34

CART-GBRT-GBDT

最小化准则、特征选择）不一样，修剪树的准则不一样 回归树： 　　节点非纯度量：平方误差和 　　区域估计值：均值（在给定的划分下，均值带来的平方误差和最小） 分类树： 　　节点非纯度量：误分类误差、Gini
·2015-10-31 10:44

机器学习经典算法详解及Python实现--CART分类决策树、回归树和模型树

决策树创建过程分析了信息混乱度度量Gini指数、连续和离散特征的特殊处理、连续和离散特征共存时函数的特殊处理和后剪
jbfsdzpp·2015-10-10 16:00

机器学习经典算法详解及Python实现--CART分类决策树、回归树和模型树

决策树创建过程分析了信息混乱度度量Gini指数、连续和离散特征的特殊处理、连续和离散特征共存时函数的特殊处理和后剪
suipingsp·2014-12-30 12:00

Cart文本分类算法原理和例子

Cart算法使用GIni系数来度量对某个属性变量测试输出的狼族取值的差异性，理想的分组应该尽量使两组中样本输出变量的差异性总和达到最小，即“纯度”最大，也就是是两组输出变量取值的差异性下降最快，“纯度”
extraman·2014-12-05 11:04

机器学习问题方法总结

大类名称关键词有监督分类决策树信息增益分类回归树Gini指数，Χ2统计量，剪枝朴素贝叶斯非参数估计，贝叶斯估计线性判别分析Fishre判别，特征向量求解K最邻近相似度度量：欧氏距离、街区距离、编辑距离、
shenxiaoming77·2014-11-24 13:00

机器学习问题方法总结

转载自：http://www.cnblogs.com/zhangchaoyang/archive/2012/08/28/2660929.html大类名称关键词有监督分类决策树信息增益分类回归树Gini指数
u013524655·2014-11-13 17:00

机器学习实战笔记3(决策树与随机森林)

1：简单概念描述      决策树的类型有很多，有CART、ID3和C4.5等，其中CART是基于基尼不纯度(Gini)的，这里不做详解，而ID3和C4.5都是基于信息熵的，它们两个得到的结果都是一样的
Lu597203933·2014-07-21 21:00

决策树与熵、Gini不纯度计算

要使用决策树，就必须计算不纯度，计算公式有熵和基尼不纯度熵和基尼不纯度计算公式为：举个例子，假设有样本：A1A2B128B264则开始的时候，熵值为：E=-0.1*log2(0.1)-0.4*log2(0.4)-0.3*log2(0.3)-0.2*log2(0.2)=1.846根据属性A划分样本，则两个子样本分别为：A1B12B26A2B18B24两个子样本的熵分别为0.811和0.92，所以划分
onmyway_1985·2014-06-22 11:00

数据挖掘笔记-分类-决策树-2

这些算法则是根据Gini指标来计算的。SLIQSLIQ(SupervisedLearningInQuest)利用三中数据结构来构造树，分别是属性表、类表和类直方图。
fighting_2013·2014-05-28 14:00

数据挖掘笔记-分类-决策树-SLIQ和SPRINT

这些算法则是根据Gini指标来计算的。 基尼指数（Gini）Pj为类j出现的频率如果集合T分成两部分T1和T2，分别对应m1和m2条记录，那么这个分割的基尼指数就是:选择最小gini作为分割的标准。
wulinshishen·2014-05-28 14:00

数据挖掘笔记-分类-决策树-2

这些算法则是根据Gini指标来计算的。SLIQSLIQ(SupervisedLearningInQuest)利用三中数据结构来构造树，分别是属性表、类表和类直方图。
fighting_2013·2014-05-28 14:00

数据挖掘笔记-分类-决策树-2

这些算法则是根据Gini指标来计算的。SLIQSLIQ(SupervisedLearningInQuest)利用三中数据结构来构造树，分别是属性表、类表和类直方图。
fighting_2013·2014-05-28 14:00
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他