决策树理解

决策树理解(一)
参考书籍:
《机器学习》周志华,第1版
《统计学习方法》李航,第2版
用来记录自己对书中知识的理解,加强自己的理解和记忆,同时提出自己迷惑不解的地方,提高自己编辑的表达能力。

这里主要说的是分类决策树。
定义:分类决策树模型是一种描述对实例进行分类的树形结构,由结点,有向边组成,节点包含内部结点和叶结点。
决策树算法包含特征选择,决策树的生成,决策树的剪枝,这也算一个流程。
本文主要是对特征选择的理解,特征选择是选择哪个特征来划分特征空间,通俗点讲就是用哪个属性来对样本进行分类,特征选择根据以下几个参数进行选择,不同算法,选择的参数不同:
- 信息熵
- 信息增益(ID3)
- 信息增益比(C4.5)
熵:表示随机变量的不确定性
信息熵:
在这里插入图片描述

这个公式其实是计算所有样本分类的可能一个期望和,前面的负号是为了保证这个h(x)大于等于0。

信息增益:
在这里插入图片描述
公式表达的是a这个属性对于整个样本D来说,降低了不确定的可能性,使得D更加肯定。
举个例子
西瓜有三个属性:{纹理,敲声,色泽},此时随机挑一个瓜,是好瓜的信息熵2.0,在得知这个瓜的纹理情况下的条件熵为0.5,那么基于纹理的信息增益就是1.5,也就是说这个瓜是好瓜的不确定性降低了1.5。

信息增益比:
决策树理解_第1张图片
这个IV(a),称为属性a的固有值,a的取值越多,IV(a)的值通常越大。
需要注意,增益率准则对取值数目少的属性有偏好,因此C4.5算法通常取平均值以上的最大增益率的属性。

以下是基于西瓜书表4.1的西瓜数据集做的计算,比较基础,关键是很多数学知识都忘记了,复习一下。
决策树理解_第2张图片
决策树理解_第3张图片

你可能感兴趣的:(算法,决策树,机器学习)