决策树理解

决策树理解（一）
参考书籍：
《机器学习》周志华，第1版
《统计学习方法》李航，第2版
用来记录自己对书中知识的理解，加强自己的理解和记忆，同时提出自己迷惑不解的地方，提高自己编辑的表达能力。

这里主要说的是分类决策树。
定义：分类决策树模型是一种描述对实例进行分类的树形结构，由结点，有向边组成，节点包含内部结点和叶结点。
决策树算法包含特征选择，决策树的生成，决策树的剪枝，这也算一个流程。
本文主要是对特征选择的理解，特征选择是选择哪个特征来划分特征空间，通俗点讲就是用哪个属性来对样本进行分类，特征选择根据以下几个参数进行选择，不同算法，选择的参数不同：
- 信息熵
- 信息增益（ID3)
- 信息增益比（C4.5）
熵：表示随机变量的不确定性
信息熵：

这个公式其实是计算所有样本分类的可能一个期望和，前面的负号是为了保证这个h(x)大于等于0。

信息增益：

公式表达的是a这个属性对于整个样本D来说，降低了不确定的可能性，使得D更加肯定。
举个例子
西瓜有三个属性：{纹理，敲声，色泽}，此时随机挑一个瓜，是好瓜的信息熵2.0，在得知这个瓜的纹理情况下的条件熵为0.5，那么基于纹理的信息增益就是1.5，也就是说这个瓜是好瓜的不确定性降低了1.5。

信息增益比：

这个IV(a)，称为属性a的固有值，a的取值越多，IV(a）的值通常越大。
需要注意，增益率准则对取值数目少的属性有偏好，因此C4.5算法通常取平均值以上的最大增益率的属性。

以下是基于西瓜书表4.1的西瓜数据集做的计算，比较基础，关键是很多数学知识都忘记了，复习一下。