吃瓜教程3——决策树（西瓜书第四章）

目录

一、算法原理

从几何角度理解

最终目的

二、ID3决策树

自信息

信息熵

信息增益

ID3决策树

三、C4.5决策树

增益率

一、算法原理

从几何角度理解

根据某种准则划分特征空间

最终目的

将样本越分越“纯”

二、ID3决策树

自信息

信息熵

（以离散型为例）
即自信息的期望，度量随机变量X的不确定性，信息熵越大越不确定；X各个取值概率均等时信息熵最大（最不确定），某个取值概率为1时信息熵最小（最确定）。

将样本类别标记y视作随机变量，各个类别在样本集合D中的占比pk（k = 1,2,...|y|)视作各个类别取值的概率，则样本集合D（随机变量y）的信息熵（底数b去2）为

此时信息熵所代表的“不确定性”可以转换理解为集合样本内样本的"纯度"。

条件熵{Y的信息熵关于概率分布X的期望）：

在已知X后Y的不确定性

从单个属性（特征）a的角度来看，假设其可能取值为的样本集合，表示占比，那么在已知属性a的取值后，样本集合D的条件熵为

信息增益

在已知属性a的取值后y的不确定性减少的量，也即纯度的提升

ID3决策树

以信息增益为准则来划分属性的决策树

三、C4.5决策树

增益率

信息增益原则对可能取值数目较多的属性有所偏好（例如“编号”这个较为极端的例子，不过其本是原因不是取值数目过多，而是每个区之里面所包含的样本量太少），为减少这种偏好可能带来的不利影响，C4.5决策树选择使用“增益率”代替“信息增益",增益率定义为

其中

称为属性a的"固有值”，a的可能取值个数V越大，通常IV（a)也越大。