决策树的分类准则

在具体介绍决策树的分类准则之前，首先了解信息熵和条件熵的定义：

信息熵——度量样本集合纯度最常用的一种指标，其定义如下：$$Ent(D)=-\sum _{k=1}^{|y|}{p}_{k}lo{g}_2{p}_k$$ 其中，$D=\{(x_1,y_1),(x_2,y_2),\dots ,(x_m,y_m)\}$表示样本集合，$|y|$表示样本类别总数，$p_k$表示第$k$类样本所占的比例，且：
$0\le p_k\le 1,{\sum }_{k=1}^{|y|}{p}_k=1.$$Ent(D)$值越小，纯度越高。

条件熵——在已知样本属性a的取值情况下，度量样本集合纯度的一种指标，其定义如下：$$H(D|a)=\sum _{v=1}^V\frac{|D^v|}{|D|}Ent(D^v)$$其中，a表示样本的某个属性，假定属性a有V个可能的取值$\{a^1,a^2,\dots ,a^V\}$。样本集合D中在属性a上取值为$a^v$的样本记为$D^v$，$Ent(D^v)$表示样本集合$D^v$的信息熵。$H(D|a)$值越大，纯度越高。

一、ID3决策树——以信息增益为准则来选择划分属性的决策树

信息增益：
$$\begin{array}{rl}Gain(D,a)& =Ent(D)-\sum _{v=1}^V\frac{|D^v|}{|D|}Ent(D^v)\\ & =Ent(D)-H(D|a)\end{array}$$ID3决策树选择信息增益最大的属性作为划分属性，因为信息增益越大，意味着使用该属性来进行划分所获得的”纯度“提升越大。

但是，以信息增益为划分准则的ID3决策树对可取值数目较多的属性有所偏好：
$$\begin{array}{rl}Gain(D,a)& =Ent(D)-\sum _{v=1}^V\frac{|D^v|}{|D|}Ent(D^v)\\ & =Ent(D)-\sum _{v=1}^V\frac{|D^v|}{|D|}(-\sum _{k=1}^{|y|}{p}_{k}lo{g}_2{p}_k)\\ & =Ent(D)-\sum _{v=1}^V\frac{|D^v|}{|D|}(-\sum _{k=1}^{|y|}\frac{|D_k^v|}{|D^v|}lo{g}_2\frac{|D_k^v|}{|D^v|})\end{array}$$ 其中，当某一属性可取值数目较多时，$D^v$会更加趋近于$D_k^v$（可极端考虑为$D^v=D_k^v$，即某一属性的可取值数目等于类别数），$Gain(D,a)$会更大。

二、C4.5决策树——以信息增益率为准则来选择划分属性的决策树

信息增益率：
$$Gain\_ratio(D,a)=\frac{Gain(D,a)}{IV(a)}$$ 其中：
$$IV(a)=-\sum _{v=1}^V\frac{|D^v|}{|D|}lo{g}_2\frac{|D^v|}{|D|}$$ $IV(a)$用来衡量样本对a属性分布是否均匀，越均匀，则$IV(a)$越大。

需要注意的是，增益率准测对可取植数目较少的属性有所偏好，因此，C4.5算法并不是直接选择增益率最大的属性进行划分，而是：先从候选划分属性中找出信息增益高于平均水平的属性，再从中选择增益率最高的。

三、CART决策树——以基尼指数为准则来选择划分属性的决策树

基尼值：$Gini(D)={\sum }_{v=1}^{|y|}\frac{|D^v|}{|D|}{p}_k(1-p_k)$
基尼值表示：从数据集中任意抽取两个样本，两个样本属于不同类别的概率。
基尼指数：$Gin{i}_{i}ndex(D,a)={\sum }_{v=1}^V\frac{|D^v|}{|D|}Gini(D^v)$
基尼值和基尼指数越小（随机抽取的样本是同一类别的概率越大），样本集合的纯度越高。