【机器学习】决策树特征选择准则 信息增益、信息增益率、基尼系数的计算及其python实现

1.问题引入

首先，我们引入需进行决策树算法学习的数据集$D$，如下，

特征$A={[}^{\prime }年{龄}^{\prime }{，}^{\prime }有工{作}^{\prime }{,}^{\prime }有自己的房{子}^{\prime }{,}^{\prime }信贷情{况}^{\prime }]$

类别$Y={[}^{\prime }类{别}^{\prime }]$

接着摆在我们面前的是首先选择哪个特征，其次选择哪个特征，…，最后选择哪个特征。（就是先选择好的特征，再选择坏的特征）

问题引入：  怎么知道特征的好坏呢？
如果一个特征A能使得数据分出来的类别最好，那么他就是最好的特征。
(就是提供的信息最为准确），因此我们引入信息增益来衡量提供的信息准确度。

2.信息增益

1.计算公式：

$G(D，A)=H(D)-H(D|A)$

解释: $G(D，A)$指的是特征$A$对数据集$D$的信息增益；

$H(D)$指数据集$D$的(经验)熵；

那么问题来了，什么是熵呢？
熵表示的是随机变量不确定性的度量。熵越大，表示这个系统越紊乱，越难确定一个东西。

$H(D|A)$指的是$A$条件下，数据集$D$的(经验)条件熵。

经验条件熵是什么呢？
例如：H(D|A)指的是特征A条件下，数据集D的不确定性。
换句话说，就是只知道特征A来确定数据D的类别，同样的，熵越大，越紊乱，越难确定类别。

注：
1.$$H(D)=-\sum _{i=0}^n{p}_{i}lo{g}_2{p}_i$$

$$i=1，...n(n为类别Y的数量)$$

$$p_i是每一类出现的概率，例如p_{{}^{\prime }{是}^{\prime }}=\frac{是出现的次数}{总数}=\frac{9}{15}$$

2.$$H(D|A)=\sum _{i=0}^n{p}_{i}H(Y|X=x_i)$$

$$i=1，...n(n为特征A取值的个数)$$

2.实例计算：

我们拿上述数据集D的特征A='年龄’为例计算其信息增益：

1.
$$H(D)=-\sum _{i=0}^n{p}_{i}lo{g}_2{p}_i=-\frac{6}{15}lo{g}_2\frac{6}{15}-\frac{9}{15}lo{g}_2\frac{9}{15}=0.971$$

此处类别’否’为6个样本，类别’是’为9个样本；

2.
$$H(D{|}^{\prime }年{龄}^{\prime })=\sum _{i=0}^n{p}_{i}H(Y|X=x_i)=p_{{}^{\prime }青{年}^{\prime }}H(Y|X=x_{{}^{\prime }青{年}^{\prime }})+p_{{}^{\prime }中{年}^{\prime }}H(Y|X=x_{{}^{\prime }中{年}^{\prime }})+p_{{}^{\prime }老{年}^{\prime }}H(Y|X=x_{{}^{\prime }老{年}^{\prime }})=\frac{5}{15}\ast (-\frac{2}{5}lo{g}_2\frac{2}{5}-\frac{3}{5}lo{g}_2\frac{3}{5})+\frac{5}{15}\ast (-\frac{2}{5}lo{g}_2\frac{2}{5}-\frac{3}{5}lo{g}_2\frac{3}{5})+\frac{5}{15}\ast (-\frac{1}{5}lo{g}_2\frac{1}{5}-\frac{4}{5}lo{g}_2\frac{4}{5})=0.888$$

3.
$$G(D{，}^{\prime }年{龄}^{\prime })=H(D)-H(D{|}^{\prime }年{龄}^{\prime })=0.971-0.888=0.083$$

同理：$$G(D{，}^{\prime }有工{作}^{\prime })=0.324，G(D{，}^{\prime }有自己的房{子}^{\prime })=0.420，G(D{，}^{\prime }信贷情{况}^{\prime })=0.363$$

比较各个特征的信息增益值，发现$G(D{，}^{\prime }有自己的房{子}^{\prime })=0.420$最大，即选择特征’有自己的房子’作为最优特征。

信息增益准则偏向选择对数目较多的特征，因此引入信息增益率准则

3.信息增益率

1.计算公式：

$$g_R(D，A)=(H(D)-H(D|A))/H_A(D)$$

注：$$H_A(D)=-\sum _{i=0}^n{p}_{i}lo{g}_2{p}_i，i=1，...n(n为特征A取值的个数)$$

2.实例计算：

我们还是拿上述数据集D的特征A='年龄’为例计算其信息增益率：
1.
$$H_{{}^{\prime }年{龄}^{\prime }}(D)=(-\frac{5}{15}lo{g}_2\frac{5}{15}-\frac{5}{15}lo{g}_2\frac{5}{15}-\frac{5}{15}lo{g}_2\frac{5}{15})=1.58$$

2.
$$g_R(D{，}^{\prime }年{龄}^{\prime })=(H(D)-H(D{|}^{\prime }年{龄}^{\prime }))/H_{{}^{\prime }年{龄}^{\prime }}(D)=0.083/1.585=0.052$$

同理：$$g_R(D{，}^{\prime }有工{作}^{\prime })=0.352，g_R(D{，}^{\prime }有自己的房{子}^{\prime })=0.433，g_R(D{，}^{\prime }信贷情{况}^{\prime })=0.232$$

比较各个特征的信息增益率值，发现$G(D{，}^{\prime }有自己的房{子}^{\prime })=0.433$最大，即选择特征’有自己的房子’作为最优特征。

4.基尼系数

1.计算公式：

1.数据集D的纯度：

$$Gini(D^i)=\sum _{i=1}^n{p}_i(1-p_i)=1-\sum _{i=1}^n{p}_i^2$$

$$n为样本的类别数$$
可以得出$Gini(p)$反应了在数据集中抽取两个样本，其类别不一样的概率；
随机抽取两个样本，如果他们根据某个特征分类，其分类类别一样，即该特征非常适合分类，(换句话说我们的目的是使同一个分支的类别一致)，因此$Gini(p)$越小越好。

2.特征A的基尼系数：
$$Gini(D，A)=\sum _{i=1}^n{p}_{i}Gini(D^i)$$

$$n为样本的类别数$$

2.实例计算：

我们还是拿上述数据集D的特征A='年龄’为例计算其基尼系数：

$$Gini(D{，}^{\prime }年{龄}^{\prime })=\sum _{i=1}^n{p}_{i}Gini(D^i)=p_{青年}\ast (1-(\frac{2}{5}{)}^2-(\frac{3}{5}{)}^2)+p_{中年}(1-(\frac{2}{5}{)}^2-(\frac{3}{5}{)}^2)+p_{老年}\ast (1-(\frac{1}{5}{)}^2-(\frac{4}{5}{)}^2)=0.427$$

同理：$$Gini(D{，}^{\prime }有工{作}^{\prime })=0.320，Gini(D{，}^{\prime }有自己的房{子}^{\prime })=0.267，Gini(D{，}^{\prime }信贷情{况}^{\prime })=0.284$$

5.参考文献

[1]李航.统计学习方法（第二版）[M].清华大学出版社:北京,2019:67.

[2]周志华.机器学习[M].清华大学出版社:北京,2016:73.

6.python代码

在这里插入代码片