决策树进阶（一）划分准则-公式篇

1、信息熵

$H(x)=-{\sum }_{i=1}^{n}p(x_i)lo{g}_{2}p(x_i)$ ---------注意负号
$x_i表示x取值为x_i$
$p(x_i)表示值为x_i出现的概率$

概率越大，或者越小，信息熵的值是减小的。
概率 = 0.5 的时候，最不确定，信息熵是最大的，所以$lo{g}_2$。

2、条件熵

$H(Y|X)={\sum }_{x\in X}p(x)H(Y|X=x)$
对熵加一个条件

3、信息增益（ID3）

即为熵和条件熵的差

$$\{\begin{array}{ll}H(D)=-{\sum }_{d\in D}p(d)lo{g}_{2}p(d),& \text{数据集的熵}\\ H(D|A)={\sum }_{d\in D}p(d)H(A|D=d),& \text{数据集在A特征上的条件熵}\\ gain(D,A)=H(D)－H(D|A),& \text{信息增益}\end{array}$$
D为整个数据集，A为某个特征，d为类别

对一个确定的数据集来说，H(D)是确定的。
H(D|A)在A特征一定的情况下，随机变量的不确定性越小，信息增益越大，这个特征的表现就越好。
所以，信息增益就是在得知特征A一定的情况下，D不确定性的减少程度。
简单来说，就是加入了A特征后，可分辨性增加了多少！
eg.是否买过头绳$D(d\in \{1,0\})$这个问题，知道了A性别后，会变得很容易分类了。

缺点：
1.信息增益考察的是特征对整个系统的贡献，没有到具体的类别上，所以一般只能用来做全局的特征选择，而没法针对单个类别做特征选择。
2.只能处理离散型特征值
3.算法天生偏向选择分支多的属性，容易导致overfitting。

4、信息增益比（C4.5）

信息增益如果遇到特征选取的值过多（身份证、日期等），导致分支过多，容易过拟合。
解决办法：对树分支过多的情况进行惩罚。
除以A特征的熵正好抵消了特征变量（身份证、日期等）的复杂程度，可以减小过拟合的可能性。

$gai{n}_{rate}(D,A)=\frac{gain(D,A)}{H_A(D)}$

5、基尼系数（CART）

类似信息熵，可以衡量数据的不纯度，信息越不确定，值越大。

$Gini(D)=1-{\sum }_{i=1}^n{p}_i^2$

Gini系数就是信息熵在x=1的地方一阶泰勒展开得到$f(x)=1-x$，也是等价无穷小。
$gini={\sum }_k{p}_{k}log(p_k)={\sum }_k{p}_k(1-p_k)={\sum }_k{p}_k-{\sum }_k{p}_k^2=1-{\sum }_k{p}_k^2$。

与信息增益类似，我们可以计算如下表达式：
$\Delta Gini(X)=Gini(D)-Gin{i}_X(D)$
加入特征X以后，数据不纯度减小的程度。
明显，在做特征选择的时候，我们可以取ΔGini(X)最大的那个

借鉴：
1、https://www.jianshu.com/p/268c4095dbdc
2、https://blog.csdn.net/bitcarmanlee/article/details/51488204