机器学习面试必知：决策树

决策树（decision tree）是一种基本的分类与回归方法，主要优点时模型具有可读性，分类速度快，学习时利用训练数据根据损失函数最小化的原则建立决策树模型。预测时，对新的数据，利用决策树模型进行分类。决策树学习通常包括三个步骤：特征选择，决策树的生成和决策树的修剪。

决策树学习的损失函数通常是正则化的极大似然函数，决策树学习的策略是以损失函数为目标函数的最小化。确定了损失函数后，学习问题就变为在损失函数意义下选择最优决策树的问题，但这是个NP完全问题，一般采用启发式算法来近似求解这一最优化问题。

1. 信息增益(ID3算法)
特征$A$对训练数据集$D$信息增益$g(D,A)$，定义为集合$D$的经验熵$H(D)$与特征$A$给定条件下$D$的经验条件熵$H(D|A)$之差，即$$g(D,A)=H(D)-H(D|A)$$
假设训练数据集为$D$,容量为$|D|$。有$K$个$C_k$类，个数为$|C_k|$。特征$A$有n个不同的取值，根据这些取值会把$D$划分为n个子集，样本个数是$|D_i|$。$D_i$子集中属于$C_k$类的样本个数是$|D_{ik}|$。那么通过计算选择出信息增益最大的特征作为切分点。$$H(D)=-\sum _{k=1}^K\frac{|C_k|}{|D|}log(\frac{|C_k|}{|D|})$$ $$H(D|A)=\sum _{i=1}^n\frac{|D_i|}{|D|}H(D_i)=-\sum _{i=1}^n\frac{|D_i|}{|D|}\sum _{k=1}^K\frac{|D_{ik}|}{|D_i|}log(\frac{|D_{ik}|}{|D_i|})$$
2. 信息增益比(C4.5生成算法)

以信息增益作为划分训练数据的特征，存在偏向于选择取值较多的特征的问题，使用信息增益比可以解决这个问题。

$$g_R(D,A)=\frac{g(D,A)}{H_A(D)}{H}_A(D)=-\sum _{i=1}^n\frac{|D_i|}{|D|}log(\frac{|D_i|}{|D|})$$
3. 基尼指数(CART分类与回归树)
分类问题中，假设有K个类，样本点属于第$k$类的概率为$p_k$,则概率分布的基尼指数为$$Gini(p)=\sum _{k=1}^K{p}_k(1-p_k)=1-\sum _{k=1}^K{p}_k^2$$对于给定的样本集合$D$，基尼指数为$$Gini(D)=1-\sum _{k=1}^K(\frac{|C_k|}{|D|}{)}^2$$在特征$A$(是否是A，所以只有两类情况)的条件下，集合$D$的基尼指数定义为$$Gini(D,A)=\frac{|D_1|}{|D|}Gini(D_1)+\frac{|D_2|}{|D|}Gini(D_2)$$