决策树ID3、C4.5和CART算法总结，及案例计算

一、决策树

• 决策树（Desicision Tree）是一种基本的分类与回归方法。决策树呈现树形结构，它可以认为是if-then规则的集合，可以认为是定义在特征空间与类空间上的条件概率分布。
• 学习时，利用训练数据，根据损失函数最小化的原则建立决策树模型
• 预测时，对新的数据利用决策树模型进行分类。
• 决策树学习通常包括3个步骤：
  · 特征选择
  · 决策树的生成
  · 决策树的修剪
• 决策树的算法主要包括三大算法：
  · Quin 1986年提出的ID3.0算法
  · Quin 1993年提出的C4.5算法
  · Breiman等人 1984年提出的CART算法
  
  下面将分别介绍这三大算法。

1.1 ID3算法

1.1.1 ID3决策树算法的过程

· ID3算法的核心是在决策树各个结点上应用信息增益准则选择特征，递归地构建决策树。

• 具体方法是：
  · 从根结点（root node)开始，对结点计算所有可能的特征的信息增益，选择信息增益$最大$的特征作为结点的特征，由该特征的不同取值建立子结点；
  · 再对子结点递归地调用以上方法，构建决策树；
  · 直到所有特征的信息增益均很小或没有特征可以选择为止，最后得到一个决策树。
  · ID3相当于用$极大似然法$进行概率选择模型。

ID3.0算法的优缺点

以上ID3.0算法生成树的过程，涉及到核心准则就是信息增益，那么什么是信息增益呢？

1.1.2 信息增益

• 定义：特征A对训练数据集$D$的信息增益$g(D,A)$，定义为集合$D$的经验熵$H(D)$与特征$A$给定条件下$D$的经验条件熵$H(D|A)$之差，即
  $$g(D,A)=H(D)-H(D,A)$$
• 一般的，熵$H(Y)$与条件熵$H(Y|X)$之差称为互信息(mutual information)
• 决策树学习中的信息增益等价于训练数据集中类与特征的互信息。
• 那么什么是熵与条件熵呢

熵

· 在信息论与概率统计中，熵（entropy)是表示随机变量不确定性的度量。设$X$是一个取有限个值得离散随机变量，其概率分布为
$$P(X=X_i)=p_i,i=1,2,...,n$$
· 则随机变量X的熵的定义为
$$H(X)=-\sum _{i=1}^n{p}_{i}log{p}_i$$

• 若$p_i=0$，则定义$0log0=0$. 通常，对数以2为底或以e为底(自然对数）。
• 熵只依赖于$X$的分不，而与$X$的取值无关。
• 熵值越大，其分布的不确定性就越大。
• 有句话说的好，自然界所有的事物都是一个熵增的过程。【由有序转化为无序】
  
• 当$p=0.5$时，熵取值最大，随机变量的不确定性最大。

条件熵

• 设有随机变量$(X,Y)$，其联合概率分布为$$P(X=x_i,Y=y_j)=p_{ij},i=1,2,...,n;j=1,2,...,m$$
• 条件熵$H(Y|X)$表示在已知随机变量$X$的条件下随机变量$Y$的不确定性。
• 随机变量$X$给定的条件下随机变量$Y$的条件熵(conditional entropy) $H(Y|X)$，定义为$X$给定条件下$Y$的条件概率分布的熵对$X$的数学期望$$H(Y|X)=\sum _{i=1}^n{p}_{i}H(Y|X=x_i)$$
• 这里$p_i=P(X=x_i),i=1,2,...,n$
• 当熵和条件熵的概率由数据估计（特别是极大似然估计）得到时，所对应的熵与条件熵分别称为经验熵（empirical entropy）和经验条件熵（empirical conditional entropy）。
• 信息增益 information gain表示得知特征$X$的信息而使得类Y的信息的不确定性减少的程度。

信息增益算法

• $$\sum _{k=1}^k|C_k|=|D|$$
• 类$|C_k|$相加等于$|D|$
• 特征$A$的取值累加$|D_i|$为$|D|$
• $$\sum _{i=1}^n|D_i|=|D|$$
  1、计算数据集$D$的经验熵$H(D)$
  
  2、计算特征$A$对数据集$D$的经验条件熵$H(D|A)$
  
  3、计算信息增益
  
  4、计算信息增益比
  信息增益比：特征$A$对训练数据集$D$的信息增益比$g_R(D,A)$定义为其信息增益$g(D,A)$与训练数据集$D$关于特征$A$的值的熵$H_A(D)$之比
  $$g_R(D,A)=g(D,A)/H_A(D)$$
  $$g_R(D,A)=\frac{g(D,A)}{H_A(D)}$$
  其中，$$H_A(D)=-\sum _{i=1}^n\frac{|D_i|}{|D|}lo{g}_2\frac{|D_i|}{|D|}$$
  $n$是特征$A$取值的个数

案例计算

计算信息增益

计算信息增益比

1.2 C4.5算法

基于信息增益比来计算结点【树结构】

• 信息增益比的计算过程在ID3.0算法中有提到，基于信息增益的计算过程。
  
  

1.3 CART

分类与回归树(Classification and Regression Tree,CART)是应用广泛的决策树学习方法。
$$二叉树$$

1.3.1 回归决策树生成

回归树的简单计算过程，可参考该链接

https://mp.weixin.qq.com/s/k8jj4meb3DKYCGUzaOGDAg

1.3.2 分类树的生成【基尼指数最小】

• 基尼指数越大，样本集合的不确定性越大，这一点与熵值一样。
  

  
  

  • CART回归树的计算过程
  • 

• 由于CART生成的是二叉树，所以特征选择时，只有是与否两种选择
  

• $Gini(D,A_1=1)$分为是青年，不是青年

• $Gini(D,A_1=2)$分为是中年，不是中年

• $Gini(D,A_1=3)$分为是老年，不是老年
  

• CART分类树的生成决策树的过程和ID3的决策树生成过程一样。

参考文献：
[1]李航.统计学习方法
[2]决策树计算：https://mp.weixin.qq.com/s/k8jj4meb3DKYCGUzaOGDAg