《统计学习方法》第五章决策树总结

1.简介

决策树是一种基本的分类与回归方法，是一种描述对实例分类的树形结构。决策树还表示给定特征条件下类的条件概率分布(这已条件概率分布定义在结构空间的一个划分上)。

2.决策树的分类

2.1 ID3算法

2.1.1 特征选择（信息增益）

ID3算法采用信息增益进行特征选择

• 信息熵
  随机变量X的信息熵定义如如下：
  $$H(X)=H(p)=-\sum _{i=1}^n{p}_i\log p_i$$
• 条件熵
  $$H(Y|X)=-\sum _{i=1}^n{p}_{i}H(Y|X=x_i)$$

设训练集为D，$|D|$为样本容量，设有K个类$C_k$, $|C_k|$为类$C_k$的个数（即$\sum _{k=1}^K|C_k|=|D|$），设特征A有n个不同的取值$\{a_1,a_2,...,a_n\}$，根据A的取值将D划分为n个子集$D_1,D_2,...,D_n$,
$|D_i|$为$D_i$的样本个数（即$\sum _{i=1}^n|D_i|=|D|$）,子集$D_i$中属于类$C_k$的样本集合为$D_{ik}$，$|D_{ik}|$为$D_{ik}$的个数。则信息增益计算如下：

• 经验熵
  $$H(D)=-\sum _{k=1}^K\frac{|C_k|}{|D|}{\log }_2\frac{|C_k|}{|D|}$$
• 经验条件熵
  $$H(D|A)=\sum _{i=1}^n\frac{|D_i|}{|D|}H(D_i)=-\sum _{i=1}^n\frac{|D_i|}{|D|}\sum _{k=1}^K\frac{|D_{ik}|}{|D_i|}{\log }_2\frac{|D_{ik}|}{|D_i|}$$
• 信息增益
  $$g(D,A)=H(D)-H(D|A)$$

2.1.2 算法步骤

输入：训练数据集D，特征值A，阈值$\epsilon$
输出：决策树T
(1) 若D中所有实例属于同一类$C_k$，则T为单节点树，并将类 $C_k$作为该节点的类标记，返回T；
(2) 若A为空集，即当前D不包含任何特征，将D中实例数最大的类$C_k$作为该节点的标记，返回T；
(3)否则，计算A中各特征对于D的信息增益，选择信息增益最大的特征$A_g$:

• 若$A_g$的信息增益小于阈值$\epsilon$，设置T为单节点数，并将D中实例数最大的类$C_k$作为该节点的标记，返回T。
• 否则，对$A_g$的每一可能值$a_i$，依$A_g=a_i$将D分割为若干非空子集$D_i$，将$D_i$中实例数最大的类作为标记，构建子节点，有节点及其子节点构成T，返回T；

(4)对第i个子节点，以$D_i$为训练集，以$A-\{A_g\}$为特征集，递归调用1-3步，得到子树Ti，返回Ti

2.2 C4.5算法

2.2.1 特征选择（信息增益比）

与ID3算法唯一不同就是特征选择采用信息增益比

• 信息增益比
  信息增益比定义为信息增益$g(D,A)$与训练数据集D关于特征A的熵$H_A(D)$之比:
  $$g_R(D,A)=\frac{g(D,A)}{H_A(D)}$$
  $$H_A(D)=-\sum _{i=1}^n\frac{|D_i|}{|D|}{\log }_2\frac{|D_i|}{|D|}$$

2.2.2 算法步骤

算法步骤与ID3一致，只不过特征选择计算的是信息增益比

2.3 CART算法

与ID3和C4.5不同，CART假设决策树是一颗二叉树

2.3.1 分类树

2.3.1.1 特征选择（基尼指数）

假设有K个类，样本点属于第k类的概率为$p_k$，则概率分布的基尼指数定义为
$$Gini(p)=\sum _{k=1}^K{p}_k(1-p_k)=1-\sum _{k=1}^K{p}_k^2$$
对于二分类问题，基尼指数为
$$Gini(p)=2p(1-p)$$
对于给定样本集合D，基尼指数为
$$Gini(p)=1-\sum _{k=1}^K(\frac{|C_k|}{|D|}{)}^2$$
如果样本集合D根据特征A是否取某一可能值a被分割为D1和D2两部分，则在A的条件下，集合D的基尼指数定义为：
$$Gini(D,A)=\frac{|D_1|}{|D|}Gini(D_1)+\frac{|D_2|}{|D|}Gini(D_2)$$

2.3.1.2 算法步骤

输入：训练数据集D，停止计算的条件
输出：CART决策树
(1) 设节点的训练集为D，计算现有特征对该数据集的基尼指数。此时，对于每一个特征A，对其可能取的每个a，根据样本点对A=a的测试为“是”或“否”将D分割为D1和D2两部分。然后计算A=a时的基尼指数；
(2)在所有可能的特征A以及他们所有可能的切分点a中，选择基尼指数最小的特征及其对应的切分点a作为最优特征和最优切分点。依最优特征和最优切分点从现节点生成两个子节点，将训练集依特征分配到两个子节点中。

(3)递归调用1-2步，直到满足停止条件

2.3.2 回归树

2.3.2.1 特征选择（平方误差）

设X和Y分别为输入和输出变量，且Y时连续变量，训练集为D。一颗回归树对应输入空间的一个划分以及在划分单元上的输出值。
假设已将输入空间划分为M个单元R1,…Rm，并且在每个单元上有一个固定的输出$c_m$，则回归树模型表示为
$$f(x)=\sum _{m=1}^M{c}_{m}I(x\in R_m)$$
当输入空间划分确定，可以用平方误差来表示回归树对训练数据的预测误差。采用评分误差最小的准则求解每个单元上的最优输出值。单元Rm上的$c_m$的最优值$c_m$是Rm上所有输入实例xi对应的输出yi的均值。

• 空间划分方法
  选择第j个变量$x^{(j)}$和它的取值s作为切分变量和切分点，并定义两个区域：
  $$R_1(j,s)=\{x|x^{(j)}<=s\}和R_2(j,s)=\{x|x^{(j)}>s\}$$
  然后寻找最优切分变量j和最优切分点，即求解
  $$\underset{j,s}{\min }[\underset{c_1}{\min }\sum _{x_i\in R_1(j,s)}(y_i-c_1{)}^2+\underset{c_2}{\min }\sum _{x_i\in R_2(j,s)}(y_i-c_2{)}^2]$$

2.3.2.2 算法步骤

输入：训练数据集D，停止计算的条件
输出：回归树f(x)
（1）选择最优切分变量j和切分点s，求解：
$$\underset{j,s}{\min }[\underset{c_1}{\min }\sum _{x_i\in R_1(j,s)}(y_i-c_1{)}^2+\underset{c_2}{\min }\sum _{x_i\in R_2(j,s)}(y_i-c_2{)}^2]$$
遍历变量j，对固定的切分变量j扫描切分点s，选择使得上方式子最小的对（j,s）
（2）选定的对（j,s）划分区域并决定相应的输出值：
$$R_1(j,s)=\{x|x^{(j)}<=s\}和R_2(j,s)=\{x|x^{(j)}>s\}$$
$$c_m=\frac{1}{N_m}\sum _{x_i\in R_m(j,s)}{y}_i，x\in R_m,m=1,2$$
（3）递归调用1-2，直到满足停止条件

3.决策树的剪枝

3.1预剪枝

其中的核心思想是，在每一次实际对结点进行进一步划分之前，先采用某一种指标来判断划分是否能提高增益，如验证集的数据的准确性、信息增益是否大于最低标准、样本个数是否小于最低标准等，如果是，就把结点标记为叶结点并退出进一步划分，否则就继续递归生成结点。

3.2后剪枝

后剪枝则是先从训练集生成一颗完整的决策树，然后自底向上地对非叶结点进行考察，若将该结点对应的子树替换为叶结点能带来泛化性能提升（如验证集的准确率），则将该子树替换为叶结点。
具体地:
对于ID3和C4.5
可以使用如下损失函数来判断是否剪枝：
$$C_{\alpha }(T)=\sum _{t=1}^{|T|}{N}_t{H}_t(T)+\alpha |T|,H_t(T)=\sum _k\frac{N_{tk}}{N_t}\log \frac{N_{tk}}{N_t}$$
其中|T|为叶结点数量，α控制经验风险与结构风险所占比例，越小树越复杂，过拟合风险越大。若将非叶子结点替换为叶子结点后损失函数降低，则将该子树替换为叶结点。
对于CART
剪枝步骤如下：

输入：CART算法生成的决策树T0
输出：最优决策树Tα
（1）设k=0,T=T0
（2）设α为＋∞
（3）自下而上地对各内部节点t计算$C(T_t)$,$|T_t|$以及：
$$g(t)=\frac{C(t)-C(T_t)}{|T_t|-1},\alpha =min(\alpha ,g(t))$$
上述$|T_t|$表示t为根节点的子树，C(T_t)是对训练数据的预测误差(如基尼指数)，$|T_t|$是$T_t$的叶节点个数
（4）对g(t)=α的内部节点t进行剪枝，并对叶节点t以多数表决法确定其类别，得到T
（5）设k=k+1,αk=α,Tk=T
（6）如果Tk不是由根节点以及两个叶节点构成的树，返回步骤2，否则令Tk=Tn
（7）采用交叉验证法在子树T0,…Tn中选择最优子树