《统计学习方法》读书笔记第5章:决策树

第五章：决策树

决策树（decision tree）是一种基本的分类与回归方法。用于分类时，其主要优点是模型具有可读性，分类速度快。学习时，利用训练数据，根据损失函数最小化的元组建立决策树模型；预测时，对新的数据，利用决策树模型进行分类。

决策树模型与学习

决策树模型

决策树定义 分类决策树模型是一种描述对实例进行分类的树形结构。决策树由结点和有向边组成。结点有两种类型：内部结点和叶结点。内部结点表示一个特征或属性，叶结点表示一个类别。
用决策树分类时，从根结点出发，对实例的某一特征进行测试，根据测试结果，将实例分配到子结点；这时，每一个子结点对应着该特征的一个取值。如此递归地对实例进行测试并分配，直至达到叶结点。最后将实例分到叶结点的类中。

决策树与 if-then规则

可以将决策树看成一个 if-then 规则的集合：由决策树的根结点到叶结点的每一条路径构建一条规则；路径上内部结点的特征对应着规则的条件，而叶结点的类对应着规则的结论。决策树的路径或其对应的 if-then 规则具有一个重要的性质：互斥且完备。

决策树与条件概率分布

决策树还可以表示给定特征条件下类的条件概率分布。将特征空间划分为互不相交的单元或区域，并在每个单元定义一个类的概率就构成了一个条件概率分布。决策树所表示的条件概率分布由各个单元给定条件下类的条件概率分布组成。各叶结点（单元）上的条件概率往往偏向于某一个类，即属于某一类的概率较大。决策树分类时将该结点的实例强行分到条件概率大的那一类。

决策树学习

假设给定训练数据集
$$D=\{(x_1,y_1),(x_2,y_2),\dots ,(x_N,y_N)\}$$
其中，$x_i=(x_i^{(1)},x_i^{(2)},\dots ,x_i^{(1)}{)}^T$为输入实例（特征向量），$n$ 为特征个数， $y_i\in \{1,2,\dots ,K\}$ 为类标记，$i=1,2,\dots ,N$，$N$ 为样本容量。
决策树学习的目标是根据给定的训练数据集构建一个决策树模型，使它能够对实例进行正确的分类。决策树学习本质上是从训练数据集中归纳出一组分类规则。决策树学习的损失函数通常是正则化的极大似然，决策树学习的策略是以损失函数为目标函数的最小化。当损失函数确定后，学习问题就变为在损失函数意义下选择最优决策树的问题。由于从所有可能的决策树中选取最优决策树是NP完全问题，所以现实中决策树学习算法通常采用启发式方法，近似求解这一最优化问题。
决策树学习的算法通常是一个递归地选择最优特征，并根据该特征对训练数据进行分割，使得对各个子数据集有一个最好的分类的过程。这一过程对应着对特征空间的划分，也对应着决策树的构建。如果特征数量很多，也可以在决策树学习开始的时候，对特征进行选择，只留下对训练数据有足够分类能力的特征。
因此决策树学习算法包含特征选择、决策树的生成与决策树的剪枝过程。由于决策树表示一个条件概率分布，所以深浅不同的决策树对应着不同复杂度的概率模型。决策树的生成对应于模型的局部选择，决策树的剪枝对应于模型的全局选择。

特征选择

特征选择在于选取对训练数据具有分类能力的特征。如果利用一个特征进行分类的结果与随机分类的结果没有很大的差别，则称这个特征是没有分类能力的，经验上扔掉这样的特征对决策树学习的精度影响不大。如果一个特征具有良好的分类能力，或者说是按照这一特征将训练数据集分割成子集，使得各个子集在当前条件下有最好的分类，也就是说选择这个特征后分割后的子集内比较统一稳定，混乱的程度比较低。因而通常特征选择的准则是信息增益或信息增益比。

信息增益(information gain)

在信息论与概率统计中，熵（entropy）是表示随机变量不确定性的度量。设 $X$ 是一个取有限个值得离散随机变量，其概率分布为
$$P(X=x_i)=p_i,i=1,2,\dots ,n$$
则随机变量 $X$ 的熵定义为
$$H(X)=-\sum _{i=1}^n{p}_i\log p_i$$
若 $p_i=0$，则定义 $0\log 0=0$。通常，对数以 2 为底或以 e 为底，这时熵的单位分别称作比特（bit）或纳特（nat）。由定义可知，熵只依赖于随机变量的分布，而与随机变量的取值无关，所以也可将 $X$ 的熵记作 $H(p)$，即
$$H(p)=-\sum _{i=1}^n{p}_i\log p_i$$

熵越大，随机变量的不确定性就越大

设有随机变量 $(X,Y)$，其联合概率分布为
$$P(X=x_i,Y=y_i)=p_{ij},i=1,2,\dots ,n;j=1,2,\dots ,m$$
条件熵 $H(Y|X)$ （conditional entropy）表示在已知随机变量 $X$ 的条件下随机变量 $Y$ 的不确定性。条件熵定义为 $X$ 给定条件下 $Y$ 的条件概率分布对 $X$ 的数学期望
$$H(Y|X)=\sum _{i=1}^n{p}_{i}H(Y|X=x_i)$$
这里，$p_i=P(X=x_i),i=1,2,\dots ,n$

当熵和条件熵中的概率由数据估计（特别是极大似然估计）得到时，所对应的熵和条件熵分别是经验熵（empirical entropy）和经验条件熵（empirical conditional entropy）。此时，如果 0 概率，令 $0\log 0=0$
信息增益（information gain）表示得知特征 $X$ 的信息而使得类 $Y$ 的信息的不确定性减少的程度。
信息增益 特征 $A$ 对训练数据集 $D$ 的信息增益 $g(D,A)$, 定义为集合 $D$ 的经验熵 $H(D)$ 与特征 $A$ 给定条件下 $D$ 的经验条件熵 $H(D|A)$ 之差，即
$$g(D,A)=H(D)-H(D|A)$$
一般地，熵 $H(Y)$ 与条件熵 $H(Y|X)$ 之差称为互信息（mutual information）。决策树学习中的信息增益等价于训练数据集中类与特征的互信息。
决策树学习应用信息增益准则选择特征。给定训练数据集 $D$ 和特征 $A$, 经验熵 $H(D)$ 表示对数据集 $D$ 进行分类的不确定性。而经验条件熵 $H(D|A)$ 表示在特征 $A$ 给定的条件下对数据集 $D$ 进行分类的不确定性。那么他们的差，即信息增益表示由于特征 $A$ 而使得数据集 $D$ 的分类不确定性减少的程度。显然，对于数据集 $D$ 而言，信息增益依赖于特征，不同的特征往往具有不同的信息增益。信息增益大的特征具有更强的分类能力。

信息增益的算法可总结如下：
输入训练数据集 $D$ 和特征 $A$。

输出特征 $A$ 对训练数据集 $D$ 的信息增益 $g(D,A)$

1. 计算数据集 $D$ 的经验熵 $H(D)$
   $$H(D)=-\sum _{k=1}^K\frac{|C_k|}{|D|}{\log }_2\frac{|C_k|}{|D|}$$
2. 计算特征 $A$ 对数据集 $D$ 的经验条件熵 $H(D|A)$
   $$H(D|A)=\sum _{i=1}^n\frac{|D_i|}{|D|}H(D_i)=-\sum _{i=1}^n\frac{|D_i|}{|D|}\sum _{k=1}^K\frac{|D_{ik}|}{|D_i|}{\log }_2\frac{|D_{ik}|}{|D_i|}$$
3. 计算信息增益
   $$g(D,A)=H(D)-H(D|A)$$

信息增益比(information gain ratio)

以信息增益作为划分训练数据集的特征，存在偏向于选择取值较多的特征的问题，因而就有了信息增益比
信息增益比 特征 $A$ 对训练数据集 $D$ 的信息增益比 $g_R(D,A)$ 定义为其信息增益 $g(D,A)$ 与训练数据集 $D$ 关于特征 $A$ 的值的熵 $H_A(D)$ 之比，即
$$g_R(D,A)=\frac{g(D,A)}{H_A(D)}$$
其中，$H_A(D)=-{\sum }_{i=1}^n\frac{|D_i|}{|D|}{\log }_2\frac{|D_i|}{|D|}$，$n$ 是特征 $A$ 的取值个数

决策树的生成

决策树地生成有 ID3 算法以及 C4.5 算法, 这两周算法的区别在于 前者使用 信息增益作为选择特征的准则，后者选择信息增益比
算法：
输入 训练数据集 $D$ , 特征集 $A$ 阈值 $ϵ$

输出 决策树 $T$。

1. 若 $D$ 中所有实例属于同一类 $C_k$, 则 $T$ 为单结点树， 并将类 $C_k$ 作为该结点的类标记，返回 $T$;
2. 若 $A=\varnothing$, 则 $T$ 为单结点树，并将 $D$ 中实例最大的类 $C_k$ 作为该结点类标记， 返回 $T$;
3. 否则，按照决策准则计算 A中各个特征对 $D$ 的信息增益（信息增益比），选择信息增益最大的特征 $A_g$;
4. 如果 $A_g$ 的信息增益小于阈值 $ϵ$, 则置 $T$ 为单结点树，并将 $D$ 中实例树最大的类 $C_k$ 作为该结点的类标记，返回 $T$;
5. 否则， 对 $A_g$ 的每一可能值 $a_i$, 依 $A_g=a_i$ 将 $D$ 分割为若干非空子集 $D_i$, 将 $D_i$ 中实例数最大的类作为标记，构建子结点，由结点及其子结点构成树 $T$, 返回 $T$;
6. 对第 $i$ 个子结点，以 $D_i$ 为训练集，以 $A-\{A_g\}$ 为特征集，递归地调用步1.-5.得到子树 $T_i$, 返回 $T_i$ 。

决策树的剪枝

决策树生成算法递归地产生决策树，这样往往对训练数据地分类很准确，但对未知的测试数据的分类却没有那么准确，即出现过拟合现象。过拟合的原因在于学习时过多地考虑如何提高对训练数据的正确分类，从而构建出过于复杂的决策树。解决这个问题的办法是考虑决策树的复杂多，对已生成的决策树进行简化。
在决策树学习中将已生成的树进行简化的过程称为剪枝（pruning）。剪枝是从已生成的树上裁剪掉一些子树或叶结点，并将其根结点或父结点作为新的叶结点，从而简化分类树模型。
决策树的剪枝往往通过极小化决策树整体的损失函数或代价函数来实现。 设树 $T$ 的叶结点个数为 $|T|$，$t$ 是树 $T$ 的叶结点，该叶结点有 $N_t$ 个样本，其中 $k$ 类的样本点数有 $N_{tk}$ 个， $k=1,2,\dots ,K$, $H_t(T)$ 为叶结点 $t$ 上的经验熵， $\alpha \ge 0$ 为参数，则决策树学习的损失函数可定义为
$$C_{\alpha }(T)=\sum _{t=1}^{|T|}{N}_t{H}_t(T)+\alpha |T|$$
其中经验熵为
$$H_t(T)=-\sum _k\frac{N_{tk}}{N_t}\log \frac{N_{tk}}{N_t}$$

这时有，公式的前一项表示模型对训练数据的预测误差，即模型与训练数据的拟合程度，$|T|$ 表示模型的复杂度， 参数 $\alpha \ge 0$ 控制两者之间的影响。
剪枝就是当 $\alpha$ 确定时，选择损失函数最小的模型，即损失函数最小的子树。当 $\alpha$ 值确定时，子树越大，往往与训练数据的拟合越好，但模型的复杂度就越高。
可以看出，决策树生成只考虑了通过提高信息增益（或信息增益比）对悬链数据进行更好的拟合，而决策树生成只考虑了通过优化损失函数还考虑了减小模型复杂度。决策树生成学习局部的模型，而决策树剪枝学习整体的模型。

剪枝算法：
输入生成算法产生的整个树 $T$ ，参数 $\alpha$
输入修剪后的子树 $T_{\alpha }$

1. 计算每个结点的经验熵
2. 递归地从树地叶结点向上回缩
   设一组叶结点回缩到其父结点之前与之后的整体树分别为 $T_B$ 与 $T_A$, 其对应的损失函数值分别是 $C_{\alpha }(T_B)$ 与 $C_{\alpha }(T_A)$，如果
   $$C_{\alpha }(T_A)\le C_{\alpha }(T_B)$$
   则进行剪枝，即将父结点变为新的叶结点。
3. 返回2.， 直至不能继续为止，得到损失函数最小的树 $T_{\alpha }$

CART 算法

分类与回归树(classification and regression tree, CART) 模型是一种广泛的决策树学习方法。
CART 是在给定输入随机变量 $X$ 条件下输出随机变量 $Y$ 的条件概率分布的学习方法。
CART 假设决策树是二叉树，内部结点特征的取值为 “是” 和 “否” ，左分支是 “是”，右分支是 “否”。这样，决策树等价于递归地二分每个特征，将输入空间即特征空间划分为有限个单元，并在这些单元上确定预测的概率分布，也就是在输入给定的条件下输出的条件概率。

CART 算法由两步组成：

1. 决策树生成：基于训练数据集生成决策树，生成的决策树要尽量大
2. 决策树剪枝：用验证数据集对已生成的树进行剪枝并选择最优子树，这时用损失函数最小作为剪枝的标准。

CART 生成

决策树的生成就是递归地构建二叉决策树地过程。对回归树用平方误差最小化准则，对分类树用基尼指数（Gini index）最小化准则，进行特征选择，生成二叉树。

最小二乘回归树的生成算法：
输入：训练数据集 $D$
输出：回归树 $f(x)$
在训练数据集所爱的输入空间中，递归地将每个区域划分为两个子区域并决定每个子区域上地输出值，构建二叉决策树

1. 选择最优切分变量 $j$ 与切分点 $s$ ，求解
   $$\underset{j,s}{\min }[\underset{c_1}{\min }\sum _{x_i\in R_1(j,s)}(y_i-c_1{)}^2+\underset{c_2}{\min }\sum _{x_i\in R_2(j,s)}(y_i-c_2{)}^2]$$
   遍历变量 $j$， 对固定的切分变量 $j$ 扫描切分点 $s$, 选择使得上式达到最小值的对 $(j,s)$
2. 用选定的对 $(j,s)$ 划分区域并决定相应的输出值
   $$R_1(j,s)=\{x|x^{(j)}\le s\},R_2(j,s)=\{x|x^{(j)}>s\}$$
   $${\hat{c}}_m=\frac{1}{N_m}\sum _{x_i\in R_m(j,s)}{y}_i,x\in R_m,m=1,2$$
3. 继续对连个子区域条用步骤（1），（2）, 直至满足停止条件
4. 将输入空间划分为 $M$ 个区域 $R_1,R_2,\dots ,R_M$，生成决策树
   $$f(x)=\sum _{m=1}^M{\hat{c}}_{m}I(x\in R_m)$$

基尼系数： 分类问题中，假设有 $K$ 个类，样本点属于第 $k$ 类的概率为 $p_k$, 则概率分布的基尼指数定义为
$$\mathtt{G}\mathtt{i}\mathtt{n}\mathtt{i}(p)=\sum _{k=1}^K{p}_k(1-p_k)=1-\sum _{k=1}^K{p}_k^2$$

对于给定的样本集合 $D$, 其基尼指数为
$$\mathtt{G}\mathtt{i}\mathtt{n}\mathtt{i}(D)=1-\sum _{k=1}^K(\frac{|C_k|}{|D|}{)}^2$$
如果像本集合 $D$ 根据特征 $A$ 是否取某一可能值 $a$ 被分割成 $D_1$ 和 $D_2$ 两部分，即
$$D_1=\{(x,y)\in D|A(x)=a\},D_2=D-D_1$$
则在特征 $A$ 的条件下，集合 $D$ 的基尼指数定义为
$$\mathtt{G}\mathtt{i}\mathtt{n}\mathtt{i}(D,A)=\frac{|D_1|}{D}\mathtt{G}\mathtt{i}\mathtt{n}\mathtt{i}(D_1)+\frac{|D_2|}{D}\mathtt{G}\mathtt{i}\mathtt{n}\mathtt{i}(D_2)$$

CART 生成分类树算法
输入：训练数据集 $D$，停止计算的条件
输出： CART 决策树
根据训练数据集， 从根结点开始，递归地对每个结点进行以下操作，构建二叉决策树：

1. 设结点的训练数据集为 $D$ , 计算现有特征对该数据集的基尼指数。此时，对每一个特征 $A$ , 对其可能取值的每个值 $a$， 根据样本点对 $A=a$ 的测试将 $D$ 分割为 $D_1$ 和 $D_2$ 两部分，计算 $A=a$ 时的基尼指数。
2. 在所有可能的特征 $A$ 以及它们所有可能的切分点 $a$ 中，选择基尼指数最小的特征及其对应的切分点作为最优特征与最优切分点。依最优特征与最优切分点从现结点生成两个子结点，将训练数据集依特征分配到两个子结点中去。
3. 对两个子结点递归调用1.，2.,直至满足停止条件
4. 生成 CART 决策树

CART 剪枝

CART 剪枝算法由两步组成：首先从生成算法产生的决策树 $T_0$ 底端开始不断剪枝，直到 $T_0$ 的根结点，形成一个子树序列 $\{T_0,T_1,\dots ,T_n\}$；然后通过交叉验证法在独立的验证数据集上对子树序列进行测试，从中选择最优子树。

CART 剪枝算法如下
输入：CART 算法生成的决策树 $T_0$
输出：最优决策树 $T_{\alpha }$

1. 设 $k=0,T=T_0$
2. 设 $\alpha =+\infty$
3. 自下而上地对各内部结点 $t$ 计算 $C(T_t),|T_t|$以及
   $$g(t)=\frac{C(t)-C(T_t)}{|T_t|-1}$$
   $$\alpha =\min (\alpha ,g(t))$$
4. 对 $g(t)=\alpha$ 地内部结点 $t$ 进行剪枝，并对叶结点 $t$ 以多数表决法决定其类，得到树 $T$
5. 设 $k=k+1,T_k=T,{\alpha }_k=\alpha$
6. 如果 $T_k$ 不是由根结点及两个叶结点构成地树，则回到步骤2.；否则令 $T_k=T_n$
7. 采用交叉验证法在子树序列$T_0,T_1,\dots ,T_n$中选取最优子树 $T_{\alpha }$。