机器学习理论《统计学习方法》学习笔记：第五章 决策树

决策树

• 决策树（Decision Tree）是一种基本的分类与回归方法。本章主要用于分类的决策树。决策树模型呈树形结构，在分类问题中，表示基于特征对实例进行分类的过程。它可以认为是if-then规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。
• 决策树的主要优点是：模型具有可读性，分类速度快。学习时，利用训练数据，根据损失函数最小化的原则建立决策树模型。预测时，对新的数据，利用决策树模型进行分类。
• 决策树模型学习通常包括3个步骤：特征选择、决策树的生成、决策树的修剪。这些决策树学习的思想主要来源于Quinlan在1986年提出的ID３算法和1993年提出的C4.5算法，以及由Breiman等人在1984年提出的CART算法。

5.1 决策树模型与学习

5.1.1 决策树模型

• 决策树定义：分类决策树模型是一种描述对实例进行分类的树形结构。决策树由结点（node）和有向边（directed edge）组成。结点有两种类型：内部结点（internal node）和叶结点（leaf node）。内部结点表示一个特征或属性，叶结点表示一个类。
• 用决策树分类，从根结点开始，对实例的某一特征进行测试根据测试结果，将实例分配到其子结点；这时，每一个子结点对应着该特征的一个取值。如此递归地对实例进行测试并分配，直至达到叶结点。最后将实例分到叶结点的类中。
• 决策树模型：圆表示内部结点，方块表示叶结点。
  

5.1.2 决策树与if-then规则

• 可以将决策树看成是一个if-then规则的集合。将决策树转换成if-then规则的过程是：由决策树根节点到叶结点的每一条路径构建一条规则；路径上内部结点的特征对应着规则的条件，而叶结点的类对应着规则的结论。
• 决策树的路径或其对应的if-then规则集合具有一个重要的性质：互斥并且完备。这就是说，每一个实例都被一条路径或一条规则所覆盖，而且只被一条规则或路径覆盖。所谓覆盖是指实例的特征与路径上的特征一致或实例满足规则的条件。

5.1.3 决策树与条件概率分布

• 决策树还表示给定特征条件下类的条件概率分布。这一条概率分布定义在特征空间的一个划分（partition）上。将特征空间划分为互不相交的单元（cell）或区域（Region），并在每个单元定义一个类的概率分布就构成了一个条件概率分布。决策树的一条路径对应于划分中的一个单元。
• 决策树所表示的条件概率分布由各个单元给定的条件下类的条件概率分布组成。假设$X$为表示特征向量的随机变量，$Y$为表示类的随机变量，那么这个条件概率分布可以表示为$P(Y|X)$.$X$取值于给定划分下单元的集合，$Y$取值于类的集合。各叶结点（单元）上的条件概率往往偏向于某一个类，即属于某一个类的概率较大。决策树分类时，将该结点的实施强行分到条件概率大的那一类去。
• 图(a)中的大正方形表示特征空间，这个大正方形被若干个小矩形分割，每个小矩形表示一个单元。特征空间划分上的单元构成了一个集合，$X$取值为单元的集合。为了简单起见，假设只有两类：正类和负类，即$Y$取值为+1或-1，小矩形中的数字表示单元的类。
  
• 图(b)表示特征空间划分确定时，特征（单元）给定条件下类的条件概率分布。
  
• 条件概率分布对应的决策树
  

5.1.4 决策树学习

假设给定训练数据集$$D=\{(x_1,x_1),(x_2,x_2),\cdots ,(x_N,x_N)\}$$其中，$$x_i=(x_i^{(1)},x_i^{(2)},\cdots ,x_i^{(n)}{)}^n$$为输入实例（特征向量），n为特征个数，$y_i\in \{1,2,\cdots ,K\}$为类标记，$i=1,2,\cdots ,N$，N为样本容量。决策树学习的目标是根据给定的训练数据构建一个决策树模型，使它能够对实例进行正确的分类。

决策树学习本质上是从训练数据集中归纳出一组分类规则。与训练数据集不相矛盾的决策树，即能对训练数据正确分类的决策树，可能有多个，也可能一个都没有。我们需要的是一个与训练数据矛盾较小的决策树，同时具有很好的泛化能力。从另一个角度看，决策树学习是由训练数据集估计条件概率模型。基于特征空间划分的类的条件概率模型有无穷多个。我们选择的条件概率模型应该不仅对训练数据有很好的拟合，而且对未知数据有很好的预测。

决策树学习用损失函数表示这一目标。决策树的损失函数通常是正则化的极大似然函数。决策树学习的策略是以损失函数为目标函数的最小化。

当损失函数确定后，学习问题就变为在损失函数意义下，选择最优决策树的问题。因为从所有可能的决策树中选取最优决策树是NP完全问题，所以现实中决策树学习算法通常采用启发式方法，近似求解这一最优化问题，这样得到的决策树是次最优的。

决策树学习的算法通常是一个递归地选择最优特征，并根据该特征对训练数据进行分割，使得对各个子数据集有一个最好的分类过程。这一过程对应着对特征空间的划分，也对应着决策树的构建。开始构建根结点，将所有训练数据都放在根结点。选择一个最优特征，按照这一特征将训练数据集分割成子集，使得各个子集有一个在当前条件下最好的分类。如果这些子集已经能够被基本正确分类，那么构建叶结点，并将这些子集分到所对应的叶结点中去。如果还有子集不能被基本正确分类，那么就对这些子集选择新的最优特征，继续对其进行分割，构建相应的结点。如此递归的进行下去，直至所有训练数据子集被基本正确分类，或者没有合适的特征为止。最后每个子集都被分到叶结点上，即都有了明确的类。这就生成了一棵决策树。

以上方法生成的决策树，可能对训练数据有很好的分类能力。但对未知的测试数据却未必有很好的分类能力，即可能发生过拟合现象。我们需要对已生成的树自下而上进行剪枝，将树变得更简单，从而使它具有更好的泛化能力。具体地，就是去掉过于细分的叶结点，使其回退到父结点，甚至更高的结点，然后将父结点或更高的结点改为新的叶结点。

如果特征数量很多，也可以在决策树学习开始的时候，对特征进行选择，只留下对训练数据有足够分类能力的特征。

可以看出，决策树学习算法包含特征选择、决策树的生成、决策树的剪枝过程。由于决策树表示一个条件概率分布，所以深浅不同的决策树对应着不同复杂度的概率模型。决策树的生成对应于模型的局部选择，决策树的剪枝对应于模型的全局选择。决策树的生成只考虑局部最优，相对地，决策树的剪枝则考虑全局最优。

决策树学习常用的算法有ID3，C4.5，与CART，下面结合这些算法分别叙述决策树学习的特征选择、决策树的生成和剪枝过程。

5.2 特征选择

5.2.1 特征选择问题

特征选择在于选取对训练数据具有分类能力的特征。这样可以提高决策树学习的效率。如果利用一个特征进行分类的结果与随机分类的结果没有很大区别，则称这个特征是没有分类能力的。经验上，扔掉这样的特征对决策树学习的进度影响不大，通常特征选择的准则是信息增益或信息增益比。

5.2.2 信息增益

在信息论与概率统计中，熵（entropy）是表示随机变量不确定性的度量。设$X$是一个取有限个值的离散随机变量，其概率分布为$$P(X=x_i)=p_i,i=1,2,\cdots ,n$$则随机变量$X$的熵定义为$$H(X)=-\sum _{i=1}^n{p}_{i}log(p_i)$$若$p_i=0$,则定义$0log(0)=0$.当对数以2为底或以e为底，这时熵的单位分别被称作比特（bit）或纳特（nat）。由定义可知，熵只依赖于$X$的分布，而与$X$的取值无关，所以也可以将$X$的熵记作$H(p)$，即$$H(p)=-\sum _{i=1}^n{p}_{i}log(p_i)$$

熵越大，随机变量的不确定性越大，从定义可以验证$$0\le H(p)\le log(n)$$当随机变量只取两个值，例如1，0时，即$X$的分布为$$P(X=1)=p,P(X=0)=1-p,0\le p\le 1$$熵为$$H(p)=-plo{g}_{2}p-(1-p)lo{g}_2(1-p)$$这时，熵$H(p)$随概率$p$变化的曲线如图所示。（分布为伯努利分布时熵与概率的关系）。

当$p=0$或$p=1$时，$H(p)=0$，随机变量完全没有不确定性。当$p=0.5$时，$H(p)=1$，熵取值最大，随机变量不确定性最大。

设随机变量$(X,Y)$，其联合概率分布为$$P(X=x_i,Y=y_i)=p_{ij},i=1,2,\cdots ,n;j=1,2,\cdots ,m$$条件熵$H(Y|X)$表示在已知随机变量$X$的条件下，随机变量$Y$的不确定性。随机变量$X$给定条件下随机变量$Y$的条件熵H(Y|X)，定义为$X$给定条件下$Y$的条件概率分布的熵对$X$的数学期望$$H(Y|X)=\sum _{i=1}^n{p}_{i}H(Y|X=x_i)$$

当熵和条件熵中的概率由数据估计（特别是极大似然估计）得到时，所对应的熵与条件熵分别称为经验熵和经验条件熵。信息增益表示得知特征$X$的信息，而使得类$Y$的信息的不确定性减少的程度。

信息增益:
特征$A$对训练数据集$D$的信息增益$g(D,A)$，定义为集合$D$的经验熵$H(D)$与特征$A$给定条件下$D$的经验条件熵$H(D|A)$之差，即$$g(D,A)=H(D)-H(D|A)$$

信息增益的算法
输入：训练数据集D和特征A；
输出：特征A对训练数据集D的信息增益g(D,A).
(1)计算数据集D的经验熵H(D)
$$H(D)=-\sum _{k=1}^K\frac{|C_k|}{|D|}lo{g}_2\frac{|C_k|}{|D|}$$
(2)计算特征A对数据集D的经验条件熵H(D|A)
$$H(D|A)=\sum _{i=1}^n\frac{|D_i|}{|D|}H(D_i)$$
(3)计算信息增益
$$g(D,A)=H(D)-H(D|A)$$

5.2.3 信息增益比

以信息增益作为划分训练数据集的特征，存在偏向于选择取值较多的特征的问题。使用信息增益比可以对这一问题进行校正，这是特征选择的另一准则。
信息增益比
特征A对训练数据集D的信息增益比$g_R(D,A)$定义为其信息增益$g(D,A)$与训练数据集$D$关于特征$A$的值的熵$H_A(D)$之比，即$$g_R(D,A)=\frac{g(D,A)}{H_A(D)}$$其中，$$H_A(D)=-\sum _{i=1}^n\frac{|D_i|}{|D|}lo{g}_2\frac{|D_i|}{|D|}$$，n是特征A取值的个数。

5.3 决策树的生成

5.3.1 ID3算法

ID3算法的核心是在决策树各个结点上应用信息增益准则选择特征，递归地构建决策树。具体方法是：从根结点开始，对结点计算所有可能的特征的信息增益，选择信息增益最大的特征作为结点的特征，由该特征的不同取值建立子结点；再对子结点递归地调用以上方法，构建决策树；直到所有特征的信息增益很小或没有特征可以选择为止，最后得到一棵决策树。ID3相当于用极大似然法进行概率模型的选择。

ID3算法
输入：训练集$D$，特征集$A$，阈值$ϵ$
输出：决策树$T$
（1）若$D$中所有实例属于同一类$C_k$，则$T$为单结点树，并将类$C_k$作为该结点的类标记，返回$T$
（2）若$A=\varnothing$，则$T$为单结点树，并将$D$中实例数最大的类$C_k$作为该结点的类标记，返回$T$
（3）否则，否则按照信息增益的算法，计算$A$中各特征对$D$的信息增益，选择信息增益最大的特征$A_g$
（4）如果$A_g$的信息增益小于阈值$ϵ$，则置$T$为单结点树，并将$D$中实例数最大的类$C_k$作为该结点的类标记，返回$T$
（5）否则，对$A_g$的每一可能值$a_i$，依$A_g=a_i$将$D$分割为若干非空子集$D_i$，将$D_i$中实例数最大的类作为标记，构建子结点，由结点及其子结点构成树$T$，返回$T$
（6）对第$i$个子结点，以$D_i$为训练集，以$A-\{A_g\}$为特征集，递归地调用（1）~（5），得到子树$T_i$，返回子树$T_i$

5.3.1 C4.5算法

C4.5算法与ID3算法相似，C4.5算法对ID3算法进行了改进，C4.5在生成的过程中，用信息增益比来选择特征。
C4.5的生成算法
输入：训练集$D$，特征集$A$，阈值$ϵ$
输出：决策树$T$
（1）若$D$中所有实例属于同一类$C_k$，则$T$为单结点树，并将类$C_k$作为该结点的类标记，返回$T$
（2）若$A=\varnothing$，则$T$为单结点树，并将$D$中实例数最大的类$C_k$作为该结点的类标记，返回$T$
（3）否则，否则按照信息增益的算法，计算$A$中各特征对$D$的信息增益，选择信息增益最大的特征$A_g$
（4）如果$A_g$的信息增益比小于阈值$ϵ$，则置$T$为单结点树，并将$D$中实例数最大的类$C_k$作为该结点的类标记，返回$T$
（5）否则，对$A_g$的每一可能值$a_i$，依$A_g=a_i$，将$D$分割为子集若干非空$D_i$，将$D_i$中实例数最大的类作为标记，构建子结点，由结点及其子结点构成树$T$，返回$T$
（6）对第$i$个子结点，以$D_i$为训练集，以$A-\{A_g\}$为特征集，递归地调用（1）~（5），得到子树$T_i$，返回子树$T_i$

5.4 决策树的剪枝

决策树生成算法递归地产生决策树，直到不能继续下去为止，这样产生的决策树往往对训练数据的分类很准确，但对未知的测试数据却没有那么准确，即出现过拟合现象。过拟合的原因在于学习时过多的考虑如何提高对训练数据的正确分类，从而构造出过于复杂的决策树。解决这个问题的办法是考虑决策树的复杂度，对已生成的决策树进行简化。

在决策树学习中，将已生成的树进行简化的过程称为剪枝（Pruning）。具体地，剪枝从已生成的树上裁掉一些子树或叶子结点，并将其根结点或父结点作为新的叶结点，从而简化分类树模型。

树的剪枝算法
输入：生成算法产生的整个树$T$，参数$\alpha$
输出：修剪后的子树$T_{\alpha }$
(1)计算每个结点的经验熵
(2)递归地从树的叶结点向上回缩

设计一组叶结点回缩到其父结点之前，与之后的整体树分别为$T_B与T_A$，其对应的损失函数分别是$C_{\alpha }(T_B)与C_{\alpha }(T_A)$，如果$$C_{\alpha }(T_B)\le C_{\alpha }(T_A)$$则进行剪枝，即将其父结点变为新的叶结点。
(3)返回（2）直至不能继续为止，得到损失函数最小的子树$T_{\alpha }$

5.5 CART算法

• 分类与回归树（CART），模型由Breiman等人在1984年提出，是应用广泛的决策树学习方法。CART同样由特征选择、树的生成及剪枝组成，既可以用于分类也可以用于回归。
• CART是在给定输入随机变量X的条件下，输出随机变量Y的条件概率分布的学习方法。假设决策树是二叉树，内部结点特征的取值为是和否，左分支的取值为是，右分支的取值为否。这样的决策树等价于递归地二分每个特征，将输入空间即特征空间划分为有限个单元，并在这些单元上确定预测的概率分布，也就是在输入给定的条件下，输出的条件概率分布。
• CART算法由以下两步组成：
  （1）决策树生成：基于训练数据集生成决策树，生成的决策树要尽量大。
  （2）决策树剪枝：用验证数据集对已生成的树进行剪枝并选择最优子树，这时用损失函数最小作为剪枝的标准。

5.5.1 CART生成

1. 回归树的生成

最小二乘回归树生成算法
输入：训练数据集$D$
输出：回归树$f(x)$
在训练数据集所在的输入空间中，递归地将每个区域划分为两个子区域，并决定每个子区域上的输出值，构建二叉决策树：
（1）选择最优切分变量$j$与切分点$s$，求解$$mi{n}_{j,s}[mi{n}_{c_1}\sum _{x_i\in R_1(j,s)}(y_i-c_1{)}^2+mi{n}_{c_2}\sum _{x_i\in R_2(j,s)}(y_i-c_2{)}^2]$$遍历遍历$j$，对固定的切分变量$j$扫描切分点$s$，选择使上式达到最小值的$(j,s)$
（2）用选定的$(j,s)$划分区域并决定相应的输出值
（3）继续对两个子区域调用步骤（1）（2）直至满足停止条件

（4）将输入空间划分为M个区域$R_1,R_2,\cdots ,R_M$,生成决策树$$f(x)=\sum _{m=1}^M{\hat{c}}_{m}I(x\in R_m)$$

2. 分类树的生成

• 分类树用基尼指数选择最优特征，同时决定该特征的最优二值切分点
• 二类分类中基尼指数、熵之半和分类误差率的关系
  

5.5.2 CART剪枝

• CART剪枝算法从完全生长的决策树的底端减去一些子树，使决策树变小（模型变简单），从而能够对未知数据有更准确的预测。CART剪枝算法由两步组成：首先，从生成算法产生的决策树$T_0$底端开始不断剪枝，直到$T_0$的根结点，形成一个子树序列$\{T_0,T_1,\cdots ,T_n\};$然后，通过交叉验证法在独立的验证数据集上，对子树序列进行测试，从中选择最优子树。

1. 剪枝，形成一个子树序列
2.在剪枝得到的子树序列中通过交叉验证选取最优子树