【西瓜书笔记】3. 决策树

3.1 决策树基本流程

一颗决策树包括：

1. 根节点：包含样本全集
2. 若干内部节点：对应属性测试
3. 若干叶子结点：对应决策结果
4. 结点包含的样本集合根据属性测试划分到子节点中国

基本流程遵循分而治之

伪代码：

【来源：西瓜书page74】

决策树算法是典型的递归算法。三种递归返回情况：

1. 当前节点包含的样本权属同一个类别，无需划分
2. 当前属性集为空，或者所有样本属性相同，无法划分。标记当前结点为叶子结点，类别设定为该节点所含样本最多的类别。实质上利用当前结点的后验分布
3. 当前结点包含的样本集合为空，不能划分。标记当前结点为叶子结点，将其类别设定为父节点所含样本最多的类别。实质上利用父节点的样本分布作为当前结点的先验分布。

【后验概率 $\propto$ 可能性 $\times$ 先验概率】

3.2 划分选择

划分标准是能不断提高提高结点纯度

3.2.1 ID3决策树

3.2.1.1 信息熵

定义：度量样本集合纯度最常用的一种指标，其定义如下
$$\mathrm{Ent}(D)=-\sum _{k=1}^{|\mathcal{Y}|}{p}_k{\log }_2{p}_k$$
其中$D=\left\{\left({\mathbf{x}}_1,y_1\right),\left({\mathbf{x}}_2,y_2\right),\dots \left({\mathbf{x}}_m,y_m\right)\right\}$表示样本集合，$|y|$表示样本类别综述，$p_k$表示第k类样本所占的比例，且有$0\le p_k\le 1,{\sum }_{k=1}^{|\mathcal{Y}|}{p}_k=1$. 而且$Ent(D)$值越小，纯度越高。 【为了具体量化纯度高低，也就是什么样的情况下的取值纯度高，什么情况下纯度低，我们要先求出信息熵的最大最小值。】

证明：$0\le \mathrm{Ent}(D)\le {\log }_2|\mathcal{Y}|$

第一步，我们先求信息熵的最大值。

令$|\mathcal{Y}|=n,p_k=x_k$,那么信息熵$\mathrm{Ent}(D)$就可以看成是一个$n$元实值函数：
$$\mathrm{Ent}(D)=f\left(x_1,\dots ,x_n\right)=-\sum _{k=1}^n{x}_k{\log }_2{x}_k$$
其中$0\le x_k\le 1.{\sum }_{k=1}^n{x}_k=1$,下面考虑求该多元函数的最值。

如果不考虑约束$0\le x_k\le 1$仅考虑${\sum }_{k=1}^n{x}_k=1$的话，对$f\left(x_1,\dots ,x_n\right)$求最大值等价于求如下最小化问题：
$$\begin{array}{r}\min \sum _{k=1}^n{x}_k{\log }_2{x}_k\\ \text{ s.t. }\sum _{k=1}^n{x}_k=1\end{array}$$
显然，在$0\le x_k\le 1$ 时，此问题为凸优化问题。【因为我们同样可以把目标函数看成是n个一元实值函数$x{\log }_{2}x$相加和的结果。当x取值[0, 1]区间时，${\left(x{\log }_{2}x\right)}^{\prime \prime }>0$，这就说明一元函数$x{\log }_{2}x$在区间[0, 1]上是开口向上的凸函数。因此由n个这个一元函数组成的目标函数也是凸函数。现在的约束是线性函数约束，目标函数是凸函数，这就是凸优化问题。】

而对于凸优化问题来说，满足KKT条件的点就是最优解。由于此最小化问题仅含等式约束，那么能令其拉格朗日函数的一阶偏导数等于0的点即为满足KKT条件的点。

因此根据拉格朗日乘子法，该优化问题的拉格朗日函数为:
$$L\left(x_1,\dots ,x_n,\lambda \right)=\sum _{k=1}^n{x}_k{\log }_2{x}_k+\lambda \left(\sum _{k=1}^n{x}_k-1\right)$$
对拉格朗日函数分别关于各个参数求一阶偏导，并令偏导数等于0可得
$$\begin{array}{rl}\frac{\partial L\left(x_1,\dots ,x_n,\lambda \right)}{\partial x_1}& =\frac{\partial }{\partial x_1}\left[\sum _{k=1}^n{x}_k{\log }_2{x}_k+\lambda \left(\sum _{k=1}^n{x}_k-1\right)\right]=0\\ & ={\log }_2{x}_1+x_1\cdot \frac{1}{x_1\ln 2}+\lambda =0\\ & ={\log }_2{x}_1+\frac{1}{\ln 2}+\lambda =0\\ & \Rightarrow \lambda =-{\log }_2{x}_1-\frac{1}{\ln 2}\end{array}$$
同理
$$\lambda =-{\log }_2{x}_1-\frac{1}{\ln 2}=-{\log }_2{x}_2-\frac{1}{\ln 2}=\dots =-{\log }_2{x}_n-\frac{1}{\ln 2}$$
又
$$\begin{gathered} \frac{\partial L\left(x_1\dots .x_n\cdot \lambda \right)}{\partial \lambda }=\frac{\partial }{\partial \lambda }\left[\sum _{k=1}^n{x}_k{\log }_2{x}_k+\lambda \left(\sum _{k=1}^n{x}_k-1\right)\right]=0 \\ \Rightarrow \sum _{k=1}^n{x}_k=1 \end{gathered}$$
所以我们有
$$x_1=x_2=\dots =x_n=\frac{1}{n}$$
又因为$0\le x_k\le 1$, 显然$0\le \frac{1}{n}\le 1$, 所以$x_1=x_2=\dots =x_n=\frac{1}{n}$是满足所有约束条件的最优解，也就是当前最小化问题的最小值点，以及原函数$f\left(x_1,\dots ,x_n\right)$的最大值点。将最优解代入原函数$f$中可得
$$f\left(\frac{1}{n},\dots ,\frac{1}{n}\right)=-\sum _{k=1}^n\frac{1}{n}{\log }_2\frac{1}{n}=-n\cdot \frac{1}{n}{\log }_2\frac{1}{n}={\log }_{2}n$$
所以$f\left(x_1,\dots ,x_n\right)$在满足约束$0\le x_k\le 1.{\sum }_{k=1}^n{x}_k=1$时的最大值为${\log }_{2}n$

第二步，我们求$Ent(D)$的最小值。

如果不考虑${\sum }_{k=1}^n{x}_k=1$,仅考虑$0\le x_k\le 1$, $f\left(x_1,\dots ,x_n\right)$可以看做是n个互不相关的一员函数的加和，也就是
$$\begin{gathered} f\left(x_1,\dots ,x_n\right)=\sum _{k=1}^{n}g\left(x_k\right) \\ g\left(x_k\right)=-x_k{\log }_2{x}_k,0\le x_k\le 1 \end{gathered}$$
因此当$g\left(x_1\right),g\left(x_2\right),\dots ,g\left(x_n\right)$分别取到其最小值时，$f\left(x_1,\dots ,x_n\right)$也就取到了最小值。由于$g\left(x_1\right),g\left(x_2\right),\dots ,g\left(x_n\right)$的定义域和函数表达式相同，所以只需要求出$g(x_1)$的最小值，也就求出了$g\left(x_1\right),g\left(x_2\right),\dots ,g\left(x_n\right)$的最小值。为了求$g(x_1)$的最小值，我们先求$g(x_1)$关于与$x_1$的一阶与二阶导数
$$\begin{array}{c}{g}^{\prime }\left(x_1\right)=\frac{d\left(-x_1{\log }_2{x}_1\right)}{d{x}_1}=-{\log }_2{x}_1-x_1\cdot \frac{1}{x_1\ln 2}=-{\log }_2{x}_1-\frac{1}{\ln 2}\\ g^{\prime \prime }\left(x_1\right)=\frac{d\left(g^{\prime }\left(x_1\right)\right)}{d{x}_1}=\frac{d\left(-{\log }_2{x}_1-\frac{1}{\ln 2}\right)}{d{x}_1}=-\frac{1}{x_1\ln 2}\end{array}$$
显然，当$0\le x_k\le 1$时，$g^{\prime \prime }$恒小于0，所以$g(x_1)$是一个在其定义域范围内开口向下的凹函数，那么其最小值必然在边界取，于是分别取$x_1=0$和$x_1=1$，代入$g(x_1)$可有
$$\begin{array}{l}g(0)=-0{\log }_{2}0=0\\ g(1)=-1{\log }_{2}1=0\end{array}$$
所以$g(x_1)$的最小值是0，同理，$g\left(x_2\right),\dots ,g\left(x_n\right)$的最小值也为0， 那么在约束条件$0\le x_k\le 1$下，$f\left(x_1,\dots ,x_n\right)$的最小值此时也为0.如果加上约束条件${\sum }_{k=1}^n{x}_k=1$,那么$f\left(x_1,\dots ,x_n\right)$的最小值一定大于等于0. 如果令$x_k=1$,那么根据约束${\sum }_{k=1}^n{x}_k=1$可有$x_1=x_2=\dots =x_{k-1}=x_{k+1}=\dots =x_n=0$,将其代入$f\left(x_1,\dots ,x_n\right)$有
$$f(0,0,\dots ,0,1,0,\dots ,0)=-0{\log }_{2}0-0{\log }_{2}0\dots -0{\log }_{2}0-1{\log }_{2}1-0{\log }_{2}0\dots -0{\log }_{2}0=0$$
所以$x=1,x_1=x_2=\dots =x_{k-1}=x_{k+1}=\dots =x_n=0$一定是$f\left(x_1,\dots ,x_n\right)$在满足约束$0\le x_k\le 1,{\sum }_{k=1}^n{x}_k=1$的条件下的最小值点，最小值为0.

【也就是说，在一个集合中，针对n种标记取值，属于每一种标记的样本数量都相等，比例都为$\frac{1}{n}$的时候，信息熵取值最大，纯度最低。而所有样本标记都等于某一个标记、其他标记样本数量为0的时候，信息熵取值最小，纯度最高。】

3.2.1.2 条件熵

定义： 在已知样本属性$a$的取值情况下，度量样本集合纯度的一种指标
$$H(D\mid a)=\sum _{v=1}^V\frac{\left|D^v\right|}{|D|}\mathrm{Ent}\left(D^v\right)$$
其中$a$表示样本的某个属性，假定属性$a$有$V$个可能的取值$\left\{a^1,a^2\dots ,a^V\right\}$, 样本集合$D$中在属性$a$上取值为$a^v$的样本记为$D^v$， $Ent(D^v)$表示样本集合$D^v$的信息熵。$H$值越小，纯度越高。

信息增益：
$$\begin{array}{rl}\mathrm{Gain}(D,a)& =\mathrm{Ent}(D)-\sum _{v=1}^V\frac{\left|D^v\right|}{|D|}\mathrm{Ent}\left(D^v\right)\\ & =\mathrm{Ent}(D)-H(D\mid a)\end{array}$$
选择信息增益值最大的属性作为划分属性，因为信息增益越大，该属性用作划分所获得的的”纯度提升“越大。【注意这里的加和，对v加和是对a属性中不同的取值加和，信息熵中是对划分后的样本集合中的目标类别标签加和】

以信息增益为划分准则的ID3决策树对可取值数目较多的属性有所偏好
$$\begin{array}{rl}\mathrm{Gain}(D,a)& =\mathrm{Ent}(D)-\sum _{v=1}^V\frac{\left|D^v\right|}{|D|}\mathrm{Ent}\left(D^v\right)\\ & =\mathrm{Ent}(D)-\sum _{v=1}^V\frac{\left|D^v\right|}{|D|}\left(-\sum _{k=1}^{|\mathcal{Y}|}{p}_k^v{\log }_2{p}_k^v\right)\\ & =\mathrm{Ent}(D)-\sum _{v=1}^V\frac{\left|D^v\right|}{|D|}\left(-\sum _{k=1}^{|y|}\frac{\left|D_k^v\right|}{\left|D^v\right|}{\log }_2\frac{\left|D_k^v\right|}{\left|D^v\right|}\right)\end{array}$$
其中$D_k^v$是样本集合$D$中在属性$a$上取值为$a^v$且类别为$k$的样本。

然后我们就可以把决策树基本算法的第8行选择属性设定为:$a_{\ast }=\underset{a\in A}{\mathrm{argmax}}\mathrm{Gain}(D,a)$.

缺点：如果某个属性的取值类别太多，就可能把每一个取值类别划分后就导致每个分支节点的纯度很高（只有一两个样本），虽然信息增益很大，但是因为结点划分太多，得到一个庞大且浅的树，失去了泛化能力

3.2.2 C4.5决策树

定义：以信息增益率为准则来选择划分属性的决策树。为了解决ID3的缺点。

信息增益率：
$$\text{ Gain\_ratio }(D,a)=\frac{\mathrm{Gain}(D,a)}{\mathrm{IV}(a)}$$
其中
$$\mathrm{I}\mathrm{V}(a)=-\sum _{v=1}^V\frac{\left|D^v\right|}{|D|}{\log }_2\frac{\left|D^v\right|}{|D|}$$
如果属性a的可能取值数目越多，也就是V变大，那么IV的值也变大。

缺点：信息增益率对可取值数目较少的属性有所偏好。无法处理回归问题、使用较为复杂的熵来作为特征选择的标准、生成的决策树是一颗较为复杂的多叉树结构。

因此C4.5算法并不是直接选择增益率最大的候选划分属性，而是采用了一个启发式：

1. 先从候选属性中找到信息增益高于平均水平的属性集合
2. 再从这个属性集合中选择增益率最高的属性

3.2.3 CART决策树

3.2.3.1 定义：

以基尼指数为准则来选择划分属性的决策树

基尼值：
$$\mathrm{Gini}(D)=\sum _{k=1}^{|\mathcal{Y}|}\sum _{k^{\prime }\ne k}{p}_k{p}_{k^{\prime }}=\sum _{k=1}^{|\mathcal{Y}|}{p}_k\sum _{k^{\prime }\ne k}{p}_{k^{\prime }}=\sum _{k=1}^{|\mathcal{Y}|}{p}_k\left(1-p_k\right)=1-\sum _{k=1}^{|\mathcal{Y}|}{p}_k^2$$
直观来说，基尼值反映了从数据集$D$中随机抽取两个样本，其类别标记不一致的概率。

基尼指数：
$$\text{ Gini\_index }(D,a)=\sum _{v=1}^V\frac{\left|D^v\right|}{|D|}\mathrm{Gini}\left(D^v\right)$$
基尼值和基尼指数越小，样本集合纯度越高。

3.2.3.2 CART决策树分类算法：

1. 根据基尼指数公式找出基尼指数最小的属性【伪代码算法第8行变成$a_{\ast }=\underset{a\in A}{\mathrm{argmin}}\mathrm{G}\mathrm{i}\mathrm{n}\mathrm{i}\_\mathrm{i}\mathrm{n}\mathrm{d}\mathrm{e}\mathrm{x}(D,a)$】
2. 计算属性$a_{\ast }$的所有可能取值的基尼值$\mathrm{Gini}\left(D^v\right),v=1,2,\dots ,V$, 选择基尼指数最小的取值$a_{\ast }^v$作为划分点，将集合$D$划分为$D_1,D_2$两个集合（分支结点），其中$D_1$集合的样本为$a_{\ast }=a_{\ast }^v$的样本，$D_2$集合为$a_{\ast }\ne a_{\ast }^v$
3. 对集合$D_1$和$D_2$重复递归步骤1，2，直到满足停止条件

3.2.3.3 CART决策树回归算法：

1. 根据以下公式找到最优划分特征$a_{\ast }$和最优划分点$a_{\ast }^v$：

$$a_{\ast },a_{\ast }^v=\underset{a,a^v}{\mathrm{argmin}}\left[\underset{c_1}{\min }\sum _{x_i\in D_1\left(a,a^v\right)}{\left(y_i-c_1\right)}^2+\underset{c_2}{\min }\sum _{x,\in D_2\left(a,a^v\right)}{\left(y_i-c_2\right)}^2\right]$$

其中， $D_1\left(a,a^v\right)$表示在属性$a$上取值小于等于$a^v$的样本集合，$D_2(a,a^v)$表示在属性$a$上取值大于$a^v$的样本集合，$c_1$表示$D_1$的样本输出均值， $c_2$表示$D_2$的样本输出均值

2. 根据划分点$a_{\ast }^v$将集合$D$划分为$D_1$和$D_2$两个集合（分支节点）
3. 对集合$D_1$和$D_2$重复递归步骤1，2，直到满足停止条件

3.3 决策树剪枝处理

剪枝是决策树学习算法对付过拟合的主要手段

3.3.1 预剪枝

在决策树生成过程中，对每个结点在划分前先进行估计，若当前结点的划分不能带来决策树泛化性能提升，则停止划分并将当前结点标注为叶结点。基于信息增益准则

【看是否提高在验证集上的准确率】

缺点：有些分支的当前划分虽不能提升泛化性能，但是在其基础上的后续划分却有可能导致性能提高。预剪枝基于贪心本质禁止这些分支继续划分，因此有可能导致模型欠拟合

3.3.2后剪枝

先从训练集生成一颗完整的决策树，然后自底向上地对非叶结点进行考察，若将该结点对应的子树替换为叶结点能带来决策树泛化性能提升，则将子树替换为叶子结点

缺点：时间复杂度比预剪枝更高

	预剪枝	后剪枝
时间开销	训练$\downarrow$, 测试$\downarrow$	训练$\uparrow$, 测试$\downarrow$
过/欠拟合风险	过$\downarrow$, 欠$\uparrow$	过$\downarrow$, 欠不变
泛化能力		更好

3.4 决策树处理连续值、缺失值

3.4.1 连续值处理

最简单的策略是采用二分法对连续属性进行处理。C4.5算法中采用了

给定样本集$D$和连续属性a, 假定a在$D$上出现n个不同取值，并将它们从小到大进行排序$\left\{a^1,a^2,\dots ,a^n\right\}$. 我们课考察包含$n-1$个元素的候选划分点集合
$$T_a=\left\{\frac{a^i+a^{i+1}}{2}\mid 1⩽i⩽n-1\right\}$$
也就是把区间$\left[a^i,a^{i+1}\right)$的中位点$\frac{a^i+a^{i+1}}{2}$作为候选划分点。然后就可以考察这些划分点，选取最优的划分点进行样本集合的划分。
$$\begin{array}{rl}\mathrm{Gain}(D,a)& =\underset{t\in T_a}{\max }\mathrm{Gain}(D,a,t)\\ & =\underset{t\in T_a}{\max }\mathrm{Ent}(D)-\sum _{\lambda \in \{-,+\}}\frac{\left|D_t^{\lambda }\right|}{|D|}\mathrm{Ent}\left(D_t^{\lambda }\right)\end{array}$$
其中$\text{Gain}(D,a,t)$是样本集$D$基于划分点$t$二分后的信息增益。于是，我们就可以选择是$\text{Gain}(D,a,t)$最大化的划分点.

3.4.2 缺失值处理

待解决的两个问题：

1. 如何在属性值确实的情况下进行划分属性选择？
2. 给定划分选择，若样本在该属性上的值缺失，如何对样本进行划分？

首先考虑问题1.

给定训练集$D$和属性$a$，令$\tilde{D}$表示$D$中在属性$a$上没有缺失值的样本子集。显然我们只能根据$\tilde{D}$来判断属性$a$的优劣。假定属性$a$有$V$个可能取值$\left\{a^1,a^2,\dots ,a^V\right\}$, 令${\tilde{D}}^v$表示$\tilde{D}$中在属性a上取值为$a^v$的样本子集， ${\tilde{D}}_k表示$$\tilde{D}$中属于第$k$类（$k=1,2,\dots ,|\mathcal{Y}|$）的样本子集。我们假定为每个样本$\mathbf{x}$赋予一个权重$w_{\mathbf{x}}$（在学习开始阶段，根节点中各样本的权重初始化为1）， 并定义
$$\begin{array}{rl}\rho & =\frac{{\sum }_{\mathbf{x}\in \tilde{D}}{w}_{\mathbf{x}}}{{\sum }_{\mathbf{x}\in D}{w}_{\mathbf{x}}}\\ {\tilde{p}}_k& =\frac{{\sum }_{\mathbf{x}\in {\tilde{D}}_k}{w}_{\mathbf{x}}}{{\sum }_{\mathbf{x}\in \tilde{D}}{w}_{\mathbf{x}}}(1⩽k⩽|\mathcal{Y}|)\\ {\tilde{r}}_v& =\frac{{\sum }_{\mathbf{x}\in {\tilde{D}}^v}{w}_{\mathbf{x}}}{{\sum }_{\mathbf{x}\in \tilde{D}}{w}_{\mathbf{x}}}(1⩽v⩽V)\end{array}$$
显然，对属性$a$：

1. $\rho$表示无缺失值样本所占的比例
2. ${\tilde{p}}_k$表示无缺失值样本中第$k$类所占的比例
3. ${\tilde{r}}_v$则表示无缺失值样本中在属性$a$上取值$a^v$的样本所占的比例。

显然: ${\sum }_{k=1}^{|\mathcal{Y}|}{\tilde{p}}_k=1,{\sum }_{v=1}^V{\tilde{r}}_v=1$

信息增益的计算式变为
$$\begin{array}{rl}\mathrm{Gain}(D,a)& =\rho \times \mathrm{Gain}(\tilde{D},a)\\ & =\rho \times \left(\mathrm{Ent}(\tilde{D})-\sum _{v=1}^V{\tilde{r}}_v\mathrm{Ent}\left({\tilde{D}}^v\right)\right)\end{array}$$
其中
$$\mathrm{Ent}(\tilde{D})=-\sum _{k=1}^{|\mathcal{Y}|}{\tilde{p}}_k{\log }_2{\tilde{p}}_k$$
【本质上就是通过无缺失样本的比例对各个量进行比例缩放。其中r和p本质上和之前的$\frac{|D^v|}{|D|}$和$\frac{|D_k|}{|D|}$没有区别】

然后考虑问题2.我们已经知道选择哪个划分属性了，然后把样本喂入决策树模型。如果样本$x$在划分属性$a$上的取值已知，则将$x$划入与其取值对应的子结点，且样本权值在子结点中保持$w_x$。如果样本$x$在划分属性$a$上取值未知，就将$x$同时划入所有子结点，且样本权值在与属性值$a^v$对应的子节点中调整为${\tilde{r}}_v\cdot w_{\mathbf{x}}$.也就是让同一个样本以不同概率划入到不同的子结点中。