机器学习初探（三）决策树

机器学习初探（三）决策树

在开始介绍决策树的基本算法之前，首先要了解一下决策树算法中的所使用到的损失函数。

决策树中度量不确定性的度量标准

几乎所有的决策树算法的思想都是一样的：不断地对数据集进行划分，而决定如何划分的标准是使得数据的“不确定性”减小的越多越好，就意味着该划分能够获得越多信息。接下来介绍一下常用的两种度量标准：
1.信息熵
公式：$H\left(y\right)=-{\sum }_{k=1}^K{p}_{k}log{p}_k$
对于具体的、随机变量y生成的数据集$D=\left\{y_1,...,y_N\right\}$而言，在实际操作中通常会利用经验熵来估计真正的信息熵：
$H\left(y\right)=H\left(D\right)=-{\sum }_{k=1}^K\frac{|C_k|}{|D|}log\frac{|C_k|}{|D|}$
这里假设随机变量y的取值空间为$\left\{c_1,...,c_K\right\}$，$p_k$表示y取$c_k$的概率：$p_k=p\left(y=c_k\right)$；$\left|C_k\right|$代表由随机变量y中类别为$c_k$的样本的个数，$\left|D\right|$代表D的总样本个数（亦即$\left|D\right|=N$）。可以看到，经验公式背后的思想其实就是“频率估计概率”。
接下来阐述一下为什么信息熵能够用来度量数据的不确定性。
很直观地来看，如果随机变量取到每一个类别$p_k$的概率都是一样的，亦即y完全没有规律可循，此时的由y生成出来的数据$\left\{y_1,...,y_N\right\}$的不确定性是在取值空间为$\left\{c_1,...,c_K\right\}$、样本数为N的数据中最大的。
而当随机变量完全属于某一类别，即存在某个$k^{\ast }$，使得$p\left(y=c_{k^{\ast }}\right)=1$，$p\left(y=c_k\right)=0，\forall k̸=k^{\ast }$，此时y产生数据的不确定性最小。
而信息熵公式恰好满足以上性质，以简单的K=2的情况来看，其函数图像就像一个倒扣的碗，当p=0.5时H(y)达到最大，p=0或1时H(y)为0。

2.基尼系数
$Gini\left(y\right)={\sum }_{k=1}^K{p}_k\left(1-p_k\right)=1-{\sum }_{k=1}^K{p}_k^2$
同样可以利用经验基尼系数来进行估计：
$Gini\left(y\right)=Gini\left(D\right)=1-{\sum }_{k=1}^K{\left(\frac{|C_k|}{|D|}\right)}^2$
可以证明，基尼系数拥有与信息熵同样的性质，即$p_1=p_2=...=p_K=\frac{1}{K}$时，Gini(y)取得最大值，当存在$k^{\ast }$使得$p_{k^{\ast }}=1$时，Gini(y)=0。

信息的增益

在了解了不确定性的度量标准后，决策树应该如何利用这些标准？这就不得不提到一个概念——信息的增益是针对随机变量y和描述该变量的特征来定义的，此时数据集$D=\left\{\left(x_1,y_1\right),...,\left(x_N,y_N\right)\right\}$，其中$x_i={\left(x_i^{\left(1\right)},...,x_i^{\left(n\right)}\right)}^T$是描述$y_i$的特征向量，n则是特征个数。可以先研究单一特征情况，该特征为A，数据集$D=\left\{\left(A_1,y_1\right),...,\left(A_N,y_N\right)\right\}$；此时所谓的信息增益，反映的就是特征A所能给我们带来的关于y的“信息量”的大小。
因此在这里引入条件熵$H\left(y\mid A\right)$的概念来定义信息的增益：所谓信息熵，就是根据特征A的不同取值$\left\{a_1,...,a_m\right\}$对y进行限制后，先对这些被限制的y分别计算信息熵，再把这些信息熵（一共有m个）根据特征取值本身的概率加权求和，从而得到总的条件熵。换句话说，条件熵是由被A不同取值限制的各个部分的y的不确定性以取值本身的概率作为权重加总得到的。
所以，条件熵$H\left(y\mid A\right)$越小，意味着y被A限制后的总的不确定性越小，从而意味着A更能够帮助我们做出决策。
数学定义如下：
$H\left(y\mid A\right)={\sum }_{j=1}^{m}p\left(A=a_j\right)H\left(y\mid A=a_j\right)$
其中
$H\left(y\mid A=a_j\right)=-{\sum }_{k=1}^{K}p\left(y=c_k\mid A=a_j\right)logp\left(y=c_k\mid A=a_j\right)$
同样可以用经验条件熵来估计真正的条件熵：
$H\left(y\mid A\right)=H\left(y\mid D\right)={\sum }_{j=1}^m\frac{|D_j|}{D}{\sum }_{k=1}^K\frac{|D_{jk}|}{D_j}log\frac{|D_{jk}|}{D_j}$
这里的$D_j$表示在$A=a_j$限制下的数据集。通常可以记$D_j$中的样本$y_i$满足$y_i^A=a_j$，公式中的$\left|D_{jk}\right|$则代表着$D_j$中第k类样本的个数。
从条件熵的直观含义，信息的增益可以自然地定义为：

$g\left(y,A\right)=H\left(y\right)-H\left(y\mid A\right)$
这里的$g\left(y,A\right)$常被称为互信息。ID3算法就是利用它作为特征选择标准的。但是，如果简单地以互信息作为标准的话，会存在偏向于选择取值较多的特征，也就是m比较大的特征的问题。
为了解决该问题，可以给m一个惩罚，由此可以得到信息增益比的概念，该概念对应着C4.5算法：
$g_R\left(y,A\right)=\frac{g\left(y,A\right)}{H_A\left(y\right)}$
其中$H_A\left(y\right)$是y关于A的熵，它的定义为：
$H_A\left(y\right)=-{\sum }_{j=1}^{m}p\left(y^A=a_j\right)logp\left(y^A=a_j\right)$
同样可以用经验熵来进行估计：
$H_A\left(y\right)=H_A\left(D\right)=-{\sum }_{j=1}^m\frac{|D_j|}{|D|}log\frac{|D_j|}{|D|}$
需要指出的是，只需要类比上述的过程，同样可以使用基尼系数来定义信息的增益。具体而言，可以先定义条件基尼系数：
$Gini\left(y\mid A\right)={\sum }_{j=1}^{m}p\left(A=a_j\right)Gini\left(y\mid A=a_j\right)$
其中
$Gini\left(y\mid A=a_j\right)=1-{\sum }_{k=1}^K{p}^2\left(y=c_k\mid A=a_j\right)$
同样可以用经验条件基尼系数来进行估计：
$Gini\left(y\mid A\right)=Gini\left(y\mid D\right)={\sum }_{j=1}^m\frac{|D_i|}{|D|}\left[1-{\sum }_{k=1}^K{\left(\frac{|D_{jk}|}{|D_j|}\right)}^2\right]$
信息的增益则自然地定义为
$g_{Gini}\left(y,A\right)=Gini\left(y\right)-Gini\left(y\mid A\right)$
CART算法通常应用这种定义。

决策树算法

这里介绍三个比较基本的决策树算法：

• ID3算法可说是“最朴素”的决策树算法，它给出了对离散型数据分类的解决方案。
• C4.5算法在其基础上进一步发展，给出了对混合型数据分类的解决方案。
• CART算法则更进一步，给出了对数据回归的解决方案。

它们的核心思想都是一致的：算法通过不断划分数据集来生成决策树，其中每一步的划分能够使当前的信息增益达到最大。
直观上可以这样想像一个决策树的生成过程：

• 向根节点输入数据
• 根据信息增益的度量，选择数据的某个特征来把数据划分成（互不相交的）好几份并分别喂给一个新node
• 如果分完数据后发现：
  1.某份数据的不确定较小，亦即其中某一类的样本已经占了大多数，此时就不再对这份数据继续进行划分，将对应的的node转化为叶节点
  2.某份数据的不确定性仍然较大，那么这份数据就要继续分割下去（转第二个项目符号）

事实上，几乎所有决策树算法的主要过程都与上述一致，区别仅表现在度量信息增益和划分数据的方法不同上。

1.ID3
输入：训练数据集$D=\left\{\left(x_1,y_1\right),...,\left(x_N,y_N\right)\right\}$
过程：

• 将数据集D喂给一个node；

• 若D中的所有样本同属于类别$c_k$，则该node不再继续生成，将其类别标记为$c_k$类；

• 若$x_i$已经是0维向量，亦即已没有可选特征，则将此时D中样本个数最多的类别$c_k$作为该node的类别；

• 否则，按照互信息定义的信息增益：
  $g\left(y,x^{\left(j\right)}\right)=H\left(y\right)-H\left(y\mid x^{\left(i\right)}\right)$
  来计算第j维特征的信息增益，然后选择使得信息增益最大的特征$x^{\left(j\right)}$作为划分标准，亦即：
  $j^{\ast }=argma{x}_{j}g\left(y,x^{\left(j\right)}\right)$

• 若$x^{\left(j\right)}$满足停止条件，则不再继续生成并则将此时D中样本个数最多的类别$c_k$作为类别标记；

• 否则，依$x^{\left(j\right)}$的所有可能取值$\left\{a_1,...,a_m\right\}$将数据集D划分为$\left\{D_1,...,D_m\right\}$，使：
  $\left(x_i,y_i\right)\in D\iff x_i^{\left(j^{\ast }\right)}=a_j,\forall i=1,...,N$
  同时，将$x_1,...,x_m$ 的第$j^{\ast }$维去掉，使它们成为n-1维的特征向量

• 对每个$D_j$从（1）开始调用算法。

输出：原始数据对应的node。
其中算法第（5）步的“停止条件”（也可以称为“预剪枝”）有许多提法，常用的是如下两种：

• 若选择$x^{j^{\ast }}$作为特征时信息增益$g\left(y,x^{j^{\ast }}\right)$仍然很小（通常会传入一个参数$ϵ$作为阈值），则停止；
• 事先把数据集分为训练集与测试集（交叉验证的思想），若由训练集得到的$x^{\left(j^{\ast }\right)}$并不能使得决策树在测试集上的错误率更小，则停止。

这两种停止条件的提法通用于C4.5和CART。
2.C4.5
C4.5使用信息增益比作为信息增益的度量，从而缓解了ID3算法会倾向于选择m比较大的特征A作为划分依据这个问题；也正因如此，C4.5算法可以处理ID3算法比较难处理的混合型数据。我们先来看看它在离散型数据上的算法：
过程：

• （4）否则，按照信息增益比定义的信息增益：
  $g_R\left(y,x^{\left(j\right)}\right)=\frac{g\left(y,x^{\left(j\right)}\right)}{H_{x^{\left(j\right)}}\left(y\right)}$
  来计算第j维特征的信息增益，然后选择使得信息增益最大的特征$x^{\left(j^{\ast }\right)}$作为划分标准，亦即：
  $j^{\ast }=argma{x}_j{g}_R\left(y,x^{\left(j\right)}\right)$
  注意：C4.5会偏向选择m比较小的特征。针对此问题，提出了一个启发式方法：先选出互信息比平均互信息要高的特征，然后从这些特征中选出信息增益比最高的。

C4.5采用二分类问题的解决方案处理连续型特征。具体而言，当二分类问题和决策树结合起来时，在连续的情况下我们通常把他转述为：
$Y_1=\left\{y:y^A<a_1\right\},Y_2=\left\{y:y^A\ge a_1\right\}$
一般而言，如何处理连续性特征这个问题会归结为如何选择“二分标准”这个问题。C4.5中的做法如下：

• 若$x^{\left(j\right)}$在当前数据集中有m个取值，不妨假设它们为$u_1,...,u_m$；不失一般性，假设它们满足$u_1<...<u_m$，那么依次选择$v_1,...,v_p$作为二分标准并决出最好的一个，其中$v_1\sim v_p$构成等差数列，且：
  $v_1=u_1,v_p=u_m$
• 依次选择$v_1=\frac{u_1+u_2}{2},...,v_{m-1}=\frac{u_{m-1}+u_m}{2}$作为二分标准，计算它们的信息增益比，从而决出最好的二分标准来划分数据。

需要指出的是，C4.5具有一个比较糟糕的性质：由信息增益比的定义可知，如果是二分的话，它会倾向于把数据集分成很不均匀的两份；因为此时$H_A\left(y\right)$将非常小，导致$g_R\left(y,A\right)$很大。举个例子：如果当前划分标准为连续特征，那么C4.5可能会倾向于直接选择$v_1,v_2,v_3$等作为二分标准。这样会带来一种后果，决策树倾向于往深处发展，造成过拟合。
3.CART
CART既可作分类也可作回归。CART一般使用基尼增益作为信息信息增益的度量，其一大特色就是它假设了最终生成的决策树为二叉树，亦即它在处理离散型特征时也会通过决出二分标准来划分数据。

• 过程：
  (4)否则，不妨设$x^{\left(j\right)}$在当前数据集中有$S_j$个取值$u_1^{\left(j\right)},...,u_{S_j}^{\left(j\right)}$且它们满足$u_1^{\left(j\right)}<...<u_{S_j}^{\left(j\right)}$，那么：
  （a）若$x^{\left(j\right)}$是离散型的，则依次选取$u_1^{\left(j\right)},...,u_1^{\left(S_j\right)}$作为二分标准$a_p$，此时：
  $A_{jp}=\left\{x^{\left(j\right)}=a_p,x^{\left(j\right)}̸=a_p\right\}$
  （b）若$x^{\left(j\right)}$是连续型的，则依次选取$\frac{u_1^{\left(j\right)}+u_2^{\left(j\right)}}{2},...,\frac{u_{S_{j-1}}^{\left(j\right)}+u_{S_j}^{\left(j\right)}}{2}$作为二分标准$a_p$，此时：
  $A_{jp}=\left\{x^{\left(j\right)}<a_p,x^{\left(j\right)}\ge a_p\right\}$
  按照基尼系数定义的信息增益：
  $g_{Gini}\left(y,A_{jp}\right)=Gini\left(y\right)-Gini\left(y\mid A_{jp}\right)$
  来计算第j维特征在这些二分标准下的信息增益，然后选择使得信息增益最大的特征$x^{\left(j^{\ast }\right)}$和相应的二分标准$u_{p^{\ast }}^{\left(j^{\ast }\right)}$作为划分标准，亦即：
  $\left(j^{\ast },p^{\ast }\right)=argma{x}_{j,p}{g}_{Gini}\left(y,A_{jp}\right)$

而对于回归问题，之前的分类问题的损失为数据的不确定性，而在回归问题中，一种常见的做法就是将损失定义为平方损失：

$L\left(D\right)={\sum }_{i=1}^{N}I\left(y_i̸=f\left(x_i\right)\right){\left[y_i-f\left(x_i\right)\right]}^2$
这里的I是示性函数，f是我们的模型、$f\left(x_i\right)$是$x_i$在我们模型下的预测输出，$y_i$是真实输出。在分类问题中决策树是一个划分规则的序列，在回归问题中也差不多。具体而言，设序列一共会将输入空间划分为$R_1,...,R_M$(这M个子空间彼此不相交)，则：

• 对于回归问题，模型可以表示为：
  $f\left(x_i\right)={\sum }_{m=1}^M{c}_{m}I\left(x_i\in R_m\right)$
  这里$c_m=argmi{n}_c{L}_m\left(c\right)=argmi{n}_c{\sum }_{\left(x_i,y_i\right)\in R_m}{\left(y_i-c\right)}^2$。那么由一阶条件：
  $\frac{\partial L_m\left(c\right)}{\partial c}=0\iff -2{\sum }_{\left(x_i,y_i\right)\in R_m}\left(y_i-c_m\right)=0$
  可解得$c_m=avg\left(y_i\mid \left(x_i,y_i\right)\in R_m\right)=\frac{1}{|R_m|}{\sum }_{\left(x_i,y_i\in R_m\right)}{y}_i$

• 解决回归问题时，我们会在特征和二分选择选好后，通过求解：
  $\left(j^{\ast },p^{\ast }\right)=argmi{n}_{j,p}\left[{\sum }_{x_i<p}{\left(y_i-c_{jp}^{\left(1\right)}\right)}^2+{\sum }_{x_i\ge p}{\left(y_i-c_{jp}^{\left(1\right)}\right)}^2\right]$
  来选取划分标准。

剪枝

为了解决决策树算法中存在的过拟合问题，通常采用“预剪枝”或“后剪枝”。”预剪枝“就是前面算法所提到的”停止条件“。而”后剪枝“是指在决策树生成完毕后再对其进行修建，把多余的节点修剪掉。换句话说，后剪枝是从全局出发，通过某种标准对一些node进行局部剪枝，这样能减少决策树中node的数目，从而有效地降低模型复杂度。
因此问题的关键在于如何定出局部剪枝的标准。通常来说有两种做法：

• 应用交叉验证的思想，若局部剪枝能够使得模型在测试集上的错误率降低，则进行局部剪枝；
• 应用正则化的思想，综合考虑不确定性和模型复杂度来定出一个新的损失，用该损失作为一个node是否进行局部剪枝的标准。

因此，我们又遇到一个关键问题，如何定量分析决策树中一个node的复杂度：一个直观的做法是直接使用该node下属叶节点的个数作为复杂度。