决策树相关算法_ID3_C45_信息熵_剪枝

决策树算法的主要思想源于Quinlan在1986年提出的ID3算法和1993年提出的C4.5算法，以及由Breiman等人在1984年提出的CART算法，其主要优点是：

1. 可读性；
2. 分类速度快。

决策树学习通常包括3个步骤：

1. 特征选择；
2. 决策树的生成；
3. 决策树的修剪。

---

信息增益

为了说明信息增益算法，需要先给出熵entropy的定义，熵表示随机变量的不确定性的度量。设$X$是一个取有限个值的离散随机变量，其概率分布为
$$P(X=x_i)=p_i,i=1,2,...,n$$
则随机变量$X$的熵定义为
$$H(x)=-\sum _{i=1}^n{p}_i\log p_i$$

特征$A$对训练数据集$D$的信息增益$g(D,A)$，定义为集合$D$的经验熵$H(D)$与特征$A$给定条件下$D$的经验条件熵$H(D|A)$之差，即
$$g(D,A)=H(D)-H(D|A)$$

根据信息增益准则的特征选择方法是：对训练数据集（或子集）$D$，计算其每个特征的信息增益，并比较它们的大小，选择信息增益最大的特征。

设训练数据集为$D$，$\left|D\right|$表示样本容量，即样本个数。设有$K$个类$C_k$，$k=1,2,...,K$，$\left|C_k\right|$为属于类$C_k$的样本个数，${\sum }_{k=1}^K\left|C_k\right|=\left|D\right|$。

设特征$A$有$n$个不同的取值$\{a_1,a_2,...,a_n\}$，根据特征$A$的取值将$D$划分为$n$个子集$D_1,D_2,...,D_n$，$\left|D_i\right|$为$D_i$的样本个数，${\sum }_{i=1}^n\left|D_i\right|=\left|D\right|$。记子集$D_i$中属于类$C_k$的样本的集合为$D_{ik}$，$D_{ik}=D_i\cap C_k$，$\left|D_{ik}\right|$为$D_{ik}$的样本个数。

算法：
输入：训练集$D$和特征$A$；
输出：特征$A$对训练数据集$D$的信息增益$g(D,A)$。

1. 计算数据集$D$的经验熵$H(D)$
   $$H(D)=-\sum _{k=1}^K\frac{\left|C_k\right|}{\left|D\right|}{\log }_2\frac{\left|C_k\right|}{\left|D\right|}$$
2. 计算特征$A$对数据集$D$的经验条件熵$H(D|A)$
   $$H(D|A)=\sum _{i=1}^n\frac{\left|D_i\right|}{\left|D\right|}H(D_i)=-\sum _{i=1}^n\frac{\left|D_i\right|}{\left|D\right|}\sum _{k=1}^K\frac{\left|D_{ik}\right|}{\left|D_i\right|}{\log }_2\frac{\left|D_{ik}\right|}{\left|D_i\right|}$$
3. 计算信息增益
   $$g(D,A)=H(D)-H(D|A)$$

---

ID3算法

ID3算法的核心是在决策树各个结点上应用信息增益准则选择特征，递归地构建决策树。具体方法是：从根节点开始，对结点计算所有可能的特征的信息增益，选择信息增益最大的特征作为结点的特征，由该特征的不同取值建立子节点；再对子节点递归地调用以上方法，构建决策树；直到所有特征的信息增益均很小或没有特征可以选择为止。

算法：
输入：训练数据集$D$，特征集$A$，阈值$\epsilon$；
输出：决策树$T$。

1. 若$D$中所有实例属于同一类$C_k$，则$T$为单节点树，并将类$C_k$作为该结点的类标记，返回$T$；
2. 若$A=\varnothing$，则$T$为单节点树，并将$D$中实例数最大的类$C_k$作为该结点的类标记，返回$T$；
3. 否则，计算$A$中各特征对$D$的信息增益，选择信息增益最大的特征$A_g$；
4. 如果$A_g$的信息增益小于阈值$\epsilon$，则置$T$为单结点树，并将$D$中实例最大的类$C_k$作为该结点的类标记，返回$T$；
5. 否则，对$A_g$的每一可能值$a_i$，依$A_g=a_i$将$D$分割为若干非空子集$D_i$，将$D_i$中实例数最大的类作为标记，构建子节点，由结点及其子节点构成树$T$，返回$T$；
6. 对第$i$个子节点，以$D_i$为训练集，以$A-\{A_g\}$为特征集，递归地调用步骤1~5，得到子树$T_i$，返回$T_i$。

---

C4.5算法

$C4.5$算法与$ID3$算法相似，$C4.5$对$ID3$进行了改进，在生成树的过程中，改用信息增益比来选择特征。

特征$A$对训练数据集$D$的信息增益比$g_R(D,A)$定义为其信息增益$g(D,A)$与训练数据集$D$关于特征$A$的值的熵$H_A(D)$之比，即
$$g_R(D,A)=\frac{g(D,A)}{H_A(D)}$$
其中$n$是特征$A$取值的个数，$H_A(D)=-{\sum }_{i=1}^n\frac{|D_i|}{|D|}{\log }_2\frac{|D_i|}{|D|}$。

算法：
输入：训练数据集$D$，特征集$A$，阈值$\epsilon$；
输出：决策树$T$。

1. 若$D$中所有实例属于同一类$C_k$，则$T$为单节点树，并将类$C_k$作为该结点的类标记，返回$T$；
2. 若$A=\varnothing$，则$T$为单节点树，并将$D$中实例数最大的类$C_k$作为该结点的类标记，返回$T$；
3. 否则，计算$A$中各特征对$D$的信息增益比，选择信息增益比最大的特征$A_g$；
4. 如果$A_g$的信息增益小于阈值$\epsilon$，则置$T$为单结点树，并将$D$中实例最大的类$C_k$作为该结点的类标记，返回$T$；
5. 否则，对$A_g$的每一可能值$a_i$，依$A_g=a_i$将$D$分割为若干非空子集$D_i$，将$D_i$中实例数最大的类作为标记，构建子节点，由结点及其子节点构成树$T$，返回$T$；
6. 对第$i$个子节点，以$D_i$为训练集，以$A-\{A_g\}$为特征集，递归地调用步骤1~5，得到子树$T_i$，返回$T_i$。

---

剪枝

为解决决策树学习产生的过拟合现象，通常采用的办法是降低决策树的复杂度，对已生成的决策树进行简化，即剪枝(pruning)。剪枝从已生成的树上裁掉一些子树或叶节点，并将其根节点或父节点作为新的叶节点，从而简化分类树模型。

决策树的剪枝往往通过极小化决策树整体的损失函数或代价函数来实现。设树$T$的叶节点个数为$\left|T\right|$，$t$是树$T$的叶节点，该叶节点有$N_t$个样本点，其中$k$类的样本点有$N_{tk}$个，$k=1,2,...,K$，$H_t(T)$为叶节点$t$上的经验熵，$\alpha \ge 0$为参数，则决策树学习的损失函数可以定义为
$$C_{\alpha }(T)=\sum _{t=1}^{|T|}{N}_t{H}_t(T)+\alpha \left|T\right|$$
其中经验熵为
$$H_t(T)=-\sum _k\frac{\left|N_{tk}\right|}{\left|N_t\right|}\log \frac{\left|N_{tk}\right|}{\left|N_t\right|}$$

算法：
输入：生成算法产生的整个树$T$，参数$\alpha$；
输出：修剪后的子树$T_{\alpha }$；

1. 计算每个结点的经验熵；
2. 递归地从树的叶节点向上回缩。设一组叶节点回缩到父节点之前与之后的整体树分别为$T_B$和$T_A$，其对应的损失函数值分别为$C_{\alpha }(T_B)$与$C_{\alpha }(T_A)$，如果$C_{\alpha }(T_A)\le C_{\alpha }(T_B)$，则进行剪枝，将父节点变为新的叶节点。
3. 返回2，直至不能继续为止，得到损失函数最小的子树$T_{\alpha }$。