机器学习算法9_决策树+剪枝(适用ID3与C4.5)

机器学习算法第九篇
主要内容:决策树+损失函数+剪枝算法(此剪枝算法只适用于ID3于C4.5)

剪枝目的:

• 解决决策树过拟合问题
  
  
  

决策树过拟合:

• 根据ID3与C4.5的算法我们可以知道,决策树依据信息增益或信息增益比在不断的迭代生产新的子节点,直到不能继续下去为止
  这个过程中,算法只考虑当前节点的特征选择与数据的划分,并无对树形结构复杂度的考虑,然后生成一颗非常复杂的树,
  这种树可能会得出对训练数据分类非常准确,却对测试数据不太准确的决策树,这种情况称为过拟合
  
  
  

剪枝算法实现:

• 通过对上述复杂的树进行整体剪枝处理,可以减少复杂度,平衡模型对训练集的预测误差与模型的复杂度,达到两者同时最小
  
  
  

损失函数:

• $设树T的叶子节点的个数为|T|$
• $t是树T的叶子节点$
• $该节点有N_t个样本$
• $其中k类的样本点有N_{tk}个,k=1,2,3...,K$
• $H_t(T)为叶子节点t上的熵$
• $\alpha 为超参数$

则损失函数可以定义为
$$C_{\alpha }(T)=\sum _{t=1}^{|T|}{N}_t{H}_t(T)+\alpha |T|\text{\hspace{1em}(1)}$$
其中经验熵为
$$H_t(T)=-\sum _{k=1}^K\frac{N_{tk}}{N_t}lo{g}_2\frac{N_{tk}}{N_t}$$

• $$\begin{gathered} (1)式右边第一项为每一个叶子节点内的样本总数关于其类别分布的熵乘以该节点的样本数,然后再对全部叶子的该值求和 \\ 该式可以表示模型对训练数据的误差,即拟合度 \end{gathered}$$
• $$\begin{gathered} (1)式右边第二项为超参数\alpha 与树的叶子总数量之积,可以表示对数结构复杂度的惩罚项,其中\alpha 可以控制两者之间的影响. \\ 较大的\alpha 促使生产更简单的树,较小的\alpha 促使生产较为复杂的树, \\ \alpha =0则意味着不考虑模型复杂度,只考虑模型对训练数据的拟合程度 \end{gathered}$$

剪枝,就是当$\alpha$确定时,选择损失函数最小的模型,即损失函数最小的子树

树的剪枝算法

输入:已经用生成算法生成好的树T,以及参数$\alpha$
输出:已近修剪后的树

1. 对于一个叶子节点而言,计算其现在状态的整棵树损失函数a
2. 计算假如代替其父节点后(剪枝)的整棵树损失函数b
3. 如果b比a小,则进行剪枝:剪掉父节点,将自己代替其位置,生成新的叶子节点,在新位置上循环1-3步,直到无法继续为止
4. 遍历下一个叶子节点,并重复1-3步,直到所有叶子都计算过
5. 就得到一颗损失函数最小的新树T