机器学习方法篇(4)------决策树剪枝

● 每周一言

冰冻三尺，非一日之寒；水滴石穿，非一日之功。

导语

由于决策树的分支过多，使得训练集某一小部分的样本特征被当成所有样本所具有的一般性质，会导致过拟合现象，而决策树应对过拟合的主要办法就是剪枝。那么，决策树的剪枝具体是如何操作的？

剪枝

决策树的剪枝分为预剪枝和后剪枝两种。顾名思义，预剪枝在建树过程中进行，而后剪枝则在建树完成之后才进行。

预剪枝 如上一节所讲建树过程，节点依据信息增益和增益率扩展子节点，在这个过程中，验证集的整体准确率会随着节点的扩展发生变化。某次扩展如果导致验证集当前分类准确率降低，则舍弃，这便是预剪枝。

预剪枝不仅能降低过拟合风险，还大大降低了决策树的建树时间复杂度。但是，由于预剪枝使用贪心策略决定是否展开分支，不能全局权衡利弊，也给最终模型带来了欠拟合风险。

后剪枝 后剪枝是一种全局优化方法。当决策树建树完成也就是全部节点都展开后，后剪枝从下往上依次考查各个非叶子结点，考察方法和预剪枝一样，若当前节点的扩展在验证集上并未提高准确率，则舍弃。

后剪枝既降低了过拟合风险，又降低了欠拟合风险。但是，后剪枝由于是在生成完整决策树之后进行，因此模型的整体时间复杂度会比较高。

结语

感谢各位的耐心阅读，后续文章于每周日奉上，敬请期待。欢迎大家关注小斗公众号 对半独白！