决策树——剪枝算法

一、剪枝目的

避免过拟合现象，提升模型的泛化效果

二、剪枝方法

剪枝算法主要分为两种，预剪枝和后剪枝

2.1 预剪枝

预剪枝是在构建决策树的过程中，提前停止使模型性能变差的分支

预剪枝方法：

1. 当树的深度达到一定的规模，停止生长。
2. 当前节点的样本数量小于某个阈值，停止生长。
3. 当信息增益，信息增益率和基尼指数增益小于某个阈值，停止生长。
4. 当测试集准确性提升小于某个阈值，或不再提升甚至有所下降时，停止生长。（西瓜书）

预剪枝方法能有效提升模型性能，并减少训练时间和测试时间；但这种方法采用的是贪心本质，存在欠拟合风险。

2.2 后剪枝

后剪枝是在决策树构建完成后，开始自下而上地剪枝

后剪枝方法：

1. 悲观剪枝（PEP）
2. 最小误差剪枝（MEP）
3. 错误率降低剪枝（REP），（西瓜书）
4. 代价复杂度剪枝（CCP）
5. OPP （Optimal Pruning）
6. CVP （Critical Value Pruning）

部分参考：https://www.cnblogs.com/starfire86/p/5749334.html