《统计学习方法》笔记（5）：决策树

决策树的主要算法在20世纪80年代就已提出，有完整的理论体系。本文依然从基本原理、应用场景、优点和缺点等四个方面对该算法进行分析。

 

1、基本原理

决策树是一种基本的分类与回归方法，可以将其理解为一连串的if-then规则集合。

构建一棵决策树一般要经过三个步骤：特征参量的选择、决策树的生成以及决策树的剪枝。

主要的决策树算法有ID3、C4.5和CART算法，这三个算法的主要不同点在于：1）ID3和C4.5生成树中每个节点可以有多个子节点，而CART算法生成的是二叉树，每个节点仅有不超过两个子节点。2）三个算法用来判断树分裂的指标各不相同，ID3采用信息增益，C4.5采用信息增益比，而CART算法采用Gini指数。

 

2、应用场景

决策树可以应用于回归、分类等多个领域。一般的，我们希望将决策树应用于需要进行知识探索的领域。例如，营销人员想知道哪个因素是最能够影响客户购买的，那么给他一棵决策树就远好过给他一个人工神经网络。在决策树中，他可以直观的发现他想要的决策信息。

 

3、优点

决策树的优点是易于理解，能够给分析和决策人员提供直观的信息。如果使用组合的随机森林和GBDT等方法，则其预测的准确率也会大大提升，实际应用非常广泛。

 

4、缺点

该算法的缺点在于不能够增量训练，每次有新的数据加入时，都必须重新训练。因此不太适合垃圾邮件过滤等训练数据持续变化的场景。

 

此外，如果用单棵的决策树进行分类，很可能会出现“过拟合”现象；导致训练集样本分类正确率很高，但测试集样本的分类正确率相当低。一种方法是进行剪枝，另一种方法是采用组合方法，即用多棵决策树进行投票表决（随机森林或GBDT）。