统计学习方法超详细学习笔记-第五章 决策树

第五章 决策树

决策树 (decision tree) 种基本的分类与回归方法。本章主要讨论用于分类的决策树。决策树模型呈树形结构 ，在分类问题中，表示基于特征对实例进行分类的过程。它可以认为是 if-then 规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。其主要优点是模型具有可读性，分类速度快。学习 时，利用训练数据，根据损失函数最小化的原则建立决策树模型。预测时 ，对新的数据，利用决策树模型进行分类。决策树学习通常包括 个步骤 :特征选择、决策树的生成和决策树的修剪。这些决策树学习的思想主要来源于由 Quinlan 1986 年提出的ID3 算法和 1993 年提出的 C4 算法，以及由 Breiman等人在 1984 年提出的CART 算法。

5.1 决策树模型与学习

5.1.1 决策树模型

用决策树分类，从根结点开始，对实例的某 特征进行测试，根据测试结果，将实例分配到其子结点:这时，每 个子结点对应着该特征的 个取值。如此递归地对实例进行测试并分配，直至达到叶结点。最后将实例分到叶结点的类中。

5.1.2 决策树与if-then 规则

5.1.3 决策树与条件概率分布

5.1.4 决策树学习

5.2 特征选择

5.2.1 特征选择问题

5.2.2 信息增益

5.2.3 信息增益比

5.3 决策树的生成

5.3.1 ID3算法

5.3.2 C4.5的生成算法

5.4 决策树的剪枝

5.5 CART算法