西瓜书第四章个人总结（初学者自己整理）

学习完周志华老师的第四章决策树算法，还是有挺多地方不会的，推荐南瓜书的讲解。浅浅总结一下自己的问题和收获。

首先是决策树的基本流程，决策树是基于树结构来进行决策的。

根据流程图可以看到是根据判断一个好瓜的具体条件一步步进行，最终得出是不是好瓜。 一棵决策树包含一个根节点，若干个内部节点和若干个叶节点，叶节点对应于决策结果。

决策树学习的基本算法

 第8行，如何选择最优划分属性，是决策树学习的关键算法。

那选择最优划分属性的依据和判断标准又是什么？

1  信息熵是度量样本集合纯度常用的一种指标

，2  根据信息增益的决策树显然不太具有泛化能力，无法对新样本进行有效预测，信息增益准测可能对可取值数目较多的属性有所偏好，越多的可取值数目相对来说意味着更大的信息熵。

增益率准测对可取值数目较少的属性有所偏好

 

 3  CART决策树使用基尼指数来选择划分属性，数据集D的纯度可用基尼值来衡量。