【菜鸟笔记|机器学习】决策树

之前先学习了线性模型，这次学习的是树形模型。由于决策树内容不多且易于理解，博主也没有花太多时间思考，本笔记较为精简，只记录决策树的划分选择。

理论部分：

决策树的关键在于如何选择最优划分属性。书中介绍了三种算法：ID3，C4.5，CART。其中ID3是最基础的算法。为减少过拟合，C4.5算法在ID3基础上进行改进。而CART则是使用了基尼指数，是目前最普遍的划分算法。
1.ID3决策树学习算法
ID3使用信息增益作为划分准则：

选择信息增益最大的属性作为划分属性。
2.C4.5决策树算法
C4.5使用信息率作为划分准则：

3.CART决策树
CART使用基尼指数作为划分准则：

选择基尼指数最小的属性作为划分属性。

实验部分：

sklearn决策树实现iris鸢尾花分类
相关网址：
sklearn决策树官方文档
sklearn决策树分类DecisionTreeClassifier
sklearn决策树实现鸢尾花分类官网代码
调用DecisionTreeClassifier时基本用的默认参数，如果不需要可视化的话代码更少。