【菜鸟笔记|机器学习】决策树

之前先学习了线性模型,这次学习的是树形模型。由于决策树内容不多且易于理解,博主也没有花太多时间思考,本笔记较为精简,只记录决策树的划分选择。

理论部分:

决策树的关键在于如何选择最优划分属性。书中介绍了三种算法:ID3,C4.5,CART。其中ID3是最基础的算法。为减少过拟合,C4.5算法在ID3基础上进行改进。而CART则是使用了基尼指数,是目前最普遍的划分算法。
1.ID3决策树学习算法
ID3使用信息增益作为划分准则:
【菜鸟笔记|机器学习】决策树_第1张图片
选择信息增益最大的属性作为划分属性。
2.C4.5决策树算法
C4.5使用信息率作为划分准则:
【菜鸟笔记|机器学习】决策树_第2张图片

3.CART决策树
CART使用基尼指数作为划分准则:
【菜鸟笔记|机器学习】决策树_第3张图片
选择基尼指数最小的属性作为划分属性。

实验部分:

sklearn决策树实现iris鸢尾花分类
相关网址:
sklearn决策树官方文档
sklearn决策树分类DecisionTreeClassifier
sklearn决策树实现鸢尾花分类官网代码
调用DecisionTreeClassifier时基本用的默认参数,如果不需要可视化的话代码更少。
【菜鸟笔记|机器学习】决策树_第4张图片
【菜鸟笔记|机器学习】决策树_第5张图片

你可能感兴趣的:(机器学习)