机器学习06:决策树学习

作者:非妃是公主
专栏:《机器学习》
个性签:顺境不惰,逆境不馁,以心制境,万事可成。——曾国藩
在这里插入图片描述

专栏地址

《机器学习》专栏地址

专栏系列文章

机器学习01:绪论

机器学习02:模型评估

机器学习03:线性回归与多分类学习

机器学习04:支持向量机

机器学习05:神经网络学习

机器学习06:决策树学习

机器学习07:贝叶斯学习

机器学习08:最近邻学习

机器学习09:无监督学习

机器学习10:集成学习

机器学习11:代价敏感学习

机器学习12:演化学习

文章目录

  • 专栏地址
  • 专栏系列文章
  • 决策树学习基本知识
  • 决策树学习基本算法
  • 决策树学习常见问题
    • 最佳划分的度量问题
      • 结合图像理解三个指数
        • 熵x ∈ \in [0, 1]:
        • 基尼指数x ∈ \in [0, 1]:
        • 误分类率x ∈ \in [0, 1]:
      • C4.5决策树算法
    • 处理确实属性值问题
    • 处理连续属性值问题
    • 叶子结点判定问题
    • 怎样解决过拟合问题
    • 待测样本分类问题
  • 决策树学习理解解释

决策树学习基本知识

机器学习06:决策树学习_第1张图片
机器学习06:决策树学习_第2张图片

决策树学习基本算法

机器学习06:决策树学习_第3张图片
上面是一个递归调用的过程

决策树学习常见问题

最佳划分的度量问题

机器学习06:决策树学习_第4张图片
机器学习06:决策树学习_第5张图片
选择能使熵最大减小的属性
机器学习06:决策树学习_第6张图片

结合图像理解三个指数

熵x ∈ \in [0, 1]:

机器学习06:决策树学习_第7张图片

基尼指数x ∈ \in [0, 1]:

机器学习06:决策树学习_第8张图片
做一条辅助线就会发现:越靠近中间,红色的线越长,说明我们熵是越大的
机器学习06:决策树学习_第9张图片

误分类率x ∈ \in [0, 1]:

机器学习06:决策树学习_第10张图片

机器学习06:决策树学习_第11张图片

C4.5决策树算法

机器学习06:决策树学习_第12张图片
机器学习06:决策树学习_第13张图片
机器学习06:决策树学习_第14张图片
从图像可以理解:属性分布越均匀,SplitInfo越大
机器学习06:决策树学习_第15张图片
机器学习06:决策树学习_第16张图片
机器学习06:决策树学习_第17张图片
加上下面六种统计信息增益度量的方法,一共存在9种
机器学习06:决策树学习_第18张图片
机器学习06:决策树学习_第19张图片
机器学习06:决策树学习_第20张图片
机器学习06:决策树学习_第21张图片
机器学习06:决策树学习_第22张图片
机器学习06:决策树学习_第23张图片
机器学习06:决策树学习_第24张图片
堂兄弟姐妹类型可以不同
机器学习06:决策树学习_第25张图片
机器学习06:决策树学习_第26张图片

处理确实属性值问题

机器学习06:决策树学习_第27张图片
机器学习06:决策树学习_第28张图片

处理连续属性值问题

离散化
机器学习06:决策树学习_第29张图片
机器学习06:决策树学习_第30张图片
机器学习06:决策树学习_第31张图片

叶子结点判定问题

机器学习06:决策树学习_第32张图片

怎样解决过拟合问题

机器学习06:决策树学习_第33张图片
机器学习06:决策树学习_第34张图片
机器学习06:决策树学习_第35张图片
机器学习06:决策树学习_第36张图片

待测样本分类问题

机器学习06:决策树学习_第37张图片
机器学习06:决策树学习_第38张图片
机器学习06:决策树学习_第39张图片
机器学习06:决策树学习_第40张图片

决策树学习理解解释

机器学习06:决策树学习_第41张图片
决策树表达为析取表达式(可解释性):
机器学习06:决策树学习_第42张图片

你可能感兴趣的:(机器学习,决策树)