机器学习 day35(决策树)

  1. 决策树
    机器学习 day35(决策树)_第1张图片
  • 上图的数据集是一个特征值X采用分类值,即只取几个离散值,同时也是一个二元分类任务,即标签Y只有两个值
    机器学习 day35(决策树)_第2张图片
  • 上图为之前数据集对应的决策树,最顶层的节点称为根节点,椭圆形节点称为决策节点,矩形节点称为叶子节点
    机器学习 day35(决策树)_第3张图片
  • 决策树学习算法的工作是,在所有可能的决策树中,选择一个在训练集上能表现良好,并能很好的推广到新数据(即交叉验证集和测试集)的决策树
  1. 决策树的学习过程
    机器学习 day35(决策树)_第4张图片
  • 在构建决策树的过程中,有几个关键决定
  • 决定一:如何选择特征作为每一个节点?决策树算法通过最大化纯度来选择特征作为节点,从而对数据集进行拆分
    机器学习 day35(决策树)_第5张图片
  • 决定二:什么时候停止拆分?当某个节点处的数据的纯度为100%时

你可能感兴趣的:(机器学习,决策树,人工智能)