决策树 算法 理论

决策树分类
决策树 算法 理论_第1张图片
决策树模型呈树形结构,在分类中,表示基于特征对实例进行分类的过程。可以认为是if-then规则的集合。

决策树组成部分
决策树是一种描述对样本实例(天气情况)进行分类(进行户外活动,取消户外活动)的树形结构。
决策树由结点(node)和有向边(directed edge)组成。结点分为内部结点和叶结点。内部结点表示一个特征属性(空气质量/天气/温度/风力),有向边表示对应的特征属性下的分支;叶结点表示决策结果(进行活动/取消活动)。
最上面的结点是根结点,此时所有样本都在一起,经过该结点后样本被划分到各子结点中。每个子结点再用新的特征来进一步决策,直到最后的叶结点,就不需要再进行划分。
决策树 算法 理论_第2张图片

特征选择
决策树 算法 理论_第3张图片

决策树—ID3算法

熵(entropy)
决策树 算法 理论_第4张图片

条件熵

决策树应用类型

信息增益

ID3思想
决策树 算法 理论_第5张图片

ID3算法实例
决策树 算法 理论_第6张图片



决策树 算法 理论_第7张图片


决策树 算法 理论_第8张图片
决策树 算法 理论_第9张图片




决策树 算法 理论_第10张图片

ID3算法分析

C4.5算法的改进

信息增益比

CART算法

决策树 算法 理论_第11张图片

基尼指数
决策树 算法 理论_第12张图片

CART生成树
决策树 算法 理论_第13张图片


决策树 算法 理论_第14张图片

CART剪枝
决策树 算法 理论_第15张图片

剪枝—代价复杂度CCP
决策树 算法 理论_第16张图片
决策树 算法 理论_第17张图片
决策树 算法 理论_第18张图片

你可能感兴趣的:(算法)