工智能基础知识总结--决策树

1. 什么是决策树

   ​ 决策树表示基于特征对实例进行分类的树形结构，从给定的训练数据集中，递归选择最优划分特征，依据此特征对训练数据集进行划分，直到结点符合停止条件。决策树可以看作是一系列 if-then 规则的集合。

2. 停止条件

   • 当前结点所有样本属于同一类别。
   • 当前结点属性集为空，或者是所有样本在所有属性上取值相同。
   • 当前结点无样本。

3. 决策树分类

   • ID3

     • 信息熵：

     E n t ( D ) = − ∑ k