三、决策树 四、随机森林

三、决策树

1.决策树模型的原理

1）什么是决策树

2）决策树模型原理

3.构建决策树的目的

4）决策树的优缺点

2.决策树的典型生成算法

1）常用的特征选择有信息增益、信息增益率、基尼系数

2）基于信息增益的ID3算法

3）基于信息增益率的C4.5算法

4）基于Gini系数的CART算法

5）CART树连续变量与离散变量的处理

6）不同决策树算法的比较

3.算例

四、随机森林

1.集成学习

2.随机森林原理

1）定义

2）建模步骤

3）优缺点

补充：HEU的决策树

随机变量的熵 H(Y)

条件熵 H(Y|A)

信息增熵 G(A) = H(Y) - H(Y|A)

回归树

补充：HEU的随机森林