周志华《机器学习》笔记（四）——第4章 决策树

1、基本概念

树：除了根结点，任何结点都有且仅有一个前驱的数据结构。(具有递归和分层的特性)

逻辑结构：“一对多”的树形结构。

存储结构：双亲表示法、孩子表示法、孩子兄弟表示法。

决策树：基于树结构进行决策的机器学习算法。

叶结点：决策结果，即最终分类结果，好瓜坏瓜。

非终端节点：属性测试，即决策的中间过程，将得到决策结果 或 导出进一步细分的决策问题。

2、算法流程（融合各种技巧）

（1）随机抽取样本：构建多个决策树，提升泛化能力（随机森林）

（2）连续与缺失处理：提高算法通用性（连续：最优划分点；缺失：算完打折扣）

（3）判断是否划分数据集：三条标准（同一类别、属性值相同、样本集为空）

（4）选择最优划分属性：信息增益(ID3)、增益率(C4.5)、基尼系数(CART)

（5）预剪枝：防止过拟合，提升泛化能力（容易欠拟合）

（6）后剪枝：防止过拟合，提升泛化能力（运算量大，速度慢）

（7）多变量决策树：分支结点变成对属性的线性组合进行测试。