西瓜书第4章学习笔记

4.1基本流程

决策树的概念：基于树结构进行决策，包含根结点、若干内部结点和若干叶结点。叶结点对应于决策结果，其他每个结点对应于一个属性测试。每个结点包含的样本集根据测试结果被划分到各个子结点中，根节点包含所有样本集。遵循“分而治之（divide-and-conquer）”策略。

4.2划分选择

总体目标是：决策树的分支结点所包含的样本尽可能属于同一类别，即结点的纯度越来越高。

三种划分的选择：信息增益、增益率和基尼指数

信息增益：

 增益率：

 基尼指数：

4.3剪枝处理

“剪枝”主要是对付决策树学习的“过拟合”手段。基本策略分为“预剪枝”和“后剪枝”。

预剪枝是指在决策树生产过程中，对每个结点在划分前先进行估计，若当前结点的划分不能带来决策树泛化性能提升，则停止划分并标记当前结点为叶节点。

后剪枝是指先从训练集生成一棵完整的决策树，自底向上地对非叶结点进行考察，若将该结点对应的子树替换为叶结点能提升决策树泛化性能，则将该子树替换为叶结点。

4.4连续与缺失值

连续值可采用二分法对其离散化处理，缺失值需要解决如何在属性值缺失的情况下进行划分属性选择和给定划分属性，若样本在该属性上的值缺失，如何对样本进行划分。

4.5多变量决策树

“多变量决策树”就是能实现“斜划分”甚至更复杂划分的决策树。与传统的决策树不同，在多变量决策树的学习过程中，不是为每个非叶结点寻找一个最优划分属性，而是试图建立一个合适的线性分类器。