《机器学习》周志华-决策树

       经过前几章的学习，我发现这样做博客没有什么意义，接下来，痛定思痛，我打算换一种写博客的方式。基础的内容我可能会提一两句，可能不会提。重要提我仔细研究过的内容。

       由于前面的决策树的概念，包括ID3，CD4.5，CART决策树内容较简单，不一一陈述。本次主要从4.3剪枝处理开始写。

1 剪枝处理

       由于有时决策树的分支过多会导致过拟合现象，所有有了剪枝处理。

       决策树剪枝的基本策略有“预剪枝”“后剪枝”。

       预剪枝：在决策树生成过程中，对每个结点在划分前先进行估计，若当前结点的划分不能带来泛化性能的提升，则停止划分，将该结点标记为叶节点。

例：

给出书中的图

从图中我们会发现，虽然预剪枝会解决过拟合问题，并且会节约训练时间开销和测试时间开销，但是会带来欠拟合的风险。

       后剪枝：先生成一棵完整的决策树，然后自底向上地对非叶节点进行考察，若剪枝能够给决策树带来泛化性能提升，则将该字数替换为叶节点。下面的图是后剪枝的图：

后剪枝虽然可以避免欠拟合的风险，但是所花时间开销却更多。

2 连续与缺失值

连续值处理

       接下来讨论在决策树中如何使用连续属性。

       给定一个集合D，和连续属性a，在a上有取值{a1,a2,…,an}，现在每相邻的两个值aⁱ和aⁱ⁺¹的中位数为Tai，然后来考察这些中位数，观察哪一个是最优的划分点t使结果最优。书中举出的例子是改造信息增益，可以看书。

缺失值处理

       我们如果直接放弃具有缺失值属性的样本，那我们会失去很多有用数据，所以我们不能放弃。那么我们就需要解决两个问题：

（1）如何在属性值缺失的情况下进行划分属性？

（2）给定划分属性，若样本在该属性上的值缺失，如何对样本划分？

对于问题2，就是把那些数据缺失的样本，以相应的权值划分进不同的分支，比如书中88页的例子。

3 多变量决策树

本书介绍得不多，可以了解到多变量决策树可以节约很大的时间开销。用两张图对比一下，两种决策树的区别。