3 决策树

类似无环的自动状态机。

适用离散目标函数；实例是通过属性值对描述事件的；析取式；可以有错误数据；可以缺值。

代表实例属性约束的合取的析取式，是完整空间。和第二章的概念学习区别，这个是多可能发散分类，概念学习是限定范围，所以一个析取一个合取。

算法四：ID3，使用分类性能最佳（信息增益最大）的属性作为root，使用除去当前属性的子集递归建树至可以确定目标函数值。有偏性在于属性是贪心选出的，可能不同的顺序带来不同的结果。叫优选偏置。

信息增益即 使用某属性分类后，样例总熵变小的量。对多值属性有偏向，可以用增益比率来变相归一化（和推荐里惩罚热门类似）。

奥坎姆剃刀：优先选择你和数据的最简单假设。复杂假设规定过细，迁就所有用例，并不一定有真实性。复杂假设是未把属性归类合一的。

过度拟合：对训练用例过度迁就。其实是过多样例破坏了奥坎姆理论。

修正过度拟合，使用对低频节点的评估和剪枝。错误率降低修剪。

算法五：C4.5，最终结果是一系列有序的规则，其中的规则均是决策树中相应规则或其泛化。泛化条件是不降低精度（验证集精度，或训练集用标准差验证）。转化为规则，其实是把属性的优先级去除，形成平等的前件。其实还是在使用奥坎姆剃刀。

数据补全，与贝叶斯的思路类似，三种方法：1、全局的最常见；2、当前分类中的最常见；3、概率化非单值（0.5*a+0.2*b+0.3*c）。