机器学习第15章（规则学习）

                                                规则学习

15.1 基本概念

rule通常是指语义明确、能描述数据分布所隐含的客观规律或领域概念。

规则学习是从训练数据中学习出一组能用于对未见示例进行判别的规则。

规则学习算法通常会设置一条默认规则，default rule，由其来处理规则集合未覆盖的样本。

15.2 序贯覆盖

规则学习的目标是产生一个能覆盖尽可能多的样例的规则集。序贯覆盖也就是逐条归纳：在训练集上每学到一条规则，就将该规则覆盖的训练样例去除，然后以剩下的训练样例组成训练集重复上述过程。

15.3 剪枝优化

规则生成本质是一个贪心搜索过程，需要防止过拟合。

15.4 一阶规则学习

在命题规则学习乃至一般的统计学习中，若欲引入领域知识，通常有两种做法：在现有属性的基础上基于领域知识构造出新属性，或基于领域知识设计某种函数机制（如正则化）来对假设空间进行约束。

15.5 归纳逻辑程序设计

Inductive Logic Programming，ILP在一阶规则学习中引入了函数和逻辑表达式嵌套。

演绎是从一般性规律出发来探讨具体事物，归纳是从个别事物出发概括出一般性规律。