《数据挖掘导论》CH5.1基于规则的分类器－读书笔记(2)

5.1基于规则的分类器

形式：规则-预测类 if-then(和决策树区别，决策树规则有总分，规则分类是平行的，但是它俩可以转换)

5.1.1原理：

1.互斥规则：一条记录不能出现多个预测类，避免多个类出现的方法有：有序规则(规则按优先降序排列)和无序规则(产生多个预测类，进行加权计票)

2.穷举规则：每天记录都应有预测类，不行就整一个其他类

5.1.2规则的排序方案：

1.基于规则排序:秩越前，越容易被解释，秩越低的规则越难被解释

2.基于类排序：属于同一类的规则一起出现

5.1.3如何建立基于规则的分类器：

1.直接方法（5.1.4）   2.间接方法（5.1.5）

5.1.4规则提取的直接方法

顺序覆盖:规则基于某种评估度量以贪心的方式增长。

1.learn-one-rule函数：原理－建立－评价

（1）原理：该函数的目标是提取一个分类规则，该规则涵盖训练集中大量正例，没有或仅覆盖少量反例。

（2）建立：它先产生一个初始规则r，并不断对该规则球精，直到满足某种终止条件为止。然后修剪该规则，改进泛化误差。

（3）规则增长策略：

－从特殊到一般：以一个正例为初始种子，删除合取向泛化规则，直到覆盖反例停止。

－从一般到特殊：以空集规则开始，不断加入合取向，反例减少，直到无反例被覆盖。

（4）规则评估：同时考虑准确率和覆盖率，可用：似然比统计量、Laplace度量、FOIL信息增益进行评价。

（5）规则剪枝：4.4

2.顺序覆盖基本原理

规则提取出来之后，顺序覆盖算法必须要删除该规则所覆盖的所有正例和反例。

3.RIPPER算法：合取向－规则－规则集

规则增长策略：从一般到特殊，使用信息增益来选择最佳的合取项，规则开始覆盖反例时停止加入合取项。利用准确率进行剪枝。

建立规则集：规则生成后，删除其所覆盖的正例和反例，若规则在确认集上的错误率低于0.5，则终止加入新规则。

5.1.5规则提取的间接方法：

从其他分类模型中提取规则（此节已决策树模型为例）

1.规则产生：每一条路径就是一个规则，简化规则，规则剪枝。

2.规则排序：将同一类标号的规则放在一个规则子集中，计算子集的长度，按照长度由小到大进行排序，构成规则集。子集长度＝L＋g＊L’

5.1.6基于规则的分类器的特征：

与决策树非常类似，能够产生易于解释的描述性模型。