【机器学习与R语言】5-规则学习算法

1.分类规则原理

• if-else逻辑：前件由特征值的特定组合构成，在满足规则的条件下，后件描述用来指定的分类值。
• 决策树必须从上至下应用，而规则是单独存在的事实。通常比决策树更简洁、直接和理解。
• 规则学习应用于以名义特征为主，或全部是名义特征的问题。
• “独立而治之”：与决策树的“分而治之”不同（每个决策节点会受到过去决策历史的影响），一旦规则学习算法分离出一组案例，下一组案例可能会根据完全不同的特征，以完全不同的顺序分离出来。如：所有动物——>if有皮毛（哺乳动物），else无皮毛（非哺乳）
• 分而治之和独立而治之（覆盖算法）都基于先到先得的思想，称为贪婪/学习算法。

1.1 单规则算法1R

• ZeroR：无规则算法，即无需考虑特征值就能预测为最常见的类（忽略所有特征，只是预测目标的模式）。
• 1R/OneR：单规则算法，通过选择一个单一的规则来提高ZeroR算法的性能。简单规则通常极具预测性，它能够识别对于目标类最具有预测性的单一特征，并利用该特征构建一个规则集。

image.png

过程：对于每一个特征，基于相似的特征值1R对数据分组，然后对于每个书分组，该算法的预测类为占多数的类。比如动物分类中若以行走途径为规则错误率为2/15，若以是否有皮毛为规则错误率为3/15，因此1R算法基于以行走途径为规则返回结果。
注意：如果分类水平分布很不均匀，规则学习再预测少数类时会有困难。

不完全层现

单一的规则可能太简单了（大拇指规则），更复杂的任务需要考虑多个属性，用到更高级的规则学习算法，但早期这类算法非常慢，也不准确，因此陆续提出了IREP、RIPPER、IRPE++、SLIPPER、TRIPPER等算法来提高规则学习的性能。

1.2 RIPPER算法

• RIPPER：重复增量修剪算法，对IREP（增量减少误差修剪算法）进行改进后再生成规则，性能与决策树相当。

image.png

• RIPPER过程：生长——修剪——优化
• 分类规则也可以直接从决策树获得。即嵌套if-else结构。缺点：这样产生的规则比从规则学习算法学到的规则更复杂，分而治之策略是有偏的，与规则学习的结果会不同。

2. 规则学习应用示例

应用规则学习识别有毒的蘑菇

1）收集数据

8124个蘑菇案例的22个特征，额外一列包含有毒和无毒信息。
数据下载：

链接: https://pan.baidu.com/s/1nrLEXkdISPSn1DLkjaPbMA 提取码: mhvr

2）探索和准备数据

## Example: Identifying Poisonous Mushrooms ----
## Step 2: Exploring and preparing the data ---- 
mushrooms <- read.csv("mushrooms.csv", stringsAsFactors = TRUE)

# examine the structure of the data frame
str(mushrooms)

# drop the veil_type feature
mushrooms$veil_type <- NULL

# examine the class distribution
table(mushrooms$type)

3）训练数据

## Step 3: Training a model on the data ----
library(RWeka)

# train OneR() on the data
mushroom_1R <- OneR(type ~ ., data = mushrooms)

mushroom_1R

特征气味odor被选为规则生成

4）评估性能

## Step 4: Evaluating model performance ----
summary(mushroom_1R)

image.png

准确率能达到98%以上，但错过了120种可以食用的蘑菇。

5）提高性能

训练JRip规则算法，从所有的可用特征中选择规则：

## Step 5: Improving model performance ----
mushroom_JRip <- JRip(type ~ ., data = mushrooms)
mushroom_JRip
summary(mushroom_JRip)

image.png

image.png

JRip分类器学习了9条规则。准确度提高到100%。

6）选择决策树中的分类规则

看一下，选择了两个特征，比较比较。

# Rule Learner Using C5.0 Decision Trees (not in text)
library(C50)
mushroom_c5rules <- C5.0(type ~ odor + gill_size, data = mushrooms, rules = TRUE) #rules分类规则生成一个模型
summary(mushroom_c5rules)

image.png

和1R算法的结果一样。

---

机器学习与R语言系列推文汇总：
【机器学习与R语言】1-机器学习简介
【机器学习与R语言】2-K近邻（kNN）
【机器学习与R语言】3-朴素贝叶斯（NB）
【机器学习与R语言】4-决策树
【机器学习与R语言】5-规则学习
【机器学习与R语言】6-线性回归
【机器学习与R语言】7-回归树和模型树
【机器学习与R语言】8-神经网络
【机器学习与R语言】9-支持向量机
【机器学习与R语言】10-关联规则
【机器学习与R语言】11-Kmeans聚类
【机器学习与R语言】12-如何评估模型的性能？
【机器学习与R语言】13-如何提高模型的性能？