决策树——CART——之R语言rpart包
R是一种用于统计计算与作图的开源软件，同时也是一种编程语言，它广泛应用于企业和学术界的数据分析领域，正在成为最通用的语言之一。由于近几年数据挖掘、大数据等概念的走红，R也越来越多的被人关注。
一、环境准备
操作系统windows
下载安装R 地址：http://mirrors.xmu.edu.cn/CRAN/
下载安装RStudio（一个非常实用的R语言的IDE，是一个免费的软件）
地址：http://www.rstudio.com/products/RStudio/#Desk
二、下载安装rpart包
点击InstallPackages
在packages中输入：rpart->Install
等待安装完成。
注：Installfrom中可以选择安装方式，图中显示的是从CRAN中通过网络连接下载，也可以选择在本地文件中寻找package安装。
三、下载数据
我试验的数据是从UCI上下载的数据，当然也可以用rpart包中自带的数据集。
UCI下载数据地址：http://archive.ics.uci.edu/ml/datasets/Bank+Marketing
将数据解压后，会有许多.csv格式的数据文件，在这里本次试验选择的是bank.csv
四、使用R读取数据
打开RStudio
在控制台
或者新建一个R Script
接下来我们在R Script中书写代码，同样，也可以在控制台上一行一行的书写，一条一条的执行，但是，代码换行时要按shift+Enter
bank <- read.csv("D:/data/MachineLearning/bank/bank.csv",header=TRUE,sep=";") #读取bank.csv数据文件
#注意：windows文件路径复制后文件的分隔符为“\”，但是R语言中不识别这种分隔符，她只识别“/”,
#header=TRUE表示使用文件的头标签,默认为FALSE，sep=";"表示数据用分号分隔，默认为""，
bank_train <- bank[1:4000,] #对读入的数据人为分割为训练组和测试组，
bank_test <- bank[4001:4521,1:16]
bank_test1 <- bank[4001:4521,]
library(rpart) #在使用包前首先要使用该命令导入包，也可以在Packages中包前的框框中打钩
fit <- rpart(y~age+job+marital+education+default+balance+housing+loan+contact
+day+month+duration+campaign+pdays+previous+poutcome,method="class",
data=bank_train)
# 我们可以使用help(rpart)来获取rpart的使用帮助,帮助文档Usage如下
# rpart(formula, data, weights, subset, na.action = na.rpart, method,
# model = FALSE, x = FALSE, y = TRUE, parms, control, cost, ...)
# 在这里我们只设置formula，data,model这三个参数
plot(fit,uniform=TRUE,main="Classification Tree for Bank") #画决策树图
text(fit,use.n=TRUE,all=TRUE)
#至此，第一个决策树图画好了，第一个训练的模型保存在fit中
#下面我们对测试数据进行预测（此处预测的是y值是yes or no）
result <- predict(fit,bank_test,type="class")
# 在控制台中直接输入result即可查看预测的结果，由于数目较多，我们写一个小的程序，将预测
# 结果同真实值比较一下，看正确率有多少
# 详情见 count_result.R
# 我们写完的函数保存在本地磁盘中，使用时必须指明路径，使用source()函数
source("D:/work/R_work/count_result.R")
count_result(result,bank_test1) #结果为0.9021
#通过观察数据，我们可以发现，在poutcome与contact属性中，有许多unknown的值，
#通过summary(bank)我们可以看到,unknown值在其所在属性框中所占比例过大，而且该
#值其实为缺失值，所以我们使用rpart()函数中的na.action参数，来处理缺失值
#由于R只识别NA缺失值，所以我们需要对数据框中的unknown值进行处理
n <- nrow(bank) #获得data的行数
for (i in 1:n){
if(bank[i,9]=="unknown"){ #判断第i,9个数据是否为unknown
bank[i,9] <- NA #将第i,9个数据替换为NA
}
if(bank[i,16]=="unknown"){
bank[i,16] <- NA
}
}
#我们已知第9、16列为含有unknown的属性框
fit2 <- rpart(y~age+job+marital+education+default+balance+housing+loan+contact
+ +day+month+duration+campaign+pdays+previous+poutcome,method="class",
+ data=bank_train,na.action=na.rpart)
plot(fit,uniform=TRUE,main="Classification Tree for Bank") #画决策树图
text(fit,use.n=TRUE,all=TRUE)
result2 <- predict(fit2,bank_test,type="class")
count_result(result2)# 结果仍为0.9021表示之前的关于缺失值的推测不准确
#下边我们探索使用rpart()的control参数设置
fit3 <- rpart(y~age+job+marital+education+default+balance+housing+loan+contact
+ +day+month+duration+campaign+pdays+previous+poutcome,method="class",
+ data=bank_train,na.action=na.rpart,control=rpart.control(minsplit=20,cp=0.001))
result3 <- predict(fit3,bank_test,type="class")
count_result(result3,bank_test1)# 结果为0.90403 预测的准确度有所上升
#下边我们队minsplit（最小分割点）设大一点 40
fit4 <- rpart(y~age+job+marital+education+default+balance+housing+loan+contact
+ +day+month+duration+campaign+pdays+previous+poutcome,method="class",
+ data=bank_train,na.action=na.rpart,control=rpart.control(minsplit=40,cp=0.001))
result4 <- predict(fit4,bank_test,type="class")
count_result(result4,bank_test1) #结果为0.9136 这说明随着分割点的增多，预测的准确率越高，关于rpart的其他函数的功能探索，请继续关注...
count_result.R
count_result <- function(result,data_test){
n <- length(result)
count_right <- 0
i <- 1
for (i in 1:n){
if (result[i]==data_test[i,17]){
count_right = count_right+1
}
}
print(count_right/n)
}