##
##该程序包括了KNN、SVM、朴素贝叶斯分类、人工神经网络、决策树、C5.0、随机森林、adaboost、bagging8种算法的实现
##
#Knn分类算法实现
setwd('H:\\object\\R\\data17_8_02')
library(xlsx)
library(MASS)
library(kknn)
library(class)
#归一化处理
normalize <- function(x){
num <- x - min(x)
denom <- max(x) - min(x)
return(num/denom)
}
#读取数据
data<-read.xlsx("index_relieff_pearson_two.xlsx",1,header=TRUE,as.data.frame=TRUE)
#对数据进行归一化处理
iris_norm <-as.data.frame(lapply(data[,1:7], normalize))
summary(iris_norm)
dim(iris_norm)
data<-cbind(iris_norm,data[,8])
dim(data)
names(data)[8]='degree'
##支持向量机
library(e1071)
set.seed(5)
n=nrow(data)
idx<-sample(1:n,size=round(n/3),replace=F,prob=rep(1/n,n))
traindata=data[-idx,]
testdata=data[idx,]
mymodel<-svm(traindata$degree~.,data=traindata,method="C－classification",kernel="radial",cost=10,gamma=0.1)
#plot(mymodel,data,Petal.Width~Petal.Length,slice=list(Sepal.Width=3,Sepal.Length=4))
pre=predict(mymodel,testdata,type='class')
z0<-table(testdata$degree,pre)
z0
E0<-(sum(z0)-sum(diag(z0)))/sum(z0)#计算训练集误差率
1-E0
#朴素贝叶斯分类
library(e1071) #导入包e1071
mybeyes=naiveBayes(traindata$degree~.,traindata) #用训练集naiveBayes进行建模
pre.forest<-predict(mybeyes,testdata)
z0<-table(testdata$degree,pre.forest)#用测试集进行精度验证
#table(data$degree,predict(mybeyes,data))
z0
E0<-(sum(z0)-sum(diag(z0)))/sum(z0)#计算训练集误差率
1-E0
#人工神经网络
library(nnet) #导入包nnet
#用nnet进行建模，其中linout线性输出单元开关，decay表明权值是递减的，最大迭代次数是1000
mynnet=nnet(traindata$degree~.,linout=F,size=10,decay=0.001,maxit=100,trace=F,data=traindata)
mypre=predict(mynnet,testdata,type='class')
z0<-table(testdata$degree,mypre)
z0
E0<-(sum(z0)-sum(diag(z0)))/sum(z0)#计算训练集误差率
1-E0
#决策树
library(party) #导入party包
myctree=ctree(traindata$degree~.,traindata)
pre.forest<-predict(myctree,traindata)
table(pre.forest,traindata$degree)
#myctree=ctree(data$degree~.,data)#用iris数据集建立模型
#table(data$degree,predict(myctree)) #分类结果表
#plot(myctree,type = "simple")
#C5.0算法
library(C50)
set.seed(10)
summary(testdata)
train<-na.omit(traindata)
ls('package:C50')
tc<-C5.0Control(subset =F,CF=0.25,winnow=F,noGlobalPruning=F,minCases =10)
model <- C5.0(traindata$degree ~.,data=traindata,rules=F,control =tc)
pre.forest<-predict(model,traindata)
z0<-table(traindata$degree,pre.forest)
z0
E0<-(sum(z0)-sum(diag(z0)))/sum(z0)#计算训练集误差率
1-E0
plot(model)
C5imp(model)
#随机森林
library(randomForest)
model.forest<-randomForest(traindata$degree~.,data = traindata)
pre.forest<-predict(model.forest,testdata)
z0<-table(testdata$degree,pre.forest)
z0
E0<-(sum(z0)-sum(diag(z0)))/sum(z0)#计算训练集误差率
1-E0
#n=nrow(iris)
#idx<-sample(1:n,size=round(n/3),replace=T,prob=rep(1/n,n))
#traindata=iris[-idx,]
#testdata=iris[idx,]
#model.forest<-randomForest(Species~.,data = traindata)
#pre.forest<-predict(model.forest,testdata)
#table(pre.forest,testdata$Species)
#K-最近邻算法
library(kknn)
summary(traindata)
summary(testdata)
myknn=kknn(traindata$degree~.,traindata,traindata,distance=1,kernel="triangular",k=8)
fit<-fitted(myknn)
z0<-table(traindata$degree,predict(myknn))
z0
E0<-(sum(z0)-sum(diag(z0)))/sum(z0)#计算训练集误差率
1-E0
myknn=kknn(traindata$degree~.,traindata,testdata,distance=1,kernel="triangular",k=8)
fit<-fitted(myknn)
z0<-table(testdata$degree,predict(myknn))
z0
E0<-(sum(z0)-sum(diag(z0)))/sum(z0)#计算训练集误差率
1-E0
pcol=as.character(as.numeric(testdata$degree))
plot(testdata[1:3],pch=pcol,col=c("green","red")[(testdata$degree!=predict(myknn))+1])
#adaboost分类算法的实现
library(adabag)
model_adaboost<-boosting(degree~.,data = traindata)
z0<-table(testdata[,17],predict(model_adaboost,testdata)$class)
z0#输出z0
E0<-(sum(z0)-sum(diag(z0)))/sum(z0)#计算误差率
1-E0
barplot(model_adaboost$importance)#画出变量重要性图
b<-errorevol(model_adaboost,testdata)#计算全体的误差演变
plot(b$error,type="l",main="AdaBoost error vs number of trees")#对误差演变进行画图
#上图可以得知，在第七次迭代后误差率就达到零了，实现预测零误差率
#bagging分类模型的建立
model_bagging<-bagging(degree~.,data=traindata)
z0<-table(testdata[,17],predict(model_bagging,testdata)$class)
z0#查看模型的预测结果
E0<-(sum(z0)-sum(diag(z0)))/sum(z0)#计算误差率
1-E0
barplot(model_bagging$importance)#画出变量重要性图
#对adaboosting和bagging模型做5折交叉验证，这里仅给出训练集和测试集的分类平均误差率
set.seed(1044)
samp<-c(sample(1:47,24),sample(48:230,24)) #进行随机抽样
#adaboosting分类模型
a<-boosting(degree~.,data=data[samp,]) #利用训练集建立adaboost分类模
z0<-table(data[samp,8],predict(a,data[samp,])$class)#查看训练集的预测结果
z0
z1<-table(data[-samp,8],predict(a,data[-samp,])$class)#查看测试集的预测结果
z1
E0<-(sum(z0)-sum(diag(z0)))/sum(z0)#计算训练集误差率
E0
E1<-(sum(z1)-sum(diag(z1)))/sum(z1)#计算测试集误差率
E1
#bagging分类模型
b=bagging(degree~.,data=data[samp,]) #利用训练集建立bagging分类模型
z0<-table(data[samp,6],predict(b,data[samp,])$class)#查看训练集的预测结果
z0
z1<-table(data[-samp,6],predict(b,data[-samp,])$class)#查看测试集的预测结果
z1
E0<-(sum(z0)-sum(diag(z0)))/sum(z0)#计算训练集误差率
E0
E1<-(sum(z1)-sum(diag(z1)))/sum(z1)#计算测试集误差率
E1
#线性判别分类
library(MASS)
#使用MASS包的lda函数实现线性判别。lda函数以Bayes判别思想为基础。
#当分类只有两种且总体服从多元正态分布条件下，Bayes判别与Fisher判别、距离判别是等价的。
#其中的prior参数表示先验概率
model1<-lda(data$degree~.,data=data,prior=c(1,1,1,1,1)/5)
#当不同类样本的协方差矩阵不同时，则应该使用二次判别
#这里将CV参数设置为T，是使用留一交叉检验（leave-one-out cross-validation），并自动生成预测值
table(data$degree,predict(model1)$class)
ld<-predict(model1)$x
p=ggplot(cbind(data,as.data.frame(ld)),aes(x=LD1,y=LD2))
p+geom_point(aes(colour=degree),alpha=0.8,size=3)
