predict函数 R_XGBoost（二）：R语言实现

原文链接：XGBoost（二）：R语言实现

微信公众号：机器学习养成记

---

之前在XGBoost（一）：与同类算法的差异对比一文中介绍了Bagging与Boost、AdaBoost与Gradient Boost、GBDT与XGBoost对比，本文我们接着来介绍如何在R中实现XGBoost。

一、XGBoost包

我们可以直接调用R语言的xgboost包中的xgboost()函数实现该算法，xgboost包已经上传到CRAN上，可直接通过install.packages("xgboost")进行安装。下面首先对几个主要参数进行介绍

二、数据预处理

xgboost仅适用于数值型向量，因此在训练模型前需要对数据进行相应的转化操作。另外，为了进一步提升运算效率，xgboost定义了独有的数据类型，方便对数据进行数值化和稀疏化处理，进行数据转换的函数如下

xgb_train <- xgb.DMatrix(train$data, label=train$label)

其中，train$data代表数据中的变量信息，train$label代表类别信息，运行后生成xgb.DMatrix格式的数据。

三、XGBoost代码实现

本例中我们使用uci上的酒质量评价数据，该数据通过酸性、ph值、酒精度等11个维度对酒的品质进行评价，对酒的评分为0-10分。

• 数据加载
  从uci上将数据导入r，并对数据根据7:3的比例划分为训练集和测试集。

url <- 'https://archive.ics.uci.edu/ml/machine-learning-databases/wine-quality/winequality-red.csv'
redwine <- read.csv(url,sep = ';')
url1 <- 'https://archive.ics.uci.edu/ml/machine-learning-databases/wine-quality/winequality-white.csv'
whitewine <- read.csv(url1,sep = ';')
data <- rbind(redwine,whitewine)
#训练集、测试集划分
set.seed(17)  
index <-  which( (1:nrow(data))%%3 == 0 )
train <- data[-index,]
test <- data[index,]

• 数据预处理

将数据转化为gb.DMatrix类型，并对label进行处理，超过6分为1，否则为0。

library("xgboost")
library("Matrix")
train_matrix <- sparse.model.matrix(quality ~ .-1, data = train)
test_matrix <- sparse.model.matrix(quality ~ .-1, data = test)
train_label <- as.numeric(train$quality>6)
test_label <-  as.numeric(test$quality>6)
train_fin <- list(data=train_matrix,label=train_label) 
test_fin <- list(data=test_matrix,label=test_label) 
dtrain <- xgb.DMatrix(data = train_fin$data, label = train_fin$label) 
dtest <- xgb.DMatrix(data = test_fin$data, label = test_fin$label)

• 模型训练

训练模型，并对特征进行重要性排序。

#模型训练
xgb <- xgboost(data = dtrain,max_depth=6, eta=0.5,  
  objective='binary:logistic', nround=25)
#重要重要性排序 
importance <- xgb.importance(train_matrix@Dimnames[[2]], model = xgb)  
head(importance)
xgb.ggplot.importance(importance)

#            Feature       Gain      Cover  Frequency
#1:          alcohol 0.27474736 0.14183897 0.09489917
#2:      citric.acid 0.09380095 0.10530341 0.10557533
#3: volatile.acidity 0.09185450 0.10973963 0.08896797
#4:          density 0.08476201 0.14420940 0.10557533
#5:        chlorides 0.06978699 0.08309346 0.09845789
#6:        sulphates 0.06925068 0.05679062 0.09371293

• 测试集效果检验

计算混淆矩阵并绘制ROC曲线图。

#混淆矩阵
pre_xgb = round(predict(xgb,newdata = dtest))
table(test_label,pre_xgb,dnn=c("true","pre"))
#    pre
#true    0    1
#   0 1633   95
#   1  197  240
#ROC曲线
xgboost_roc <- roc(test_label,as.numeric(pre_xgb))
plot(xgboost_roc, print.auc=TRUE, auc.polygon=TRUE, 
  grid=c(0.1, 0.2),grid.col=c("green", "red"), 
  max.auc.polygon=TRUE,auc.polygon.col="skyblue", 
  print.thres=TRUE,main='ROC curve')

公众号后台回复“xgbR”获得完整代码

---

原文链接：XGBoost（二）：R语言实现

微信公众号：机器学习养成记