ROC（Receiver Operating Characteristic），在同一模型中找到最适合的阈值
AUC（Area Under Curve），比较不同模型
ROC和AUC的横坐标为1-specificities，纵坐标为sensitivities。
一个模型可接受sensitivities和specificities根据实例的不同而不同，比如预测是否患埃博拉病毒，这个模型对sensitivities要求比较高，希望尽可能得提高true positivitive，所以可接受的false positivitive程度也就比较高
specificities和sensitivities因阈值改变而不同，所以可以通过ROC来找到合适的阈值
AUC是ROC曲线下面积，数值越大，预测效果越好
在本例中，先随机生成一组体重和肥胖程度的数据用来模拟分析，然后分别用Logistic Regression和Random Forest根据体重对是否肥胖进行预测，从而找到预测更好的模型
#加载pROC和randomForest包
library(pROC)
library(randomForest)
#生成数据
#设置随机数
set.seed(420)
#设定样本容量
num.samples <- 100
#生成100个平均数为172，标准差为29的数据，并且排序
weight <- sort(rnorm(n=num.samples,mean=172, sd=29 ))
#生成肥胖程度的数据
#rank(weight)返回的是数字排位，即最小的为1，最大的为100，rank(weight)/100得到0.1, 0.2, ..., 100
#test=(runif(n=num.samples) 生成0~1范围内的100个随机数
#ifelse为判断函数，若生成的随机数（test)小于rank(weight)/100,则值为1，否则为0，所以obese数值特征为共100个数字，前半段大多数为0，后半段大多数为1，即体重轻的大多不肥胖，体重重的大多肥胖。
obese <- ifelse(test=(runif(n=num.samples) < (rank(weight)/100)), yes=1, no=0)
#绘制散点图看weight和obese的分布
plot(x=weight, y=obese)
#Logistic Regression 估计体重与肥胖之间的关系
#使用glm包,做逻辑回归 响应变量服从二项分布
glm.fit=glm(obese ~ weight, family=biominal)
#显示逻辑回归曲线
lines(weight, glm.fit$fitted.values)
###通过计算ROC和AUC来评价logistic regression model
#首先限定图像是正方形的（为了好看）
par(pty = "s")
#绘制roc曲线
#roc曲线默认的横坐标是specificity，纵坐标是sensitivity
#通过legacy.axes=TRUE将纵坐标改为（1- specificity）
#percent=TRUE将坐标设置为百分数
#xlab="False Positive Percentage", ylab="True Postive Percentage"设置横纵坐标名称
#col="#377eb8"设置曲线颜色， 具体颜色代码可以在colorbrewer website上找到
#lwd=4设置roc曲线的粗细
roc(obese, glm.fit$fitted.values, plot=TRUE, legacy.axes=TRUE, percent=TRUE,
xlab="False Positive Percentage", ylab="True Postive Percentage",
col="#377eb8", lwd=4)
#查看roc信息，roc.df第一列为sensitiviities，第二列为1 - specificities，第三列为对应阈值
roc.info <- roc(obese, glm.fit$fitted.values, legacy.axes=TRUE)
roc.df <- data.frame(tpp=roc.info$sensitiviities*100, fpp=(1 - roc.info$specificities)*100, thresholds=roc.info$thresholds)
#添加AUC信息
#print.auc=TRUE
#print.auc.x=45 AUC图标在图片上的位置
roc(obese, glm.fit$fitted.values, plot=TRUE, legacy.axes=TRUE, percent=TRUE,
xlab="False Positive Percentage", ylab="True Postive Percentage",
col="#377eb8", lwd=4,
print.auc=TRUE, print.auc.x=45）
#也可单独显示部分ROC线下图形
#partial.auc=c(100,90) 当specificities取值在0-0.1的时候
#auc.polygon = TRUE显示出曲线包围的图形
#auc.polygon.col = "#377eb822"设置所取区域AUC的颜色
roc(obese, glm.fit$fitted.values, plot=TRUE, legacy.axes=TRUE, percent=TRUE,
xlab="False Positive Percentage", ylab="True Postive Percentage",
col="#377eb8", lwd=4,
print.auc=TRUE, print.auc.x=45,
partial.auc=c(100,90), auc.polygon = TRUE, auc.polygon.col = "#377eb822")
#利用随机森林估计体重与肥胖之间的关系
rf.model <- randomForest(factor(obese) ~ weight)
#先绘制logistic regression的曲线
roc(obese, glm.fit$fitted.values, plot=TRUE, legacy.axes=TRUE, percent=TRUE,
xlab="False Positive Percentage", ylab="True Postive Percentage",
col="#377eb8", lwd=4, print.auc=TRUE)
#然后利用add=TRUE将随即森林的ROC曲线和logistic regression的ROC曲线上显示在一张图，记得设置不同的颜色，并且把AUC的图标隔开
plot.roc(obese. rf.model$votes[,1],percent=TRUE,
col="#4da4a", lwd=1, print.auc=TRUE, add=TRUE, print.auc.y=40)
#重新设置画布大小，即将画布设置为尽可能地不留空白
par(pty = "m")
最终结果是这个样子