目录
R语言第二章数据处理①选择列
R语言第二章数据处理②选择行
R语言第二章数据处理③删除重复数据
R语言第二章数据处理④数据框排序和重命名
R语言第二章数据处理⑤数据框列的转化和计算
R语言第二章数据处理⑥dplyr包（1）列选取
R语言第二章数据处理⑦dplyr包（2）列处理
R语言第二章数据处理⑧数据采样和离散化
R语言第二章数据处理⑨缺失值判断和填充
=========================================
- 判断缺失值is.na、缺失值的填补which、缺失值所在行的删除na.omit
(test<-data.frame(x=c(1,2,3,4,NA),y=c(6,7,NA,8,9)))
is.na(test) #test中空值的判断
which(is.na(test),arr.ind = T) #arr.ind=T可以返回缺失值的相应行列坐标
test[which(is.na(test),arr.ind = T)]<-0 #结合which进行缺失替代
(test_omit<-na.omit(data.frame(x=c(1,2,3,4,NA),y=c(6,7,NA,8,9)))) #na.omit函数可以直接删除值所在的行
- 识别缺失值的基本语法汇总
str(airquality)
complete.cases(airquality) #判断个案是否有缺失值
airquality[complete.cases(airquality),] #列出没有缺失值的行
nrow(airquality[complete.cases(airquality),]) #计算没有缺失值的样本量
airquality[!complete.cases(airquality),] #列出有缺失的值的行
nrow(airquality[!complete.cases(airquality),]) #计算有缺失值的样本量
is.na(airquality$Ozone) #TRUE为缺失值，FALSE为非缺失值
table(is.na(airquality$Ozone))
complete.cases(airquality$Ozone) #FALSE为缺失值，TRUE为非缺失值
table(complete.cases(airquality$Ozone))
- 可用sum()和mean()函数来获取关于缺失数据的有用信息
sum(is.na(airquality$Ozone)) #查看缺失值的个数
sum(complete.cases(airquality$Ozone)) #查看没有缺失值的个数
mean(is.na(airquality$Ozone)) #查看缺失值的占比
mean(is.na(airquality)) #查看数据集airquality中样本有缺失值的占比
- 列表缺失值探索
library(mice)
md.pattern(airquality)
- 图形缺失值探索
library(VIM)
aggr(airquality,prop=FALSE,number=TRUE)
aggr(airquality,prop=TRUE,number=TRUE) #生成相同的图形，但用比例代替了计数
aggr(airquality,prop=FALSE,number=FALSE) #选项numbers = FALSE（默认）删去数值型标签
- 删除缺失值
airquality[complete.cases(airquality),] #方法一：删除缺失值行
na.omit(airquality) #方法二：删除缺失值的行
- 缺失值回归模型插补
newnhanes2<-nhanes2
sub<-which(is.na(newnhanes2[,4])) #返回newnhanes2数据集中第4列NA的行标识
datatr<-newnhanes2[-sub,] #方法一：将第4列不为NA的数存入数据集datatr中
datatr<-newnhanes2[complete.cases(newnhanes2[,4]),] #方法二：将第4列不为NA的数存入数据集datatr中
datate<-newnhanes2[sub,] #方法一：将第4列为NA的数存入数据集datate中
datate<-newnhanes2[is.na(newnhanes2[,4]),] #方法二：将第4列为NA的数存入数据集datate中
fit<-lm(chl~age,data = datatr) #利用datatr中age为自变量，chl为因变量构建线性回归模型lm
newnhanes2[sub,4]<-round(predict(fit,datate)) #利用datate中数据按照模型fit对nhanes2中chl中的缺失数据进行预测
- 缺失值随机森林插补
library(missForest)
z<-missForest(airquality) #用随机森林迭代弥补缺失值
air.full<-z$ximp
zz<-missForest(nhanes2)
nhanes2.full<-zz$ximp
- 举例8：线性回归模型插补
mice::md.pattern(airquality)
index1<-is.na(airquality$Ozone) #对Ozone变量进行缺失值处理
dput(colnames(airquality)) #求出变量列名称
Ozone_train<-airquality[!index1,c("Ozone", "Wind", "Temp", "Month", "Day")]
Ozone_test<-airquality[index1,c("Ozone", "Wind", "Temp", "Month", "Day")] #测试集
ft<-lm(Ozone~.,data = Ozone_train) #创建线性回归模型
summary(fit)
airquality[index1,"Ozone"]<-predict(fit,newdata =Ozone_test )
index2<-is.na(airquality$Solar.R)
Solar.R_train<-airquality[!index2,] #训练集
Solar.R_test<-airquality[index2,] #测试集
Solar.R_fit<-lm(Solar.R~.,data = Solar.R_train)
summary(Solar.R_fit)
airquality[index2,"Solar.R"]<-predict(Solar.R_fit,newdata = Solar.R_test)
mice::md.pattern(airquality)
#knn和bag缺失值插补(利用caret包中的preProcess函数，method参数有多种方式可选)
question<-read.csv("data.csv")
question<-question[,-1]
str(question)
for(i in 1:ncol(question)){
question[,i]<-as.factor(question[,i])
} #批量修改为因子类型
str(question)
- 举例9：利用KNN算法进行缺失值插补(只能对数值型变量处理)
question<-read.csv("data.csv")
question<-question[,-1]
mice::md.pattern(question) #列表缺失值探索
library(caret)
knn.model<-preProcess(question,method = "knnImpute") #KNN处理数值型数据(欧式距离),不能处理因子型数据
question1<-predict(knn.model,newdata = question)
install.packages("RANN")
mice::md.pattern(question1)
table(question1$性别) #不是之前的1和2了
table(question$性别)
#最后结果：knn不适合处理该数据，需要做哑变量处理，再套模型
#举例10：利用袋装算法进行缺失值插补(只能对数值型变量处理)
question<-read.csv("data.csv")
question<-question[,-1]
mice::md.pattern(question) #列表缺失值探索
library(caret)
bag.model<-preProcess(question,method = "bagImpute") #bag算法模型创建
install.packages("ipred")
question2<-predict(bag.model,question) #预测结果
mice::md.pattern(question2) #列表缺失值探索
table(question2$gender)
#最后结果：bag算法不适合处理该数据