R语言之数据预处理笔记

数据预处理是将 原始数据 转化成能够用于建模的一致数据的过程，它是分析流程中非常关键的一个环节！！！！
首先，载入需要的R包
caret ：提供机器学习模型及拟合效果的系统交互界面
e1071:各类计量经济和机器学习的延伸，我们使用其中的naiveBayes函数进行朴素贝叶斯判别
gridExtra:绘图辅助功能，将不同图形组合在一起成为图表
lattice:建立在核心绘图能力上的格子框架图形
imputeMissings:填补缺失值
RANN:应用K-邻近算法
corrplot:相关矩阵的高级可视化
nnet:拟合单个潜层级的神经网络模型
car:回归模型解释和可视化工具
gpairs:广义散点图
reshape2:灵活重构和整合数据，主要有两个函数melt()和dcast()
psych:心理计量学方法和抽样调查分析，尤其是因子分析和项目反映模型plyr:可以将数据分割成更小的数据，然后对分割后的数据进行一些操作，最后把操作的结果汇总
tidyr:清理糅合数据的包，主要函数是spread()和gather()

> library(caret)
> library(e1071)
> library(gridExtra)
> library(lattice)
> library(imputeMissings)
> library(RANN)
> library(corrplot)
> library(nnet)
> library(car)
> library(gpairs)
> library(reshape2)
> library(psych)
> library(plyr)
> library(tidyr)

数据清理

检查数据

1.有哪些变量
2.变量怎样分布
3.是不是存在错误的观测

以下是读取服装消费者数据

> sim.dat=read.csv("https://raw.githubusercontent.com/happyrabbit/DataScientistR/master/Data/SegData.csv")

由上图，灰色框勾选的即为所有的变量。Q1…Q10貌似合理，min为1，max为5，gender,house,online_exp,store_trans,online_trans,segment看上去也合理。
而其他（红色区域勾选部分）存在异常，其中age和store_exp中存在离群值，income中存在缺失值。

异常值初步处理：

1.将这些值设置成缺失状态

> sim.dat$age[which(sim.dat$age>100)]=NA
> sim.dat$store_exp[which(sim.dat$store_exp<0)]=NA
> summary(subset(sim.dat,select=c("age","income")))
      age            income      
 Min.   :16.00   Min.   : 41776  
 1st Qu.:25.00   1st Qu.: 85832  
 Median :36.00   Median : 93869  
 Mean   :38.58   Mean   :113543  
 3rd Qu.:53.00   3rd Qu.:124572  
 Max.   :69.00   Max.   :319704  
 NA's   :1       NA's   :184     
> 

2.缺失值填补
-（1）中位数或众数填补
即用含有缺失值变量中的中位数或众数填补缺失值

#impute()为imputeMissings包中的函数
> demo_imp=impute(sim.dat,method="median/mode")
> summary(demo_imp[,1:5])
      age           gender        income       house       store_exp      
 Min.   :16.00   Female:554   Min.   : 41776   No :432   Min.   :  155.8  
 1st Qu.:25.00   Male  :446   1st Qu.: 87896   Yes:568   1st Qu.:  205.1  
 Median :36.00                Median : 93869             Median :  329.8  
 Mean   :38.58                Mean   :109923             Mean   : 1357.7  
 3rd Qu.:53.00                3rd Qu.:119456             3rd Qu.:  597.3  
 Max.   :69.00                Max.   :319704             Max.   :50000.0  
> 

这种方法简单，工作中常用，但是有一个缺点，单独对每个变量进行缺失值填补而忽略变量间的关系，故有的时候不太准确。
也可用preProcess()函数进行中位数填补，效果与impute(）函数相同。
（2）K-近邻填补(KNN)
“物以类聚”思想的统计学表达
K-近邻方法建立在距离之上，其基本思路是：
对于含有缺失值的样本，寻找该样本的邻居，然后用这些邻居的观测均值对样本缺失值进行填补。
寻找邻居根据的是样本点间的距离，故各个变量的标量要统一，不然尺度大的变量会在决定距离上占主导作用。
显示所有变量类型

#显示所有变量类型
> lapply(sim.dat,class)
$age
[1] "integer"

$gender
[1] "factor"

$income
[1] "numeric"

$house
[1] "factor"

$store_exp
[1] "numeric"

$online_exp
[1] "numeric"

$store_trans
[1] "integer"

$online_trans
[1] "integer"

$Q1
[1] "integer"

$Q2
[1] "integer"

$Q3
[1] "integer"

$Q4
[1] "integer"

$Q5
[1] "integer"

$Q6
[1] "integer"

$Q7
[1] "integer"

$Q8
[1] "integer"

$Q9
[1] "integer"

$Q10
[1] "integer"

$segment
[1] "factor"

#用preProcess()函数实现KNN填补
> imp=preProcess(sim.dat,method="knnImpute",k=5)
 #找到非数值型变量
> idx=which(lapply(sim.dat,class)=="factor")
#过滤掉非数值型变量

> demo_imp=predict(imp,sim.dat[,-idx])
> summary(demo_imp[,1:3])
      age                 income           store_exp       
 Min.   :-1.5910972   Min.   :-1.43989   Min.   :-0.43345  
 1st Qu.:-0.9568733   1st Qu.:-0.53732   1st Qu.:-0.41574  
 Median :-0.1817107   Median :-0.37606   Median :-0.37105  
 Mean   : 0.0000156   Mean   : 0.02389   Mean   :-0.00042  
 3rd Qu.: 1.0162678   3rd Qu.: 0.21540   3rd Qu.:-0.27437  
 Max.   : 2.1437770   Max.   : 4.13627   Max.   :17.52734  

注意：
1.用preProcess()函数进行KNN填补时，函数会自动对数据进行标准化
2.KNN算法无法对整行缺失的观测进行填补（缺失点找不到邻居）

查找完全缺失的样本（整行缺失）

#构造完全缺失样本
> temp=rbind(sim.dat,rep(NA,ncol(sim.dat)))
>  idx=apply(temp,1,function(x) sum(is.na(x)))
> as.vector(which(idx==ncol(temp)))
[1] 1001

（3）装袋树填补（提高精确度，但是计算量很大）
基本思路：用除缺失值后的剩下的变量训练装袋树，再用训练出来的树来对缺失值进行预测。

#preProcess为caret包中函数
> imp=preProcess(sim.dat,method="bagImpute")
> demo_imp=predict(imp,sim.dat)
> summary(demo_imp[,1:5])
      age           gender        income       house       store_exp      
 Min.   :16.00   Female:554   Min.   : 41776   No :432   Min.   :  155.8  
 1st Qu.:25.00   Male  :446   1st Qu.: 86616   Yes:568   1st Qu.:  205.1  
 Median :36.00                Median : 94739             Median :  329.0  
 Mean   :38.58                Mean   :114690             Mean   : 1357.7  
 3rd Qu.:53.00                3rd Qu.:123726             3rd Qu.:  597.3  
 Max.   :69.00                Max.   :319704             Max.   :50000.0  
> 

中心化和标量化

中心化：变量观测值-变量均值
中心化后变量观测均值为0
标量化：（变量观测值-变量均值）/变量标准差
标量化后变量标准差为1
标量化和中心化保证了变量的线性组合是基于组合后的新变量能够解析的原始变量中的方差
（基于方差的变量线性组合的模型有PCA(主成分分析),PLS(偏最小二乘分析),EFA(探索性因子分析）等。）

> incom=sim.dat$income
#均值，忽略NA
> mux=mean(incom,na.rm=T)
#标准差，忽略NA
> sdx=sd(incom,na.rm=T)
#中心化
> tr1=income-mux
#标准化
> tr2=tr1/sdx
> summary(data.frame(cbind(incom,tr1,tr2)))
     incom             tr1              tr2         
 Min.   : 41776   Min.   :-71767   Min.   :-1.4399  
 1st Qu.: 85832   1st Qu.:-27711   1st Qu.:-0.5560  
 Median : 93869   Median :-19674   Median :-0.3947  
 Mean   :113543   Mean   :     0   Mean   : 0.0000  
 3rd Qu.:124572   3rd Qu.: 11029   3rd Qu.: 0.2213  
 Max.   :319704   Max.   :206161   Max.   : 4.1363  
 NA's   :184      NA's   :184      NA's   :184      

如上所示，tr1均值为0，但是取值跨度依旧很大，tr2均值为0，标准差为1
对多个变量进行中心化和标量化

> sim.dat=sim.dat1
> sdat=subset(sim.dat,select=c("age","income"))
#center为中心化，scale为标量化
> trans=preProcess(sdat,method=c("center","scale"))
> transformed=predict(trans,sdat)
> summary(transformed)
      age              income       
 Min.   :-1.5911   Min.   :-1.4399  
 1st Qu.:-0.9569   1st Qu.:-0.5560  
 Median :-0.1817   Median :-0.3947  
 Mean   : 0.0000   Mean   : 0.0000  
 3rd Qu.: 1.0163   3rd Qu.: 0.2213  
 Max.   : 2.1438   Max.   : 4.1363  
 NA's   :1         NA's   :184      

有偏分布

若模型要求变量服从一定的对称分布，则需要进行数据变换去除分布的偏度

> set.seed(1000)
> par(mfrow=c(1,2),oma=c(2,2,2,2))
#抽取1000个自由度为2的卡方分布，右偏分布
> x1=rchisq(1000,2,ncp=0)
#得到左偏分布变量x2
> x2=max(x1)-x1
#skewness为e1071包中函数,用于偏度计算
> plot(density(x2),family="Songti SC",main=paste("left,level=",round(skewness(x2),2)),xlab="x2")
> plot(density(x1),family="Songti SC",main=paste("right,level=",round(skewness(x1),2)),xlab="x1")

如上图，左偏时偏度小于0，右偏时偏度大于0，绝对值越大，偏离程度越大

如上图，skew是偏度，trimmed是修剪后的平均值（去掉最大值最小值后），上图阔以看出store_exp中明显存在离群点

> trans=preProcess(dat_bc,method=c("BoxCox"))
> trans
 #1000个样本量，2个变量
Created from 1000 samples and 2 variables

Pre-processing:
  - Box-Cox transformation (2)
  - ignored (0)
#两个变量对应的参数估计值
Lambda estimates for Box-Cox transformation:
0.1, 0.7
> transformed=predict(trans,dat_bc)
> par(mfrow=c(1,2),oma=c(2,2,2,2))
> hist(dat_bc$store_trans,main="original data",xlab="store_trans",family="Songti SC")
> hist(transformed$store_trans,main="changed data",xlab="store_trans",family="Songti SC")

如上图，处理前，分布明显左偏，处理后情况显著改善。
BoxCoxTrans()也可进行Box-Cox变换，但是只能作用于单个数值变量，不能像之前那样对一个数据框中的列一次性进行变换。

处理离群点

判断离群点常用方法：箱线图和直方图的一些基本可视化

> sdat=subset(sim.dat,select=c("age","income","store_exp","online_exp","store_trans","online_trans"))
> par(oma=c(2,2,1,2)
+ )
#scatterplotMatrix为car包中的函数，用于绘制散点图矩阵

> scatterplotMatrix(sdat,diagona1="boxplot",smoother=FALSE)

如上图，store_exp中明显有离群点，此外阔以看出，年龄和在线交易次数呈负相关，和实体交易次数成正相关，等等。
此外，可用z分值来判断可能的离群点

> ymad=mad(na.omit(sdat$income))
There were 50 or more warnings (use warnings() to see the first 50)
> zs=(sdat$income-mean(na.omit(sdat$income)))/ymad
> sum(na.omit(zs>3.5))
[1] 59
> 

如上，有59个离群点
离群点的影响主要取决于你使用的模型，有的模型对离群值很敏感（线性回归，逻辑回归等），有的模型对离群点具有抗性（树模型，支持向量机模型等），此外，离群点和错误的观测不一样，它是真实的观测，不能随意删除。
使用空间表示变换，将自变量的取值映射到高维的球面上。
注意：
1.变换前需要对自变量标准化
2.变换操作的对象是所有的自变量
3.必要时，必须在空间表示变换之前移除变量，不能在之后移除。

> sdat=sim.dat[,c("income","age")]
> imp=preProcess(sdat,method=c("knnImpute"),k=5)
> sdat=predict(imp,sdat)
> transformed=spatialSign(sdat)
> par(mfrow=c(1,2),oma=c(2,2,2,2))
> transformed=as.data.frame(transformed)
> plot(income~age,data=sdat,col="blue",main="before",family="Songti SC")
There were 15 warnings (use warnings() to see them)
> plot(income~age,data=transformed,col="blue",main="latter",family="Songti SC")
There were 43 warnings (use warnings() to see them)
> 

共线性

> sdat=subset(sim.dat,select=c("age","income","store_exp","online_exp","store_trans","online_trans"))
There were 50 or more warnings (use warnings() to see the first 50)
> imp=preProcess(sdat,method="bagImpute")
> sdat=predict(imp,sdat)
> correlation=cor(sdat)
> par(oma=c(2,2,2,3))
> corrplot.mixed(correlation,order="hclust",t1.pos="lt",upper="ellipse")

相关性越接近0颜色越浅且形状越接近圆，相关性不等于0的我们设置为椭圆。相关性越大，椭圆越窄，蓝色代表正相关，红色代表负相关，椭圆方向也随相关性正负变化。
两个变量高度相关意味着它们含有重复的信息，我们不需要将它们同时留在模型中，因为变量高度相关会导致参数估计量极为不稳定。

今天就先到这里了哈，我们明天继续~