使用R对共线性检验
高维数据常会出现共线性 、变量选择等问题 。如何消除共线性确定最佳模型，是回归分析的一个重点。 传统的最小二乘估计在处理多重共线性问题上 往往有令人不太满意的地方， 主要有两点: 一是 预测准确性，二是模型可解释性。 目前处理严重共线性的常用方法有以下几种: 主成分回归、逐步回归、岭回归等， 这些方法有各自的优缺点 多重共线性的Lasso 方法兼有子集选择和岭估计的优点，同时进行变 量选择与未知参数估计。选择最佳模型的标准有 Cp、AIC、BIC准则，它们也有各自的适用范围。（Mallows Cp 统计量用来作为逐步回归的判停规则，对于一个好的模型，它的Cp统计量非常接近于模型的参数数目）
Robert Tibshirani （就是R中MASS以及 The Elements of Statistical Learning的作者之一）于 1996 年提出了一种新的变 量选择技术Lasso，即 Least Absolute Shrinkage and Selection Operator 就是翻译过来颇显别扭的套索回归， lasso方法用模型系数的绝对值 函数作为惩罚来压缩模型系数，使一些回归系数变 小，甚至使一些绝对值较小的系数直接变为0 。
本文先从普通回归说起：
R语句如下
library(car)
D=read.csv("/Users/Documents/train_test_model/ridgereg1.csv",sep=",") # 加载数据
a=lm(y~., data=D);summary(a) # 定义模型，summary为输出汇总
vif(a) # 输出模型汇总得到一下拟合检验参数
Call:
lm(formula = y ~ ., data = D)
Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) 11.011694 1.718393 6.408 4.94e-06 ***
long 1.692736 0.369589 4.580 0.000232 ***
touwei -2.158831 0.535513 -4.031 0.000783 ***
weight 0.007472 0.001144 6.531 3.87e-06 ***
---
Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
Residual standard error: 1.163 on 18 degrees of freedom
Multiple R-squared: 0.9754, Adjusted R-squared: 0.9713
F-statistic: 238.1 on 3 and 18 DF, p-value: 1.14e-14
long
200.013181140721
touwei
209.429825510575
weight
9.68788132590006通过vif方差膨胀因子可以知道上面三个变量存在严重的共线性，有书中规定超过10就算存在严重共线性 同时分析回归系数，婴儿的头围越大，年龄应该越大才对，不应该是负向预测关系，从这里也可以看出一些端倪 以上是我们依据数据诊断出多元回归中自变量存在严重共线性，当然在spss中也是可以直接选择， 杜宾-瓦特森检验，也是统计分析中常用的一种检验序列一阶自相关最常用的方法。所以不能直接使用常规ols方法。 于是请看下面的解决办法。 #我们进一步的对检测回归分析的另一个前提--即方差齐性
library(MASS)
install.packages("gvlma") #导入gvlma包
library(gvlma)
gvmodel <- gvlma(a)
summary(gvmodel)得到如下参数
Call:
lm(formula = y ~ ., data = D)
Residuals:
Min 1Q Median 3Q Max
-1.87262 -0.69499 -0.09376 0.74618 2.80676
Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) 11.011694 1.718393 6.408 4.94e-06 ***
long 1.692736 0.369589 4.580 0.000232 ***
touwei -2.158831 0.535513 -4.031 0.000783 ***
weight 0.007472 0.001144 6.531 3.87e-06 ***
---
Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
Call:
gvlma(x = a)
Value p-value Decision
Global Stat 6.6421 0.15605 Assumptions acceptable.
Skewness 0.7794 0.37733 Assumptions acceptable.
Kurtosis 0.1147 0.73484 Assumptions acceptable.
Link Function 1.7108 0.19088 Assumptions acceptable.
Heteroscedasticity 4.0372 0.04451 Assumptions NOT satisfied!可以得出，异方差性违反，也违反了普通最小二乘建模的前提。如果还是不死心，我们来看看残差分析吧。
#建模试试，看是否存在异常
lm.sol<-lm(y~.,data=D)
summary(lm.sol)
#可视化，残差与预测散点图
plot(fitted(lm.sol), resid(lm.sol),
cex=1.2, pch=21, col="red", bg="orange"
xlab="Fitted Value", ylab="Residuals")
当描绘的点围绕残差等于0的直线上下随机散布，说明回归直线对原观测值的拟合情况良好。否则，说明回归直线对原观测值的拟合不理想。 在标准化残差图中，大约有95.45%的残差在-2到+2之间 同时，也可以识别异常点，标准化残差小于-3或者大于+3时，就可以判断为异常值。
那么最后大概是可以相信这个模型用最小二乘法是并不合适。