R语言之多重共线性

多重共线性导致模型不稳定

找到哪些变量时共线性，删除掉

数据集

collinear<-data.frame(
   Y=c(10.006, 9.737, 15.087, 8.422, 8.625, 16.289, 
        5.958, 9.313, 12.960, 5.541, 8.756, 10.937),
   X1=rep(c(8, 0, 2, 0), c(3, 3, 3, 3)), 
   X2=rep(c(1, 0, 7, 0), c(3, 3, 3, 3)),
   X3=rep(c(1, 9, 0), c(3, 3, 6)),
   X4=rep(c(1, 0, 1, 10), c(1, 2, 6, 3)),
   X5=c(0.541, 0.130, 2.116, -2.397, -0.046, 0.365,
        1.996, 0.228, 1.38, -0.798, 0.257, 0.440),
   X6=c(-0.099, 0.070, 0.115, 0.252, 0.017, 1.504,
        -0.865, -0.055, 0.502, -0.399, 0.101, 0.432)
)

求出自变量的协方差

XX<-cor(collinear[2:7])

再用kappa()函数求出条件数

如果条件数大于1000说明严重多重共线

kappa(XX,exact=TRUE)

> kappa(XX,exact=TRUE)
[1] 2195.908

再用

> eigen(XX)
查看哪些变量是共线的

[1] 2.428787365  1.546152096  0.922077664  0.793984690  0.307892134   0.001106051

可以看出x1到x5是多重共线的，可以保留一个。