R实战 | Lasso回归模型建立及变量筛选
Tibshirani(1996) 引入了 LASSO (Least Absolute Shrinkage and Selection Operator)模型，用于参数的选择和收缩。当我们分析大数据时，这个模型非常有用。在这篇文章中，我们学习如何使用R包glmnet 包建立LASSO 模型。
原文：https://mp.weixin.qq.com/s/Q-76vY6hr81Sh9Zs5KYcCg
这些回归模型被称为正则化或惩罚回归模型。Lasso可以用于变量数量较多的大数据集。传统的线性回归模型无法处理这类大数据。
虽然线性回归估计器 (linear regression estimator)在偏-方差权衡关系方面是无偏估计器，但正则化或惩罚回归，如Lasso, Ridge承认一些减少方差的偏倚。这意味着后者的最小化问题有两个组成部分:均方误差(linear regression estimator)和惩罚参数()。Lasso的L1惩罚使变量选择和收缩成为可能，而Ridge的L2惩罚使变量收缩成为可能。
[图片上传失败...(image-af3b85-1651640667147)]
关于正则化详见：零基础"机器学习"自学笔记|Note8:正则化
X变量应该用均值零和单位方差进行标准化，因为变量的尺度差异往往会使惩罚分配不均。
由上式可知，第一部分是残差平方和(Residual Sum of Squares,RSS)，第二部分是惩罚项。该罚项由超参数 λ 调整。超参数由用户通过人工搜索或交叉验证的方式外源性给出。
当Lasso中包含了某些变量，但RSS值的降低很小，可以忽略不计时，收缩惩罚的影响就会增加。这意味着这个变量的系数是零(Lasso)或接近零(Ridge)。
本教程提供了一个循序渐进的例子，如何在R中执行套索回归。
[TOC]
22
LASSO
示例数据准备及预处理
# install.packages('glmnet')
library(glmnet)
graphics.off() # clear all graphs
rm(list = ls())
# 示例数据准备
N = 500 # 观测数
p = 20 # 变量数
# X variable
X = matrix(rnorm(N*p), ncol=p)
# 计算标准化前的均值和标准差
colMeans(X) # mean
apply(X,2,sd) # standard deviation
# 标准化
X = scale(X,center = T,scale = T)
# 计算标准化后的均值和标准差
colMeans(X) # mean
apply(X,2,sd) # standard deviation
#——————————————-
# Y variable
#——————————————-
beta = c( 0.15, -0.33, 0.25, -0.25, 0.05,rep(0, p/2-5),
-0.25, 0.12, -0.125, rep(0, p/2-3))
# Y variable, standardized Y
y = X%*%beta + rnorm(N, sd=0.5)
y = scale(y)
注：对实际数据，只需分别对
X，y进行标准化即可，即scale()。
LASSO 模型建立
# Model
# 当lambda = 0.01
lambda <- 0.01
# lasso
la.eq <- glmnet(X, y, lambda=lambda,
family='gaussian',
intercept = F, alpha=1)
# 当alpha设置为0则为ridge回归，将alpha设置为0和1之间则为elastic net
# 系数结果 (lambda=0.01)
la.eq$beta[,1]
# Lasso筛选变量动态过程图
la.eq <- glmnet(X, y, family="gaussian",
intercept = F, alpha=1)
# plot
plot(la.eq,xvar = "lambda", label = F)
# 也可以用下面的方法绘制
#matplot(log(la.eq$lambda), t(la.eq$beta),
# type="l", main="Lasso", lwd=2)
我们可以看到，当lambda越大，各估计参数相应的也被压缩得更小，而当lambda达到一定值以后，一部分不重要的变量将被压缩为0，代表该变量已被剔除出模型，图中从左至左右断下降的曲线如同被不断增大的lambda一步一步压缩，直到压缩为0。
变量筛选
模型已经跑出来了，如何筛选变量呢？我们还得确定lambda，也就是在上图中画一条垂直于横轴的直线，这样我们才能知道哪些变量被压缩为0，以及未被压缩为0的变量的系数的估计值究竟是多少。
那我们如何选择lambda呢？我们可以使用R的glmnet中另一个函数cv.glmnet。这个函数使用的是“交叉验证”挑选lambda。
# Run cross-validation & select lambda
#————————————————
mod_cv <- cv.glmnet(x=X, y=y, family="gaussian", # 默认nfolds = 10
intercept = F, alpha=1)
plot(mod_cv)
通过交叉验证，我们可以选择平均误差最小的那个λ，即mod_cv$lambda.min也可以选择平均误差在一个标准差以内的最大的λ，即mod_cv$lambda.1se。
# lambda.min : the λ at which the minimal MSE is achieved.
# lambda.1se : the largest λ at which the MSE is within one standard error of the minimal MSE.
print(paste(mod_cv$lambda.min,
log(mod_cv$lambda.min)))
print(paste(mod_cv$lambda.1se,
log(mod_cv$lambda.1se)))
# 这里我们以lambda.min为最优 λ
best_lambda <- mod_cv$lambda.min
best_lambda
最后，我们可以分析由最优lambda值产生的最终模型。
# 最终模型的系数估计
#find coefficients of best model
best_model <- glmnet(X, y, alpha = 1, lambda = best_lambda)
coef(best_model)
> coef(best_model)
21 x 1 sparse Matrix of class "dgCMatrix"
s0
(Intercept) -9.499626e-18
V1 2.156750e-01
V2 -3.636329e-01
V3 3.247269e-01
V4 -2.554500e-01
V5 3.571598e-02
V6 -7.033558e-03
V7 .
V8 1.405279e-04
V9 .
V10 -1.285986e-03
V11 -3.187390e-01
V12 9.353756e-02
V13 -1.360398e-01
V14 .
V15 7.314506e-02
V16 .
V17 2.767650e-02
V18 3.150004e-03
V19 .
V20 -3.646384e-03
如变量没有显示系数，即lasso回归收缩系数为零。这意味着它完全被排除在模型之外，因为它的影响力不够。系数非0的变量即为我们筛选的重要特征。
使用最终模型进行预测
我们还可以使用最终的lasso回归模型对新的观测进行预测。
# 新观测
new = matrix(rnorm(20), nrow=1, ncol=20)
#使用 lasso 回归模型预测
predict(best_model, s = best_lambda, newx = new)
s1
[1,] 0.7519802
最后，我们可以在训练数据上计算模型的R-squared:
y_predicted <- predict(best_model, s = best_lambda, newx = X)
#find SST and SSE
sst <- sum((y - mean(y))^2)
sse <- sum((y_predicted - y)^2)
#find R-Squared
rsq <- 1 - sse/sst
rsq
> rsq
[1] 0.5444342
R²等于0.8047064。也就是说，最佳模型能够解释训练数据响应值变化的80.47%。
示例数据和代码领取
详见：https://mp.weixin.qq.com/s/Q-76vY6hr81Sh9Zs5KYcCg
参考
- Lasso Regression in R (Step-by-Step) (statology.org)(https://www.statology.org/lasso-regression-in-r/)
- Lasso Regression Model with R code | R-bloggers(https://www.r-bloggers.com/2021/05/lasso-regression-model-with-r-code/)
往期内容
- (免费教程+代码领取)|跟着Cell学作图系列合集
- Q&A | 如何在论文中画出漂亮的插图？
- Front Immunol 复现 | 1. GEO数据下载及sva批次校正(PCA可视化)
- R绘图 | 气泡散点图+拟合曲线
[图片上传失败...(image-e5ad83-1651640667147)]