R实战 | Lasso回归模型建立及变量筛选

R实战 | Lasso回归模型建立及变量筛选

LASSO.jpg

Tibshirani(1996) 引入了 LASSO (Least Absolute Shrinkage and Selection Operator)模型，用于参数的选择和收缩。当我们分析大数据时，这个模型非常有用。在这篇文章中，我们学习如何使用R包glmnet 包建立LASSO 模型。

原文：https://mp.weixin.qq.com/s/Q-76vY6hr81Sh9Zs5KYcCg

这些回归模型被称为正则化或惩罚回归模型。Lasso可以用于变量数量较多的大数据集。传统的线性回归模型无法处理这类大数据。

虽然线性回归估计器 (linear regression estimator)在偏-方差权衡关系方面是无偏估计器，但正则化或惩罚回归，如Lasso, Ridge承认一些减少方差的偏倚。这意味着后者的最小化问题有两个组成部分:均方误差(linear regression estimator)和惩罚参数()。Lasso的L1惩罚使变量选择和收缩成为可能，而Ridge的L2惩罚使变量收缩成为可能。

[图片上传失败...(image-af3b85-1651640667147)]

关于正则化详见：零基础"机器学习"自学笔记|Note8:正则化

X变量应该用均值零和单位方差进行标准化，因为变量的尺度差异往往会使惩罚分配不均。

由上式可知，第一部分是残差平方和(Residual Sum of Squares,RSS)，第二部分是惩罚项。该罚项由超参数 λ 调整。超参数由用户通过人工搜索或交叉验证的方式外源性给出。

当Lasso中包含了某些变量，但RSS值的降低很小，可以忽略不计时，收缩惩罚的影响就会增加。这意味着这个变量的系数是零(Lasso)或接近零(Ridge)。

本教程提供了一个循序渐进的例子，如何在R中执行套索回归。

[TOC]

22

LASSO

示例数据准备及预处理

# install.packages('glmnet')
library(glmnet)
graphics.off()  # clear all graphs
rm(list = ls()) 

# 示例数据准备
N = 500 # 观测数
p = 20  # 变量数

# X variable
X = matrix(rnorm(N*p), ncol=p)

# 计算标准化前的均值和标准差
colMeans(X)    # mean
apply(X,2,sd)  # standard deviation

# 标准化
X = scale(X,center = T,scale = T)

# 计算标准化后的均值和标准差
colMeans(X)    # mean
apply(X,2,sd)  # standard deviation

#——————————————-
# Y variable
#——————————————-
beta = c( 0.15, -0.33,  0.25, -0.25, 0.05,rep(0, p/2-5), 
          -0.25,  0.12, -0.125, rep(0, p/2-3))

# Y variable, standardized Y
y = X%*%beta + rnorm(N, sd=0.5)
y = scale(y)

注：对实际数据，只需分别对X，y进行标准化即可，即scale()。

LASSO 模型建立

# Model
# 当lambda = 0.01
lambda <- 0.01
# lasso
la.eq <- glmnet(X, y, lambda=lambda, 
                family='gaussian', 
                intercept = F, alpha=1) 
# 当alpha设置为0则为ridge回归，将alpha设置为0和1之间则为elastic net     
# 系数结果 (lambda=0.01)
la.eq$beta[,1]

# Lasso筛选变量动态过程图
la.eq <- glmnet(X, y, family="gaussian", 
                intercept = F, alpha=1) 
# plot
plot(la.eq,xvar = "lambda", label = F)
# 也可以用下面的方法绘制
#matplot(log(la.eq$lambda), t(la.eq$beta),
#               type="l", main="Lasso", lwd=2)

Snipaste_2022-05-01_18-19-37.png

我们可以看到，当lambda越大，各估计参数相应的也被压缩得更小，而当lambda达到一定值以后，一部分不重要的变量将被压缩为0，代表该变量已被剔除出模型，图中从左至左右断下降的曲线如同被不断增大的lambda一步一步压缩，直到压缩为0。

变量筛选

模型已经跑出来了，如何筛选变量呢？我们还得确定lambda，也就是在上图中画一条垂直于横轴的直线，这样我们才能知道哪些变量被压缩为0，以及未被压缩为0的变量的系数的估计值究竟是多少。

那我们如何选择lambda呢？我们可以使用R的glmnet中另一个函数cv.glmnet。这个函数使用的是“交叉验证”挑选lambda。

# Run cross-validation & select lambda
#————————————————
mod_cv <- cv.glmnet(x=X, y=y, family="gaussian", # 默认nfolds = 10
                    intercept = F, alpha=1)

plot(mod_cv) 

Snipaste_2022-05-01_21-18-09.png

通过交叉验证，我们可以选择平均误差最小的那个λ，即mod_cv$lambda.min也可以选择平均误差在一个标准差以内的最大的λ，即mod_cv$lambda.1se。

# lambda.min : the λ at which the minimal MSE is achieved.

# lambda.1se : the largest λ at which the MSE is within one standard error of the minimal MSE.
print(paste(mod_cv$lambda.min,
            log(mod_cv$lambda.min)))
print(paste(mod_cv$lambda.1se,
            log(mod_cv$lambda.1se)))

# 这里我们以lambda.min为最优 λ
best_lambda <- mod_cv$lambda.min
best_lambda

最后，我们可以分析由最优lambda值产生的最终模型。

# 最终模型的系数估计
#find coefficients of best model
best_model <- glmnet(X, y, alpha = 1, lambda = best_lambda)
coef(best_model)

> coef(best_model)
21 x 1 sparse Matrix of class "dgCMatrix"
                       s0
(Intercept) -9.499626e-18
V1           2.156750e-01
V2          -3.636329e-01
V3           3.247269e-01
V4          -2.554500e-01
V5           3.571598e-02
V6          -7.033558e-03
V7           .           
V8           1.405279e-04
V9           .           
V10         -1.285986e-03
V11         -3.187390e-01
V12          9.353756e-02
V13         -1.360398e-01
V14          .           
V15          7.314506e-02
V16          .           
V17          2.767650e-02
V18          3.150004e-03
V19          .           
V20         -3.646384e-03

如变量没有显示系数，即lasso回归收缩系数为零。这意味着它完全被排除在模型之外，因为它的影响力不够。系数非0的变量即为我们筛选的重要特征。

使用最终模型进行预测

我们还可以使用最终的lasso回归模型对新的观测进行预测。

# 新观测
new = matrix(rnorm(20), nrow=1, ncol=20) 
#使用 lasso 回归模型预测
predict(best_model, s = best_lambda, newx = new)

            s1
[1,] 0.7519802

最后，我们可以在训练数据上计算模型的R-squared:

y_predicted <- predict(best_model, s = best_lambda, newx = X)
#find SST and SSE
sst <- sum((y - mean(y))^2)
sse <- sum((y_predicted - y)^2)

#find R-Squared
rsq <- 1 - sse/sst
rsq

> rsq
[1] 0.5444342

R²等于0.8047064。也就是说，最佳模型能够解释训练数据响应值变化的80.47%。

示例数据和代码领取

详见：https://mp.weixin.qq.com/s/Q-76vY6hr81Sh9Zs5KYcCg

参考

1. Lasso Regression in R (Step-by-Step) (statology.org)(https://www.statology.org/lasso-regression-in-r/)
2. Lasso Regression Model with R code | R-bloggers(https://www.r-bloggers.com/2021/05/lasso-regression-model-with-r-code/)

---

往期内容

1. (免费教程+代码领取)|跟着Cell学作图系列合集
2. Q&A | 如何在论文中画出漂亮的插图？
3. Front Immunol 复现 | 1. GEO数据下载及sva批次校正(PCA可视化)
4. R绘图 | 气泡散点图+拟合曲线

---

[图片上传失败...(image-e5ad83-1651640667147)]