岭回归、LASSO与elastic net

今天温习了一下这三者的区别。


一、回归

矩阵形式的多元线性模型为:

$$y=X\beta+\xi$$


那么残差为$(y-X\beta)$,残差平方和RSS为:

$$(y-X\beta)^T(y-X\beta)$$


用最小二乘法的回归的计算公式如下:

$$\hat{\beta} = (X^TX)^{-1}X^Ty$$


那么问题来了,

1)多重共线性,及非满秩矩阵。这样逆矩阵非常不稳定(因为理论上逆不存在),这样解没有意义;

2)变量比样本多时,回归系数很大,无法求解。


岭回归、LASSO和elastic net都是有偏估计。


二、岭回归


$$\widehat{\beta(\lambda)} = (X'X+\lambda I)^{-1}X'y$$


$$\widehat{\beta(\lambda)} = \mathop{\arg\min}_{\beta}\{\sum_{i=1}^N (y_i-\beta_0-\sum_{j=1}^p x_{ij}\beta_j)^2 + \lambda\sum_{j=1}^p \beta_j^2\}$$


三、LASSO


$$\widehat{\beta(\lambda)} = \mathop{\arg\min}_{\beta}\{\sum_{i=1}^N (y_i-\beta_0-\sum_{j=1}^p x_{ij}\beta_j)^2 + \lambda\sum_{j=1}^p |\beta_j|\}$$


四、elastic net


$$\widehat{\beta(\lambda)} = \mathop{\arg\min}_{\beta}\{\sum_{i=1}^N (y_i-\beta_0-\sum_{j=1}^p x_{ij}\beta_j)^2 + \lambda\sum_{j=1}^p (\alpha\beta_j^2 + (1-\alpha)|\beta_j|)\}$$




参考资料:

http://f.dataguru.cn/thread-598486-1-1.html

你可能感兴趣的:(岭回归、LASSO与elastic net)