岭回归、LASSO与elastic net

今天温习了一下这三者的区别。

一、回归

矩阵形式的多元线性模型为：

$$y=X\beta+\xi$$

那么残差为$(y-X\beta)$，残差平方和RSS为：

$$(y-X\beta)^T(y-X\beta)$$

用最小二乘法的回归的计算公式如下：

$$\hat{\beta} = (X^TX)^{-1}X^Ty$$

那么问题来了，

1）多重共线性，及非满秩矩阵。这样逆矩阵非常不稳定（因为理论上逆不存在），这样解没有意义；

2）变量比样本多时，回归系数很大，无法求解。

岭回归、LASSO和elastic net都是有偏估计。

二、岭回归

$$\widehat{\beta(\lambda)} = (X'X+\lambda I)^{-1}X'y$$

$$\widehat{\beta(\lambda)} = \mathop{\arg\min}_{\beta}\{\sum_{i=1}^N (y_i-\beta_0-\sum_{j=1}^p x_{ij}\beta_j)^2 + \lambda\sum_{j=1}^p \beta_j^2\}$$

三、LASSO

$$\widehat{\beta(\lambda)} = \mathop{\arg\min}_{\beta}\{\sum_{i=1}^N (y_i-\beta_0-\sum_{j=1}^p x_{ij}\beta_j)^2 + \lambda\sum_{j=1}^p |\beta_j|\}$$

四、elastic net

$$\widehat{\beta(\lambda)} = \mathop{\arg\min}_{\beta}\{\sum_{i=1}^N (y_i-\beta_0-\sum_{j=1}^p x_{ij}\beta_j)^2 + \lambda\sum_{j=1}^p (\alpha\beta_j^2 + (1-\alpha)|\beta_j|)\}$$

参考资料：

http://f.dataguru.cn/thread-598486-1-1.html