ridge regression岭回归

岭回归用于处理下面两类问题：

1.数据点少于变量个数

2.变量间存在共线性

变量间存在共线性是，最小二乘回归得到的系数不稳定，方差很大，这是因为系数矩阵x与它的转置矩阵相乘得到的矩阵不能求逆，而ridge regression通过引入lamda参数，使得该问题得到解决。在R语言中，MASS包中的函数lm.ridge()可以很方便地完成。它的输入矩阵x始终为n*p维，不管是否包含常数项。

当包含常数项时，该函数对y进行中心化，以y的均值作为因子，对x进行中心化和归一化，以x中各个变量的均值和标准差作为因子。这样对x和y处理后，x和y的均值为0，这使得回归平面经过原点，即常数项为0.因此，虽然指定了包含常数项，它给出的系数lmrige coef里也没有常数项的值。在使用该模型进行预测的时候，也需要首先对x和y进行中心化和归一化，因子是使用训练时候进行中心化和归一化的因子，然后再与系数相乘得到的预测结果，这里需要指出的是，如果建立模型后在命令行窗口直接输入lmridge，也会出现一整套系数，该系数会包含常数项，这个系数和模型给出的系数lmridge coef不一样，因为它是针对没有归一化和中心化数据的，在预测的时候可以直接使用该系数，不需要对数据进行归一化和中心化。

当指定模型不包含常数项时，因为要强调通过原点，该模型假设各个变量的均值为0，因此不对x和y进行中心化。但是对x进行归一化，而且归一化因子也是假设变量均值为0计算出的该变量的标准差。在进行预测的时候，如果使用lmridge$coef的系数，那么需要对数据进行归一化。如果使用lmridge直接给出的系数，只需要直接相乘。

ridge regression中lamda的选择：可以使用select(lmridge)进行自动设置，一般使用GCV最小值，lamda的范围是大于0即可。

岭回归的原理

岭回归是一种专用于共线性数据分析的有偏估计回归方法，实质上是一种改良的最小二乘估计法，通过放弃最小二乘法的无偏性，以损失部分信息、降低精度为代价，获得回归系数更为符合实际、更可靠的回归方法，对病态数据的耐受性远远强于最小二乘法。

岭回归的原理较为复杂。根据高斯马尔科夫定力，多重相关性并不影响最小二乘法估计量的无偏性和最小方差性，但是，虽然最小二乘估计量在所有线性估计量中是方差最小的，但是这个方差都不一定小，而实际上可以找到一个有偏估计量，这个估计量虽然有较小的偏差，但它的精度却能够大大高于无偏的估计量。岭回归分析就是根据这个原理，通过在正规方程中引入有偏常熟二求的回归估计量的。

缺点：通常岭回归方程的R平方值会稍低于普通回归分析，但回归系数的显著性往往明显高于普通回归，在存在共线性问题和病态数据偏多的研究中有较大的实用价值。

高斯-马尔科夫定理

在统计学中，高斯-马尔科夫定理陈述的是：

在误差零均值，同方差，且互不相关的线性回归模型中，回归系数的最佳无偏线性估计BLUE就是最小方差估计。

一般而言，任何回归系数的线性组合之BLUE就是它的最小方差估计。

在这个线性回归模型中，误差既不需要假定正态分布，也不需要假定独立（但需要不相关这个更弱的条件），更不需要假定同分布。

具体而言，假设