岭参数\正则化参数的选取方法

背景

在最小二乘解不稳定的情况下，利用岭估计解决类似L = A*X-e的观测方程，A的阶数为m*n（m>n，rank(A) = n)，cond(A'A)数量级较大

估计准则由转为

其中为岭参数，目前常用岭参数确定方法包括岭迹法、L曲线法、GCV法、最小均方误差法。

1、岭迹法

通过取不同的岭参数，根据式得到对应的岭估计值，画出（a,X(i))的函数图像（i = 1，2……m)，使得任一X（i)都趋于稳定的a值即为岭参数。这样的选取方法具有随意性，受人为影响较大。

2、L-Curve

由Hansen提出，在岭估计的准则||AX-L||p^2+a*||X||p^2 = min中，残差范数与解范数可以看作关于a的函数。在关于（||AX- L||,||X||)的图像中，曲率最大值点即为岭参数。在实际求解中，通常取对数n = lg(||AX- L||^2),p = lg(||X||^2)，n',n'',p',p''分别为n,p关于a的一阶与二阶导数，则有：

根据L曲线取得的岭参数并非最优解，只是近似最优。

 3、GCV（generalized cross validation)

GCV确定正则化参数的理论依据为使验后单位权中误差最小，即最大程度信任观测值。由此构造出GCV函数，当GCV函数取得最小值时，对应的a即为岭参数。GCV函数如下：

 其中:

 当GCV函数最小值存在时，GCV函数能取得最优岭参数，但当函数单调递减（虽然收敛，但只能取得所设置的边界值），并不能取得最优岭参数。

4、最小均方误差法（minimum mean square error）

当方程病态时，方差基本已不能形容解的精确度，此时提出一个评价指标MSE(mean square error)对解的精度确度进行评估。

均方误差与方差的关系式如下：

显然，当仍采用最小二乘时，偏差bx为0，均方误差即等于方差取迹。但采用岭估计时，此时解有偏，bx不为0。对均方误差的描述如上，以下介绍通过均方误差最小确定正则化的思路。

（1）先设一个初始正则化参数a，也可由前面几种方法得到，得到一个初始正则化解。

（2）再另正则化参数为0~1。步长h根据所需精度设置。以初始正则化解代替真值，求出正则化参数为0:h:1时的均方误差。

（3）得到均方误差最小时对应的参数amin，再令a = amin。

（4）重复步骤（1）~（3）。直至满足

或者

其中σ与λ是人为设置的迭代终止条件。

经上述步骤即可得到由均方误差最小法对应的正则化参数。