鲁棒最小二乘法的三种优化形式（CVX）

鲁棒最小二乘法的主要思想是对误差大的样本进行抑制，减小他们对结果的影响。这里主要整理一下参考部分的CVX代码思路。这个代码给出了三种等价的优化形式

数据初始部分

测试数据是随机生成的

randn('state',0);
m = 16; n = 8;
A = randn(m,n);
b = randn(m,1);
M = 2;

(a) robust least-squares problem

$$\begin{gathered} \underset{\beta }{\mathrm{minimize}}\sum _{i=1}^{m}huber({\beta }^T{x}_i-y_i) \\ huber(u)=\{\begin{array}{cc}{u}^2,& |u|<=M\\ M(2|u|-M),& |u|>M\end{array} \end{gathered}$$
这里是对他们的误差进行限制，以免回归系数过度偏向误差大的样本造成过拟合，M是一个常数。
当$|{\beta }^T{x}_i-y_i|>M$，令$|u|=|{\beta }^T{x}_i-y_i|=M+v,v>0$,则有$$M(2|u|-M)=M(2(M+v)-M)=M^2+2Mv=(M+v{)}^2-v^2$$
v视为超出M的部分，为了放缓残差的增长速率，这个函数实际时扔掉了v的二次项

disp('Computing the solution of the robust least-squares problem...');
cvx_begin
    variable x1(n)
    minimize( sum(huber(A*x1-b,M)) )
cvx_end

(b)least-squares problem with variable weights

权值优化

disp('Computing the solution of the least-squares problem with variable weights...');
cvx_begin
    variable x2(n)
    variable w(m)
    minimize( sum(quad_over_lin(diag(A*x2-b),w'+1)) + M^2*ones(1,m)*w)
    w >= 0;
cvx_end

这个形式感觉有一些突兀，没有第一种来得直观
先看看误差函数 $f(w)=u^2/(w+1)+M^2\ast w,u={\beta }^T{x}_i-y_i,w>=0$

$$f^{\prime }(w)=M^2-u^2/(w+1{)}^2$$

可以看到，当$|u|<M,f^{\prime }(w)>0,f(w)$单调递增，因此极值在$w=0$处得到，反之，取$f^{\prime }(w)=0\Rightarrow w^{\ast }=\frac{|u|}{M}-1$
因此带入$f(w)$得到

$$f(w)=\{\begin{array}{cc}{u}^2,& |u|<=M\\ M(2|u|-M),& |u|>M\end{array}$$
等价于huber函数
这里需要说明的是
quad_over_lin(diag(A*x2-b),w’+1)的意思

$A\ast x2-b\in {\mathbb{R}}^{m\times 1}$属于向量，$diag$将其转为对角矩阵，对应其对角元素。个人理解纯粹是为了quad_over_lin(x,y)计算

$$f_{\text{quad\_over\_lin}}(x,y)=\{\begin{array}{ll}{x}^{T}x/y& y>0\\ +\infty & y\le 0\end{array}$$

©quadratic program

disp('Computing the solution of the quadratic program...');
cvx_begin
    variable x3(n)
    variable u(m)
    variable v(m)
    minimize( sum(square(u) +  2*M*v) )
    A*x3 - b <= u + v;
    A*x3 - b >= -u - v;
    u >= 0;
    u <= M;
    v >= 0;
cvx_end

目标值关于v,u的单调递增的函数，因此u和v越小越好

假设有$t_i=|A_i^T{x}_3-b_i|$，则有$0<=t_i<=u_i+v_i$
极值条件下，必有$u_i+v_i=t_i$
$v_i=t_i-u_i,v_i>=0\Rightarrow u_i<=t_i$。
优化目标$f(u_i)=square(u_i)+2\ast M\ast v_i)=u_i^2-2M{u}_i+2M{t}_i$

一阶导得到$f^{\prime }(u_i)=2u_i-2M$，由于$|0|<=u_i<=M$
当$u_i<=M$目标单调递减，目标的极值位置取决于t_i

$$u_i^{\ast }=\{\begin{array}{cc}|t_i|,& t_i<=M\\ M,& t_i>M\end{array}$$

相对应的
$$v_i^{\ast }=\{\begin{array}{cc}0,& t_i<=M\\ t_i-M,& t_i>M\end{array}$$

将最优解带入到优化目标种可以得到
$$f(u，v)=\{\begin{array}{cc}{t}_i^2,& t_i<=M\\ M(2t_i-M),& t_i>M\end{array}$$

参考

http://web.cvxr.com/cvx/examples/cvxbook/Ch04_cvx_opt_probs/html/ex_4_5.html#source