Proximal Gradient Method近端梯度算法

本文参考文献附在最后。是对参考文献的理解。
1：此算法解决凸优化问题模型如下：

minF(x)=g(x)+h(x)

其中 g(x) 凸的，可微的。 h(x) 闭的凸的。其中 g(x),h(x)是由F(x) 分离出来的两项，当 F(x) 分离的结果不同，即使是同一个问题，算法的实现方式也不尽相同，
2：算法的实现
1)对于凸函数 h(x) 的proximal map如下：

proxh(x)=argminu(h(u)+1/2||u−x||22)

当 h(x)=0 ,则 proxh(x)=argminu(1/2||u−x||22)=x ;
当 h(x)=Ic ，则 proxh(x)=argminu∈c(1/2||u−x||22)=Pc(x) ；
当 h(x)=t||X||1 ，则 proxh(x) 为软阈值算法。
2)对于凸优化模型，则有

xk=proxtkh(xk−1−tk∇g(xk−1))

也即是 xk=argminu(h(u)+1/2tk||u−xk−1−tk∇g(xk−1||22)

=argminu(h(u)+g(xk+1)+∇g(xk−1)(u−xk−1)+1/2tk||u−xk−1||22)

在第二步运算过程中，分别加了一项和减去一项仅和 x 有关的项。
由上式可以看出， h(x) 函数不变， g(x) 变为在 x 的二阶近似。
同样的有如下特例：

3)近端梯度法的算法：

3：总结

此代码参考下面参考文献提供的代码，此为固定步长的近端梯度算法，经过简单修改：把while那一块取消注释即为线性搜索确定步长。
其中先搜索确定步长的算法如下：

function [x]=proximalGradient(A,b,gamma)
%%解决  1/2||AX-b||2_{2}+gamma*||X||1
%% A:m*n   X:n*1
MAX_ITER =400;
ABSTOL   = 1e-4;
RELTOL   = 1e-2;

f = @(u) 0.5*norm(A*u-b)^2;%%为了确定线搜索步长
lambda = 1;
beta = 0.5;
[~,n]=size(A);
x = zeros(n,1);
xprev = x;
AtA = A'*A;
Atb = A'*b;
for k = 1:MAX_ITER
%     while 1
        grad_x = AtA*x - Atb;
        z = soft_threshold(x - lambda*grad_x, lambda*gamma);%%迭代更新x
%         if f(z) <= f(x) + grad_x'*(z - x) + (1/(2*lambda))*(norm(z - x))^2
%             break;
%         end
%         lambda = beta*lambda;
    end
    xprev = x;
    x = z;

    h.prox_optval(k) = objective(A, b, gamma, x, x);
    if k > 1 && abs(h.prox_optval(k) - h.prox_optval(k-1)) < ABSTOL
        break;
    end
end

h.x_prox = x;
h.p_prox = h.prox_optval(end);

% h.prox_grad_toc = toc;
% 
% fprintf('Proximal gradient time elapsed: %.2f seconds.\n', h.prox_grad_toc);
% h.prox_iter = length(h.prox_optval);
% K = h.prox_iter;
% h.prox_optval = padarray(h.prox_optval', K-h.prox_iter, h.p_prox, 'post');
% 
% plot( 1:K, h.prox_optval, 'r-');
% xlim([0 75]);


end

function p = objective(A, b, gamma, x, z)
  p = 0.5*(norm(A*x - b))^2 + gamma*norm(z,1);
end

function [X]=soft_threshold(b,lambda)
  X=sign(b).*max(abs(b) - lambda,0);
end

参考文献如下：
Proximal gradient method近端梯度算法