Proximal Gradient Method近端梯度算法

本文参考文献附在最后。是对参考文献的理解。 
1：此算法解决凸优化问题模型如下：

minF(x)=g(x)+h(x)

其中 g(x) 凸的，可微的。 h(x)  闭的凸的。其中 g(x),h(x)是由F(x)  分离出来的两项，当 F(x)  分离的结果不同，即使是同一个问题，算法的实现方式也不尽相同， 
2 ：算法的实现 
1)对于凸函数 h(x) 的proximal map如下：

proxh(x)=argminu(h(u)+1/2||u−x||22)

当 h(x)=0 ,则 proxh(x)=argminu(1/2||u−x||22)=x ; 
当 h(x)=Ic ，则 proxh(x)=argminu∈c(1/2||u−x||22)=Pc(x) ； 
当 h(x)=t||X||1 ，则 proxh(x)  为软阈值算法。 
2)对于凸优化模型，则有

xk=proxtkh(xk−1−tk∇g(xk−1))

也即是 xk=argminu(h(u)+1/2tk||u−xk−1−tk∇g(xk−1||22)

=argminu(h(u)+g(xk+1)+∇g(xk−1)(u−xk−1)+1/2tk||u−xk−1||22)

在第二步运算过程中，分别加了一项和减去一项仅和 x  有关的项。 
由上式可以看出， h(x) 函数不变， g(x) 变为在 x  的二阶近似。 
同样的有如下特例： 

3)近端梯度法的算法： 

3：总结 

此代码参考下面参考文献提供的代码，此为固定步长的近端梯度算法，经过简单修改：把while那一块取消注释即为线性搜索确定步长。 
其中先搜索确定步长的算法如下： 

function [x]=proximalGradient(A,b,gamma)
%%解决  1/2||AX-b||2_{2}+gamma*||X||1
%% A:m*n   X:n*1
MAX_ITER =400;
ABSTOL   = 1e-4;
RELTOL   = 1e-2;

f = @(u) 0.5*norm(A*u-b)^2;%%为了确定线搜索步长
lambda = 1;
beta = 0.5;
[~,n]=size(A);
x = zeros(n,1);
xprev = x;
AtA = A'*A;
Atb = A'*b;
for k = 1:MAX_ITER
%     while 1
        grad_x = AtA*x - Atb;
        z = soft_threshold(x - lambda*grad_x, lambda*gamma);%%迭代更新x
%         if f(z) <= f(x) + grad_x'*(z - x) + (1/(2*lambda))*(norm(z - x))^2
%             break;
%         end
%         lambda = beta*lambda;
    end
    xprev = x;
    x = z;

    h.prox_optval(k) = objective(A, b, gamma, x, x);
    if k > 1 && abs(h.prox_optval(k) - h.prox_optval(k-1)) < ABSTOL
        break;
    end
end

h.x_prox = x;
h.p_prox = h.prox_optval(end);

% h.prox_grad_toc = toc;
% 
% fprintf('Proximal gradient time elapsed: %.2f seconds.\n', h.prox_grad_toc);
% h.prox_iter = length(h.prox_optval);
% K = h.prox_iter;
% h.prox_optval = padarray(h.prox_optval', K-h.prox_iter, h.p_prox, 'post');
% 
% plot( 1:K, h.prox_optval, 'r-');
% xlim([0 75]);


end

function p = objective(A, b, gamma, x, z)
  p = 0.5*(norm(A*x - b))^2 + gamma*norm(z,1);
end

function [X]=soft_threshold(b,lambda)
  X=sign(b).*max(abs(b) - lambda,0);
end
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56

参考文献如下： 
Proximal gradient method近端梯度算法