迭代阈值缩减算法（Iterative Shrinkage-Thresholding Method）

l1 -最小化问题在最近几年一直是信号处理与优化领域的热点话题。

min||x||1 subject to||b−Ax||2<ϵ

IST(Iterative Shrinkage-Thresholding Method) 将上述优化问题，当做如下目标函数的的一个特殊形式来处理：

minxF(x)=f(x)+λg(x)

式中 f(x)=12||Ax−b||2 ， g(x)=||x||1 。

通过对函数 f 的近似，可以定义IST算法的更新规则：

xk+1≈argminx{(x−x(k))T∇f(x(x))+α(k)2||x−x(k)||22+λg(x)}

化简后得到：

xk+1=argminx{12||x−u(k)||22+λα(k)g(x)}

其中， u(k)=x(k)−1α(k)∇f(x(k)) ，同时海森矩阵 ∇2f(x) 使用对角矩阵 αI 来近似。

然后，由于 l1 -范数 ||x||1 是一个可分离的函数，所以上式针对每个系数是有封闭解的：

xk+1i=argminxi{(xi−u(k)i)22+λ|xi|α(k)=soft(u(k)i,λα(k))}

上式中的 soft(u,a)={sign(u)(|u|−a)0if |u|>a,otherwise. 被称作软阈值函数。

参考文献：

Yang A Y, Sastry S S, Ganesh A, et al. Fast ℓ 1-minimization algorithms and an application in robust face recognition: A review[C]//Image Processing (ICIP), 2010 17th IEEE International Conference on. IEEE, 2010: 1849-1852.

本条目发布于 2014年6月3日。属于