近端算法：近端最小化(Proximal minimization)、近端梯度(PG)、加速近端梯度(APG)、ADMM

---

此文章翻译于 Proximal Algorithms, Neal Parikh & Stephen Boyd.
Parikh N, Boyd S. Proximal algorithms[J]. Foundations and Trends in optimization, 2014, 1(3): 127-239.
这里给出了示例的源代码及近端算子的实现库：
https://web.stanford.edu/~boyd/papers/prox_algs.html

---

基本介绍及定义

定义

令$f:R^n\to R\cup \{+\infty \}$是一个封闭的固有凸函数，这意味着它的epigraph
$$\mathbf{e}\mathbf{p}\mathbf{i}f=\{(x,t)\in R^n\times R|f(x)\le t\}$$
是一个非空的封闭凸集。$f$的有效域为
$$\mathbf{d}\mathbf{o}\mathbf{m}f=\{x\in R^n|f(x)<+\infty \}$$
$f$取有限值的点集。
$f$的近端算子${\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_f:R^n\to R^n$被定义为
$${\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_f(v)=\underset{x}{\mathrm{argmin}}(f(x)+(1/2){\Vert x-v\Vert }_2^2$$
其中${\Vert \cdot \Vert }_2$是常用的欧式范数。等式右边的优化函数是强凸的，并非无限，因此对于每一个$v\in R^n$(即使在$\mathbf{d}\mathbf{o}\mathbf{m}f⊈R^n$)，它都有一个唯一的最小化器。
我们经常会遇到缩放函数$\lambda f$的近端算子，其中$\lambda >0$，可以表示为
$${\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_{\lambda f}(v)=\underset{x}{\mathrm{argmin}}(f(x)+(1/2\lambda ){\Vert x-v\Vert }_2^2$$
也称为参数$\lambda$的$f$的近端算子。注意这里是$1/2\lambda$而不是$1/(2\lambda )$。

---

工作原理

下图展示了近端算子的工作原理。黑色细线是凸函数$f$的水平曲线，黑色粗线表示域边界。通过计算估计邻近的蓝点会移动到相应的红点。函数域中的三个点停留在域中并向函数最小值移动，其他两个点则会先到域边界再想最小值移动。参数$\lambda$控制着近端算子朝向$f$最小值的映射，较大的$\lambda$值与映射点附近的最小值接近，较小的$\lambda$值则使朝向$f$的运动较小。

以上定义表明${\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_f(v)$是在最小化$f$和接近$v$之间折衷的点。因此${\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_f(v)$有时候被称为$v$相对于$f$的近点。在${\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_{\lambda f}$中，参数$\lambda$可以解释为这些项之间的相对权重或折衷参数。
当$f$是指示函数时
$$I_C(x)=\{\begin{array}{cc}0& x\in C\\ +\infty & x\notin C\end{array}$$
其中$C$是一个封闭的非空凸集，$f$的近端算子简化为$C$上的欧几里得投影，将其表示为
$$\prod {}_C(v)=\underset{x\in C}{\mathrm{argmin}}{\Vert x-v\Vert }_2$$
因此可以将近端算子视为广义投影，并且这种观点表明了我们希望近端算子能够服从的各种属性。
$f$的近端算子也可以解释为函数$f$的一种梯度阶跃。特别地，我们（根据稍后描述的某些假设）具有
$${\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_f(v)=v-\lambda ▽f(v)$$
当$\lambda$小且$f$可微时，上式满足。这表明近端算子和梯度方法之间的紧密联系，也暗示了近端算子在优化中可能有用。这也表明，$\lambda$将起到类似于梯度法中步长的作用。
$f$的近端算子的固定点恰好是f的极小值。换句话说，${\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_{\lambda f}(x^{\star })=x^{\star }$当且仅当$x^{\star }$将$f$最小化时。这暗示了近端算子与不动点理论之间的紧密联系，并暗示近端算法可以解释为通过找到合适算子的不动点来解决优化问题。

---

性质

1. 可分离性
   如果$f$在两个变量之间是可分离的，则$f(x,y)=\phi (x)+\psi (x)$，那么
   ${\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_f(v,w)=({\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_{\phi }(v),{\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_{\psi }(w))$
   如果$f$是可以完全分离的，意味着$f(x)={\sum }_{i=1}^n{f}_i(x_i)$，那么
   $({\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_f(v){)}_i={\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_{f_i}(v_i)$
2. 结合性
   如果$f(x)=\alpha \phi (x)+b$，其中$\alpha >0$，则
   ${\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_{\lambda f}(v)={\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_{\alpha \lambda \phi }(v)$
   如果$f(x)=\phi (\alpha x+b)$，其中$\alpha \ne 0$，则
   ${\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_{\lambda f}(v)=\frac{1}{\alpha }({\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_{{\alpha }^2\lambda \phi }(\alpha v+b)-b)$
   如果$f(x)=\phi (Qx)$，其中$Q$是正交的($Q{Q}^T=Q^{T}Q=I$)，则
   ${\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_{\lambda f}(v)=Q^T{\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_{\lambda \phi }(Qv)$
3. 仿射加法
   如果$f(x)=\phi (x)+a^{T}x+b$，则
   ${\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_{\lambda f}(v)={\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_{\lambda \phi }(v-\lambda a)$
4. 正则化
   如果$f(x)=\phi (x)+(\rho /2){\Vert x-a\Vert }_2^2$
   ${\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_{\lambda f}(v)={\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_{\lambda \phi }((\lambda /\lambda )v-(\rho \lambda )a)$
   其中$\lambda =\lambda /(1+\lambda \rho )$
5. 定点
   当且仅当点$x^{\star }$将$f$最小化
   $x^{\star }$=${\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_f(x^{\star })$
6. 近端均值
   令$f_1,...,f_m$为闭真凸函数，则有
   $\frac{1}{m}{\sum }_{i=1}^m{\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_{f_i}={\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_g$
   其中$g$是一个函数，称为$f_1,...,f_m$的近端均值
7. Moreau分解
   下列关系总是成立：
   $v={\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_f(v)+{\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_{f^{\star }}(v)$
   其中 $f^{\star }(y)=\underset{x}{\sup }(y^{T}x-f(x))$是$f$的凸共轭。这个性质称为Moreau分解，是近端算子和对偶性之间的主要关系。

莫罗分解可以看作是子空间引起的正交分解的一般化。如果$L$是子空间，则其正交补为
$$L^{\perp }=\{y|y^{T}x=0forallx\in L\}$$
然后对任意$v$有
$$v=\prod {}_L(v)+\prod {}_{L^{\perp }}(v)$$
这是从Moreau分解$(I_L{)}^{\star }=I_{L^{\perp }}$中得出的。

同样，当$f$是闭合凸锥$K$的指示函数时，有
$$v=\prod {}_K(v)+\prod {}_{K^{。}}(v)$$
其中
$$K^{。}=\{y|y^{T}x\le 0forallx\in K\}$$
$$K^{\star }=\{y|y^{T}x\ge 0forallx\in K\}$$
Moreau分解提供了一种简单的方法来获得函数$f$的近端运算符，即$f^{\star }$的近端运算符。例如，如果$f=\Vert \cdot \Vert$是一般范数，则$f^{\star }=I_B$，其中$B=\{x|{\Vert x\Vert }_{\star }\le 1\}$。是对偶范数${\Vert \cdot \Vert }_{\star }$的单位球，定义为
$${\Vert z\Vert }_{\star }=sup\{z^{T}x|\Vert x\Vert \le 1\}$$
通过Moreau分解，这意味着
$$v={\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_f(v)+\prod {}_B(v)$$
换句话说，如果我们知道如何投影到$B$上（反之亦然），就可以轻松评估${\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_f$。

---

近端算子解释

Moreau-Yosida正则化

在$R^n$上闭真凸函数$f$和$g$的内积定义为
$$(f\square g)(v)=\underset{x}{\inf }(f(x)+g(v-x))$$
with $\mathbf{d}\mathbf{o}\mathbf{m}(f\square g)=\mathbf{d}\mathbf{o}\mathbf{m}(f)+\mathbf{d}\mathbf{o}\mathbf{m}(g)$
例子：
给定$\lambda >0$，函数$\lambda f$的Moreau包络或者Moreau-Yosida正则化$M_{\lambda f}$定义为$M_{\lambda f}=\lambda f\square (1/2){\Vert \cdot \Vert }_2^2)$
$$M_{\lambda f}(v)=\underset{x}{\inf }(f(x)+(1/2\lambda ){\Vert x-v\Vert }_2^2)$$
这也称为参数为$\lambda$的$f$的Moreau包络。
Moreau包络$M_f$本质上是$f$的平滑或正则形式：即使$f$不存在，它的域是$R^n$，且连续可微。此外，$f$和$M_f$的极小值集合是相同的。因此$f$的最小化问题和$M_f$等价，而且后者总是一个平滑的优化问题。
来看一下为什么$M_f$是$f$的平滑形式。考虑到
$$(f\square g{)}^{\star }=f^{\star }+g^{\star }$$
内积是加法的对偶。因为$M_f^{\star \star }=M_f$和$(1/2){\Vert \cdot \Vert }_2^2$是自对偶的，所以
$$M_f=(f^{\star }+(1/2){\Vert \cdot \Vert }_2^2{)}^{\star }$$
一般来说，当$\phi$强凸时，闭真凸函数$\phi$的共轭${\phi }^{\star }$是光滑的。这表明Moreau包络$M_f$可以解释为通过取其共轭添加正则化，然后再次取共轭来获得函数的平滑近似。如果没有正则化就会得到原始函数；通过二次正则化会给出一个平滑的近似。例如，将此技术应用于$\left|x\right|$会产生Huber函数：
$${\phi }^{huber}(x)=\{\begin{array}{cc}{x}^2& \left|x\right|\le 1\\ 2\left|x\right|-1& \left|x\right|>1\end{array}$$

$f$的近端算子和Moreau包络有许多共同的关系。例如，${\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_f$实际上实现了定义$M_f$下确界的（唯一）点：
$$M_f(x)=f({\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_f(x))+(1/2){\Vert x-{\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_f(x)\Vert }_2^2$$
另外，Moreau包络的梯度由下式给出
$$▽M_{\lambda f}(x)=(1/\lambda )(x-{\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_{\lambda f}(x))$$
重写上式为：
$${\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_{\lambda f}(x)=x-\lambda ▽M_{\lambda f}(x)$$
这表明${\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_{\lambda f}$可被视为用于最小化$M_{\lambda f}$的梯度步长（其具有与$f$相同的最小值），值为$\lambda$。结合Moreau分解，给出了一个关于近端算子、Moreau包络和共轭的公式：
$${\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_f(x)=▽M_{f^{\star }}(x)$$
以上的讨论是限制函数为凸的情况，对于非凸函数，可以考虑内积卷积，在这种情况下上面的性质并非全部成立。

次微分算子的预解

可以把闭真凸函数$f$的次微分算子$\partial f$看做是在$R^n$上一个点到集合的映射，即$\partial f$把每个点$x\in \mathbf{d}\mathbf{o}\mathbf{m}f$带到$\partial f(x)$中。任何点$y\in \partial f(x)$在$x$处称为$f$的次梯度。当$f$可微时，对于所有$x$有$\partial f=\{▽f(x)\}$，称$▽f$从$x\in \mathbf{d}\mathbf{o}\mathbf{m}f$到$▽f(x)$的映射为梯度映射。
近端算子${\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_{\lambda f}$和次微分算子$\partial f$的联系为：
$${\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_{\lambda f}=(I+\lambda \partial f{)}^{-1}$$
(点到点)映射$(I+\lambda \partial f{)}^{-1}$称为参数$\lambda >0$的$\partial f$算子的预解，所以近端算子是次微分算子的预解。
右边的所有运算符(标量乘法、求和和逆)都是关系上的运算，所以$(I+\lambda \partial f{)}^{-1}$是一个关系。然而事实证明，这个关系有定义域$R^n$，是单值的，函数也是，尽管$\partial f$不是。

修正梯度步长

有几种方法可以将近端算子解释为最小化f的梯度步长或与$f$相关的函数。例如，前面有
$${\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_{\lambda f}(x)=x-\lambda ▽M_{\lambda f}(x)$$
即，${\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_{\lambda f}$是一个梯度步长，用于最小化步长为$\lambda$的$f$的Moreau包络。这里我们讨论其他类似的解释。
如果$f$在$x$处是二次可微的，${▽}^{2}f(x)>0$（即${▽}^{2}f(x)$正定），那么作为$\lambda \to 0$
$${\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_{\lambda f}(x)=(I+\lambda \partial f{)}^{-1}(x)=x-\lambda ▽f(x)+o(\lambda )$$
换句话来说，对于小的$\lambda$，${\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_{\lambda f}$收敛于步长为$\lambda$的$f$中的梯度步长。所以近端算子可以解释为（对于小的$\lambda$）最小化$f$的梯度步长近似。

现在考虑逼近$f$的近似算子，并检查它们与最小化$f$的梯度(或其他)步长的关系。如果$f$是可微的，它在$v$附近的一阶逼近是
$${\hat{f}}_v^{(1)}(x)=f(v)+▽f(v{)}^T(x-v)$$
如果它是二次可微的，它的二阶近似是
$${\hat{f}}_v^{(2)}(x)=f(v)+▽f(v{)}^T(x-v)+(1/2)(x-v{)}^T{▽}^{2}f(v)(x-v)$$
一阶近似的近似算子是
$${\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_{{\hat{f}}_v^{(1)}}(v)=v-\lambda ▽f(v)$$
这是具有步长$\lambda$的标准梯度步长。二阶近似的近似算子是
$${\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_{{\hat{f}}_v^{(2)}}(v)=v-({▽}^{2}f(v)+(1/\lambda )I{)}^{-1}▽f(v)$$
右边的步骤非常熟悉:它是一个Tikhonov正则化的牛顿更新，也称为Levenberg-Marquardt更新或修改的Hessian牛顿更新。因此，梯度和Levenberg-Marquardt步长可视为$f$的一阶和二阶近似的近似算子。

信任区域问题

信任区域问题有以下形式
$$\begin{array}{ccc}& minimize& f(x)\\ & subjectto& {\Vert x-v\Vert }_2\le \rho \end{array}$$
对于变量$x\in R^n$，其中$\rho >0$是信任区域的半径。当$f$是某个$\phi$的近似值或替代值时，通常会出现一些问题，该值仅在某个点$v$附近精确，如$f$可能是$v$处$\phi$的二阶近似。然后此问题的解给出了在某个更大的迭代过程中最小化$\phi$的搜索方向。
近端问题：
$$minimizef(x)+(1/2\lambda ){\Vert x-v\Vert }_2^2$$
包含$x$的两个函数：$f(x)$和${\Vert x-v\Vert }_2$，但对距离$v$的信任区域约束表现为（平方）损失。
粗略地说，合适选择参数$\rho$和$\lambda$会使这两个问题有相同的解。更准确地说，对于$\rho$的某些选择，近端问题的每个解也是信任区域问题的解。相反，信任区域问题的每一个解要么是$f$的无约束极小值，要么是近端问题的某个$\lambda$选择的解。
为了看到这一点，我们检查了两个问题的最优条件。对于近端问题，最优性条件很简单：
$$0\in \partial f(x^{pr})+(1/\lambda )(x^{pr}-v)$$
对于信任区域问题，假设$\{x|{\Vert x-v\Vert }_2\le \rho \}$内没有$f$的极小值，对于某些$\mu >0$的最优性条件为
$$0\in \partial f(x^{tr})+\mu \frac{x^{tr}-v}{{\Vert x^{tr}-v\Vert }_2},{\Vert x^{tr}-v\Vert }_2=\rho$$
我们可以很清晰的看到当$\lambda =\rho /\mu$时，信任区域问题$x^{tr}$的解满足近端问题。相反，近端问题在$\rho ={\Vert x^{pr}-v\Vert }_2$和$\mu =\rho /\lambda$时的解满足信任区域问题。

---

近端算法(Proximal Algorithms)

近端最小化(Proximal minimization)

近端最小化算法，也称为近端迭代或近端点算法，
$$x^{k+1}:={\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_{\lambda f}(x^k)$$
其中$f:R^n\to R\cup \{+\infty \}$是闭真凸函数，$k$是迭代次数，$x^k$是算法的第$k$次迭代。

如果$f$有极小值，那么$x^k$收敛到$f$的极小值集合，$f(x^k)$收敛到它的最优值。近端最小化算法的一个变形是使用在每次迭代中改变的参数值；在迭代中我们用${\lambda }^k$代替常数值$\lambda$，只要${\lambda }^k>0$且${\sum }_{k=1}^{\infty }{\lambda }^k=\infty$，就能保证收敛。另一种变型允许在评估近端操作符时所需的最小化被错误地执行，只要最小化中的错误满足某些条件(例如可求和)。

近端最小化算法可以有多种解释。一个简单的观点是，它是应用于Moreau包络面的标准梯度法，而不是${\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_{\lambda f}$。另一个是它是寻找${\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_{\lambda f}$的不动点的简单迭代，这是可行的，因为${\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_{\lambda f}$是绝对非扩张的。我们现在提出需要更多讨论的其他解释。

消失的Tikhonov正则化

另一个简单的解释是二次(Tikhonov)正则化，它在极限内“消失”。在每一步中，我们解决正则化问题
$$minimizef(x)+(1/2\lambda ){\Vert x-x^k\Vert }_2^2$$
第二项可以解释为以前面迭代$x^k$为中心的二次(Tikhonov)正则化；换句话说，它是一个阻尼项，确保$x^{k+1}$离$x^k$不远。

假设$f$是光滑的，并且我们使用迭代方法来解决这个子问题，例如梯度或共轭梯度方法。对于这种方法，这个(子)问题变得更容易，因为增加了更多的二次正则化，即$\lambda$越小。这里，“更容易”可以意味着更少的迭代，更快的收敛，或者更高的可靠性。(选择${\lambda }^k$的一种方法是使它足够小，使子问题足够容易解决，比如说，在某个方法的十次迭代中。)

当近端算法收敛时，$x^{k+1}$接近$x^k$，所以二次正则化的效果变为零，在这个意义上，二次正则化对梯度贡献了一个项，该项随着算法的进行而减小到零。

在这种情况下，我们可以把近端极小化方法看作是一种将二次正则化引入光滑极小化问题的有原则的方法，以便以这样一种方式改进某些迭代方法的收敛性，即所获得的最终结果不受正则化的影响。这是通过将正则化的“中心”移动到前面的迭代来完成的。

梯度流

近端极小化可以解释为求解微分方程的离散化方法，微分方程的平衡点是可微凸函数的极小点。微分方程
$$\frac{d}{dt}x(t)=-▽f(x(t))$$
对于变量$x:R_{+}\to R^n$，称作$f$的梯度流（这里的$R+$表示非负实部$\{t\in R|t\ge 0\}$）。梯度流的平衡点是$▽f$的零点，正好是$f$的最小值。

我们可以认为梯度流是最小化$f$的梯度方法的连续时间模拟。梯度流解决了最小化f的问题，即对于梯度流的每个轨迹$x$，我们有$f(x(t))\to p^{\star }$，其中$p^{\star }$是$f$的最小值。为了最小化$f$，我们从任何初始向量$x(0)$开始，并(在数值上)将其轨迹跟踪为$t\to \infty$。

梯度流的概念可以推广到$f$不可微，利用次梯度微分包含
$$\frac{d}{dt}x(t)\in -\partial f(x(t))$$
为了简单起见，我们的讨论将坚持可微的情况。

稍微滥用一下符号，让$x^k$是$x(kh)$的近似值，其中$h>0$是一个小步长。我们通过离散微分方程计算$x^k$，即通过数值积分。
上上式最简单的离散化是
$$\frac{x^{k+1}-x^k}{h}=-▽f(x^k)$$
称为前向欧拉离散化。这里，在时间$t=kh$时$x$的导数由在时间间隔$[kh，(k+1)h]$上的分割差异代替，即，
$$\frac{x((k+1)h)-x(kh)}{(k+1)h-kh}$$
为了获得算法，我们为下一次迭代$x^{k+1}$求解上上式，给出迭代
$$x^{k+1}:=x^k-h△f(x^{k+1})$$
这是步长为$h$的标准梯度下降迭代。因此，梯度下降法可解释为适用于梯度流的数值积分的前向欧拉法。
后向欧拉法使用离散化
$$\frac{x^{k+1}-x^k}{h}=-▽f(x^{k+1})$$
其中我们用间隔$[kh，(k+1)h]$上的分割差异来替换时间$t=(k+1)h$的导数。众所周知，这种方法比前向欧拉法具有更好的逼近特性，特别是对于收敛的微分方程，就像梯度流一样。它的主要缺点是它不能被重写为一个用$x^k$给出$x^{k+1}$的迭代。为此，它被称为隐式方法，与前向欧拉等显式方法相反。
为了找到$x^{k+1}$，我们解这个方程
$$x^{k+1}+h△f(x^{k+1})=x^k$$
等价于
$$x^{k+1}={\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_{hf}(x^k)$$
因此，近似最小化方法是应用于梯度流动微分方程的数值积分的后向欧拉方法。标准近似最小化方法中的参数$\lambda$对应于离散化中使用的时间步长。
这种解释表明，如果对$\nabla f$有足够的假设，并且假设$\lambda$很小，这种方法应该有效。事实上，我们从其他分析中知道得更多；特别是，我们知道近似方法对任何正$\lambda$都是有效的，即使函数$f$不可微或有限。
在本节中，我们看到梯度步长(在优化中)对应于前向欧拉步长(在求解梯度流动微分方程中)，后向欧拉步长对应于近端步长。在后面，我们通常称梯度步长为向前的步长，称近端步长为向后的步长。

迭代细化

现在，我们讨论数值线性代数中众所周知的并且基于渐近消失的Tikhonov正则化思想的近端最小化算法的特殊情况。
考虑使二次函数最小化的问题
$$f(x)=(1/2)x^{T}Ax-b^{T}x$$
其中$A\in S_{+}^n$（对称正半定$n\times n$矩阵的集合）。当然，这个问题等效于求解线性方程组$Ax=b$，并且当$A$为非奇异时，唯一解为$x=A^{-1}b$。从最小二乘拟合到椭圆PDEs的数值解，在许多应用中都会出现此问题。
$f$在$x^k$的近端算子可以解析地表示：
$$\begin{gathered} {\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_{\lambda f}(x^k)=\underset{x}{\mathrm{argmin}}((1/2)x^{T}Ax-b^{T}x+(1/2\lambda ){\Vert x-x^k\Vert }_2^2) \\ =(A+(1/\lambda )I{)}^{-1}(b+(1/\lambda )x^k) \end{gathered}$$
然后是近端最小化方法
$$x^{k+1}:=(A+(1/\lambda )I{)}^{-1}(b+(1/\lambda )x^k)$$
可以重写为
$$x^{k+1}:=x^k+(A+ϵI{)}^{-1}(b-A{x}^k)$$
其中$ϵ=1/\lambda$。我们知道，只要$\lambda >0$（等同于$ϵ>0$），就可以收敛到$Ax=b$的解（假设存在）。上式是一种标准算法，称为迭代优化，用于仅使用正则化逆$(A+ϵI{)}^{-1}$来求解$Ax=b$。 右边的第二项称为对近似解$x^k$的校正或细化
。
迭代细化在以下情况下很有用。假设$A$为奇数或具有很高的条件数。在这种情况下，由于不存在因式分解或无法稳定地计算因式分解，我们无法通过计算$A$的Cholesky因式分解来求解$Ax=b$。但是，正则化矩阵$A+ϵI$的Cholesky因式分解始终存在（因为该矩阵是正定的）并且可以稳定地计算（假设其条件数不大）。迭代细化是一种使用$A+ϵI$的Cholesky分解来求解$Ax=b$的迭代方法。

迭代细化通常描述如下。由于$A^{-1}$不需要存在（并且如果存在，它可能很大），因此我们更喜欢使用${\hat{A}}^{-1}=(A+ϵI{)}^{-1}$来近似求解$Ax=b$。如果$ϵ$很小，那么$A\approx \hat{A}$，我们的第一个猜测将是$x^1={\hat{A}}^{-1}b$，其残差$r^1=b-A{x}^1$。然后，我们计算校正项${\delta }^1$，以使$x^2=x^1+{\delta }^1$比$x^1$更好。完美校正为${\delta }^1=A^{-1}{r}^1$，这是通过对${\delta }^1$求解$A（x^1+{\delta }^1）=b$来获得的。由于我们不能使用$A^{-1}$，因此我们将${\delta }^1={\hat{A}}^{-1}{r}^1$设置为$x^2=x^1+{\delta }^1$。

重复执行这两个步骤，以进行所需的多次迭代，实际上，迭代次数通常仅为几个。由于此方法是近端最小化的特例，因此我们可以得出结论，即使$ϵ$很大，迭代细化也总是（渐近地）起作用。

近端梯度方法(Proximal gradient method)

考虑到最优化问题
$$minimizef(x)+g(x)$$
其中$f:R^n\to R$和$g:R^n\to R\cup \{+\infty \}$都是闭真凸函数，且f可微。（由于$g$可以是扩展值，因此可以用于对变量$x$的约束进行编码。）以这种形式，我们将目标分为两个项，其中之一是可微的。这种划分不是唯一的，因此对于相同的原始问题，不同的划分会导致近端梯度法的不同实现。

近端梯度方法为
$$x^{k+1}:={\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_{{\lambda }^{k}g}(x^k-{\lambda }^k▽f(x^k))$$
其中${\lambda }^k>0$是步长。

当$\nabla f$是具有常数$L$的Lipschitz连续时，当使用固定步长${\lambda }^k=\lambda \in （0,1/L]$时，该方法可以证明以速率$O(1/k)$收敛（该方法实际上将收敛于小于$2/L$的步长，而不仅仅是$1/L$，尽管对于大于$1/L$的步长，该方法不再是下一节中讨论的“最大化-最小化方法” ）。如果$L$未知，则步长${\lambda }^k$可以通过行搜索找到，也就是说，在每个步长中选择它们的值。

一个简单的线搜索工作如下：

函数${\hat{f}}_{\lambda }$易于计算，下面会给出它的计算。线搜索参数$\beta$的典型值为1/2。

特殊案例：在各种特殊情况下，近似梯度法简化为其他众所周知的算法。当$g=I_C$时，${\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_{\lambda g}$是$C$上的投影，在这种情况下上式简化为投影梯度法。当$f=0$时，则简化为近极小化，当$g=0$时，则简化为标准梯度下降法。

MM

我们首先将近端梯度法解释为优化-最小化(MM)算法的一个例子，一大类算法包括梯度法、牛顿法和EM算法作为特例。

最小化函数$\phi :R^n\to R$的MM算法由下边的迭代组成
$$x^{k+1}:=\underset{x}{\mathrm{argmin}}\hat{\phi }(x,x^k)$$
其中$\hat{\phi }(\cdot ,x^k)$是$\phi$的凸上界，在$x^k$处是紧的，即对所有$x$有$\hat{\phi }(x,x^k)\ge \phi (x)$且$\hat{\phi }(x,x)=\phi (x)$。

对于$f$的上界，在$\lambda >0$有
$${\hat{f}}_{\lambda }(x,y)=f(y)+△f(y{)}^T(x-y)+(1/2\lambda ){\Vert x-y\Vert }_2^2$$
对于固定的$y$，这个函数是凸的，满足${\hat{f}}_{\lambda }(x，x)=f(x)$，并且当$\lambda \in (0，1/L)$时是$f$的上界，其中$L$是$\nabla f$的Lipschitz常数。
$$x^{k+1}:=\underset{x}{\mathrm{argmin}}{\hat{f}}_{\lambda }(x,x^k)$$
上式是一种MM算法；事实上代数表明，这种算法正是最小化f的标准梯度方法。直观地说，我们用信任区域惩罚正则化的一阶近似代替$f$。

因此，函数$q_{\lambda }$由下式给出
$$q_{\lambda }(x,y)={\hat{f}}_{\lambda }(x,y)+g(x)$$
当$\lambda \in (0，1/L)$时，类似地是$f+g$(固定$y$)的代替。MM算法即
$$x^{k+1}:=\underset{x}{\mathrm{argmin}}{q}_{\lambda }(x,x^k)$$
可以显示为等效于近端梯度迭代。

最小化$q_{\lambda }(x，x^k)$问题的另一种表达方式如下
$$minimize(1/2){\Vert x-(x^k-\lambda ▽f(x^k))\Vert }_2^2+\lambda g(x)$$
该公式表明，解$x^{k+1}$可以解释为在最小化$g$和接近标准梯度步长$x^k-\lambda ▽f(x^k)$之间进行权衡，权衡由参数$\lambda$决定。

定点迭代

近端梯度算法也可以解释为定点迭代。$x^{\star }$最小化$f+g$的一个解，当且仅当
$$0\in ▽f(x^{\ast })+\partial g(x^{\ast })$$
对于任意$\lambda >0$,当且仅当下列等价陈述成立时，此最优性条件成立:
$$\begin{gathered} 0\in \lambda ▽f(x^{\ast })+\lambda \partial g(x^{\ast }) \\ 0\in \lambda ▽f(x^{\ast })-x^{\ast }+x^{\ast }+\lambda \partial g(x^{\ast }) \\ (I+\lambda \partial g)(x^{\ast })\in (I-\lambda ▽f)(x^{\ast }) \\ {x}^{\ast }=(I+\lambda \partial g{)}^{-1}(I-\lambda ▽f)(x^{\ast }) \\ {x}^{\ast }={\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_{\lambda g}(x^{\ast }-\lambda ▽f(x^{\ast })) \end{gathered}$$
最后两个表达式适用于等式，而不仅仅是包含，因为近端算子是单值的。

$x^{\star }$是$minimizesf+g$的解当且仅当它是前向-后向算子的不动点
$$(I+\lambda \partial g{)}^{-1}(I-\lambda ▽f)$$
近端梯度法反复应用这个算子来获得一个不动点，从而得到原问题的一个解。条件$\lambda \in (0，1/L)$，其中$L$是$\nabla f$的李普希茨常数，保证了前向-后向算子是平均的，从而迭代收敛到一个不动点(当一个不动点存在时)。

梯度流的前向-后向积分

近端梯度算法可以用梯度流来解释。这里，梯度流动系统采用以下形式
$$\frac{d}{dt}x(t)=-▽f(x(t))-▽g(x(t))$$
这里假设$g$也是可微的。
为了获得微分式的离散化，我们用差值$(x^{k+1}-x^k)/h$替换左侧的导数。我们还用$x^k$(给出前向欧拉离散化)或$x^{k+1}$(给出后向欧拉离散化)替换右侧的值$x(t)$。在右边使用$x^k$或 $x^{k+1}$是合理的，因为$h$应该是一个小的步长，所以$x(kh)$和$x((k+1)h)$不应该有太大的不同。事实上，可以用右边的$x^k$和$x^{k+1}$来替换$x(t)$的不同出现。由此产生的离散化孵化了算子分裂算法。

例如，我们可以考虑离散化
$$\frac{x^{k+1}-x^k}{h}=-▽f(x^k)-▽g(x^{k+1})$$
其中，我们用前向值$x^k$替换$f$参数中的$x(t)$,用后向值$x^{k+1}$替换$g$参数中的$x(t)$。重新排列，这给出了更新
$$x^{k+1}:=(I+h▽g{)}^{-1}(I-h▽f)x^k$$
这被称为前向-后向分裂，当$\lambda =h$时，这恰好是最接近的梯度迭代。换句话说，近端梯度法可以解释为对梯度流动微分方程进行数值积分的方法，该方法对可微部分$f$使用前向欧拉步骤，对(可能的)不可微部分$g$使用后向欧拉步骤。

加速近端梯度法(Accelerated proximal gradient method)

基本近端梯度算法的所谓“加速”版本包括算法中的外推步骤。一个简单的版本是
$$\begin{gathered} y^{k+1}:=x^k+w^k(x^k-x^{k-1}) \\ {x}^{k+1}:={\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_{{\lambda }^{k}g}(y^{k+1}-{\lambda }^k▽f(y^{k+1})) \end{gathered}$$
其中，${\omega }^k\in [0，1)$是外推参数，${\lambda }^k$是步长。(我们假设${\omega }^0=0$，因此在第一个额外步骤中出现的值$x^{-1}$并不重要。)这些参数必须以特定的方式选择，以实现收敛加速。这里给出一个较为简单的选择
$$w^k=\frac{k}{k+3}$$
仍需选择步长${\lambda }^k$。当$\nabla f$是常数为$L$的Lipschitz连续时，该方法能以$O(1/k^2)$的速率在固定步长${\lambda }^k=\lambda \in (0,1/L]$收敛于目标值。如果$L$未知，步长${\lambda }^K$可以通过线性搜索[找到；也就是说，它们的值是在每个步骤中选择的。

这里给出一个由Beck和Teboulle提出的简单的线搜索工作：

如前所述，函数${\hat{f}}_{\lambda }$已经定义过。这里的线搜索和标准的近端梯度方法相同，只是它使用的是外推值$y^k$而不是$x^k$。

ADMM(Alternating direction method of multipliers)

考虑到这样一个最小化问题
$$minnimizef(x)+g(x)$$
其中$f,g:R^n\to R\cup \{+\infty \}$是闭真凸函数（在这里，$f$和$g$都可以是非光滑的）。然后ADMM也称为Douglas-Rachford splitting，可写为
$$\begin{gathered} x^{k+1}:={\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_{\lambda f}(z^k-u^k) \\ {z}^{k+1}:={\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_{\lambda g}(x^{k+1}+u^k) \\ {u}^{k+1}:=u^k+x^{k+1}-z^{k+1} \end{gathered}$$
其中$k$是迭代次数，这种方法都能在一般可能性条件下收敛。虽然$x^k$和$z^k$都能收敛到最优，但它们的性质略有不同。例如，$x^k\in \mathbf{d}\mathbf{o}\mathbf{m}f$而$z^k\in \mathbf{d}\mathbf{o}\mathbf{m}g$，因此如果$g$满足约束，则$z^k$迭代满足约束，而$x^k$迭代仅在极限内满足约束。如果$g={\Vert \cdot \Vert }_1$，那么$z^k$将是稀疏的，因为${\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_{\lambda g}$是软阈值，而$x^k$将接近$z^k$（接近稀疏）。

ADMM的优势在于目标项(两者都可以包含约束，因为它们可以取无穷大的值)是完全独立处理的，事实上，函数只能通过它们最近的操作符来访问。当$f$和$g$的近端算子可以被有效评估时ADMM是最有用的，但这不容易。

特定案例

当$g$是闭真凸集$C$的指示函数时，它的近端算子${\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_{\lambda g}$被投影到$C$上。在这种情况下，ADMM是一种求解$C$上最小化$f$的一般凸约束问题的方法。它只使用目标的近端算子和投影到约束集上。(我们可以颠倒角色，$f$是$C$的指示函数，$g$是泛凸函数；这给出了稍微不同的算法。)

作为进一步的特殊化，假设$f$是一个闭凸集$C$的指示函数，$g$是一个闭凸集$D$的指示函数，那么$minimizingf+g$的问题等价于寻找一个点$x\in C\cap D$的凸可行性问题，两个邻近算子都归结为投影，所以这个问题的ADMM算法就变成了
$$\begin{gathered} x^{k+1}:=\prod {}_C(z^k-u^k) \\ {z}^{k+1}:=\prod {}_C(x^{k+1}+u^k) \\ {u}^{k+1}:=u^k+x^{k+1}-z^{k+1} \end{gathered}$$
参数$\lambda$没有出现在该算法中，因为两个近似算子都是投影。这种算法与戴克斯特拉交替投影法相似，但不相同。

像冯·诺依曼提出的交替投影的经典方法一样，这种方法需要在每次迭代中在每个集合上进行一次投影。但是在实践中它的收敛速度通常要快得多。

对ADMM的解释

动力系统的积分控制

ADMM的前两步可以看作是一个具有状态$z$和输入或控制$u$的离散时间动力系统，即$z^{k+1}$是$x^k$和$u^k$的函数。目的是选择$u$实现$x=z$，因此$x^{k+1}-z^{k+1}$可以被视作误差信号。ADMM的u-update表明，$u^k$是误差的累计和，是误差信号累计的离散时间模拟。因此，ADMM可被视为一种经典的积分控制方法，用于通过将误差的积分反馈到其输入来将误差信号驱动为零。

增广拉格朗日

一个重要的解释是基于增广拉格朗日的概念。我们首先把最小化$f(x)+g(x)$的问题写成
$$\begin{gathered} minimizef(x)+g(x) \\ subjecttox-z=0 \end{gathered}$$
这就是所谓的consensus form。变量在这里被分成两个变量$x$和$z$，我们添加了它们必须同意的一致约束，这显然相当于最小化$f+g$。

与上述问题相关的增广拉格朗日函数是
$$L_{\rho }(x,z,y)=f(x)+g(z)+y^T(x-z)+(\rho /2){\Vert x-z\Vert }_2^2$$
其中$\rho >0$是一个参数，$y\in R^n$是与一致性约束相关联的对偶变量。这是通常的拉格朗日方法，在等式约束函数上增加了额外的二次惩罚。ADMM可以表示为
$$\begin{gathered} x^{k+1}:=\underset{x}{\mathrm{argmin}}{L}_{\rho }(x,z^k,y^k) \\ {z}^{k+1}:=\underset{z}{\mathrm{argmin}}{L}_{\rho }(x^{k+1},z,y^k) \\ {y}^{k+1}:=y^k+\rho (x^{k+1}-z^{k+1}) \end{gathered}$$
在每个$x$和$z$步骤中，使用另一个原始变量和对偶变量的最新值，在变量上最小化$L_{\rho }$。对偶变量是一致误差的(按比例)累计和。

对于ADMM增广拉格朗日形式简化的近端版本
$$\begin{gathered} x^{k+1}:=\underset{x}{\mathrm{argmin}}(f(x)+y^{kT}x+(\rho /2){\Vert x-z^k\Vert }_2^2) \\ {z}^{k+1}:=\underset{z}{\mathrm{argmin}}(g(z)+y^{kT}z+(\rho /2){\Vert x^{k+1}-z\Vert }_2^2) \\ {y}^{k+1}:=y^k+\rho (x^{k+1}-z^{k+1}) \end{gathered}$$
看看ADMM的增广拉格朗日形式
$$\begin{gathered} x^{k+1}:=\underset{x}{\mathrm{argmin}}(f(x)+(\rho /2){\Vert x-z^k+(1/\rho )y^k\Vert }_2^2) \\ {z}^{k+1}:=\underset{z}{\mathrm{argmin}}(g(z)+(\rho /2){\Vert x^{k+1}-z-(1/\rho )y^k\Vert }_2^2) \\ {y}^{k+1}:=y^k+\rho (x^{k+1}-z^{k+1}) \end{gathered}$$
$u^k=(1/\rho )y^k$和$\lambda =1/\rho$时是ADMM的近端形式。

流解释

ADMM也可以解释为求解一个特殊的常微分方程组的方法。为简单起见，假设$f$和$g$是可微的，ADMM的增广拉格朗日形式的最优性条件是
$$▽f(x)+v=0,▽g(z)-v=0,x-z=0$$
其中$v\in R^n$是一个对偶变量。现在考虑微分方程
$$\begin{gathered} \frac{d}{dt}\left[\begin{array}{c}x(t)\\ z(t)\end{array}\right]=\left[\begin{array}{c}-▽f(x(t))-\rho u(t)-\rho r(t)\\ -▽g(z(t))+\rho u(t)+\rho u(t)\end{array}\right] \\ \frac{d}{dt}u(t)=\rho r(t) \end{gathered}$$
其中$r(t)=x(t)z(t)$是原始(一致)残差，$\rho >0$。微分方程中的函数是原始变量$x$和$z$，对偶变量$u$，这个微分方程没有一个标准的名字，但我们将它称为ADMM的增广拉格朗日形式的鞍点流，因为它可以被解释为一些鞍点算法的连续模拟。

很容易看出，当$\nu =\rho u$时，鞍点流的平衡点与最优性条件相同。还可以看出，鞍点流的所有轨迹都收敛到一个平衡点（假设存在$x^{\star }$和${\nu }^{\star }$满足优化条件）。由此可见，我们可以通过使用数值积分沿着流动的任何轨迹来解决问题。

由于$x^k$、$z^k$和$u^k$表示我们在$t=kh$时$x(t)$、$z(t)$和$u(t)$的近似值，其中$h>0$是步长，我们使用上式的离散化，由下式给出
$$\begin{gathered} \frac{x^{k+1}-x^k}{h}=-▽f(x^{k+1})-\rho (x^k-z^k+u^k) \\ \frac{z^{k+1}-z^k}{h}=-▽g(z^{k+1})-\rho (x^{k+1}-z^k+u^k) \\ \frac{u^{k+1}-u^k}{h}=\rho (x^{k+1}-z^{k+1}) \end{gathered}$$
与前向-后向分裂一样，我们在右侧做出非常具体的选择，即是否用$kh$(前向)或$(k+1)h$(后向)值替换每个时间参数$t$。选择$h=\lambda$和$\rho =1/\lambda$，这种离散化直接简化为ADMM近似形式。

定点迭代

ADMM可以看作是一个不动点迭代，用于寻找一个点$x^{\star }$满足最优性条件
$$0\in \partial f(x^{\ast })+\partial g(x^{\ast })$$
ADMM迭代的不动点$x,y,z$满足
$$x={\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_{\lambda f}(z-u),z={\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_{\lambda g}(x+u),u=u+x-z$$
从最后一个方程我们得出$x=z$，所以
$$x={\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_{\lambda f}(z-u),x={\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_{\lambda g}(x+u)$$
那么可重写为
$$x=(I+\lambda \partial f{)}^{-1}(x-u),x=(I+\lambda \partial g{)}^{-1}(x+u)$$
这与下式相同
$$x-u\in x+\lambda \partial f(x),x+u\in x+\lambda \partial g(x)$$
将这两个方程相加表明$x$满足最优性条件。因此，ADMM迭代的任何不动点满足$x=z$，$x$最优。ADMM迭代收敛到一个不动点可以用几种方法建立；一种方法是证明它等价于一个严格非扩张算子的迭代。

线性化ADMM

ADMM的变体对于解决这种形式的问题是有用的
$$minimizef(x)+g(Ax)$$
其中$f:R^n\to R\cup \{\infty \}$和$f:R^m\to R\cup \{\infty \}$是闭真凸函数，$A\in R^{m\times n}$。与标准ADMM中使用的形式的唯一区别是在第二项中矩阵A的存在。

这个问题可以用标准ADMM定义$\hat{g}(x)=g(Ax)$并最小化$f(x)+\hat{g}(x)$来解决。然而，这种方法需要评估$\hat{g}$的近端算子，这由于$A$的存在而变得复杂，即使$g$的近端算子易于评估。(在少数特殊情况下，${\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_{\hat{g}}$实际上很容易评估)线性化的ADMM算法只用$f$和$g$的近邻算子以及$A$和$A^T$的乘法来解决上述问题；特别是$g$和$A$是分开处理的。

线性化ADMM的形式如下
$$\begin{gathered} x^{k+1}:={\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_{\mu f}(x^k-(\mu /\lambda ))A^T(A{x}^k-z^k+u^k) \\ {z}^{k+1}:={\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_{\mu g}(A{x}^{k+1}+u^k) \\ {u}^{k+1}:=u^k+A{x}^{k+1}-z^{k+1} \end{gathered}$$
其中算法参数$\lambda$和$\mu$满足$0<\mu \le \lambda /{\Vert A\Vert }_2^2$。当$A=I$和$\mu =\lambda$时这就简化为标准ADMM。

起这个名字的原因如下。考虑问题
$$\begin{gathered} minimizef(x)+g(x) \\ subjecttoAx-z=0 \end{gathered}$$
这个问题的增广拉格朗日是
$$L_{\rho }(x,z,y)=f(x)+g(z)+y^T(Ax-z)+(\rho /2){\Vert Ax-z\Vert }_2^2$$
其中$y\in R^m$是对偶变量，$\rho =1/\lambda$。在线性化的ADMM中，我们通过用下式代替$(\rho /2){\Vert Ax-z\Vert }_2^2$进行x-update
$$\rho (A^{T}A{x}^k-A^T{z}^k{)}^{T}x+(\mu /2){\Vert x-x^k\Vert }_2^2$$
即，我们线性化二次项并增加新的二次正则化，结果可以表示为如上的近似算子。