ADMM算法（交替方向乘子法）

有了前面标准Lagrangian乘子法与对偶上升法和增广Lagrangian法的基础，理解ADMM就容易了很多。本文主要来自张贤达《矩阵分析与优化（第二版）》4.7.4节。

ADMM算法

ADMM认为，在统计学与机器学习中，经常会遇到大尺度的等式约束优化问题，即$x\in {\mathbb{R}}^n$的维数$n$很大。如果$x$可以分解为几个子向量，即$x=(x_1,\cdots ,x_r)$，其目标函数也可以分解为：
$$\begin{gathered} f(x)=\sum _{i=1}^r{f}_i(x) \\ {x}_i\in {\mathbb{R}}^{n_i},\sum _{i=1}^r{n}_i=n \end{gathered}$$
则大尺度的优化问题可以转化为分布式优化问题。相应的，等式约束矩阵$Ax=b$也分块为：
$$A=[A_1,\cdots ,A_r],Ax=\sum _{i=1}^r{A}_i{x}_i=b$$
于是增广Lagrangian目标函数$L_{\rho }(x,\lambda )$可以写作：
$$L_{\rho }(x,\lambda )=\sum _{i=1}^r(f_i(x_i)+{\lambda }^T{A}_i{x}_i)-{\lambda }^{T}b+\frac{\rho }{2}\Vert \sum _{i=1}^r(A_i{x}_i)-b{\Vert }_2^2$$
所取的罚函数与增广Lagrangian乘子法中的仍相同。再采用对偶上升法，即可得到能进行并行运算的分散算法：
$$\begin{gathered} x_i^{k+1}=\underset{x_i\in {\mathbb{R}}^{n_i}}{\mathrm{argmin}}{L}_i(x_i,{\lambda }_k),i=1,\cdots ,r \\ {\lambda }_{k+1}={\lambda }_k+{\rho }_k(\sum _{i=1}^r{A}_i{x}_i^{k+1}-b) \end{gathered}$$
这里的$x_i$是可以独立更新的。由于$x_i$以一种交替的或序贯的方式进行更新，所以称为“交替方向”乘子法（ADMM算法）。

举个$r=2$的例子

$r=2$，则目标函数为：
$$\begin{gathered} \min f(x)+g(z) \\ s.t.Ax+Bz=c \end{gathered}$$
上式中，$x\in {\mathbb{R}}^n,z\in {\mathbb{R}}^m,A\in {\mathbb{R}}^{p\times n},B\in {\mathbb{R}}^{p\times m},c\in {\mathbb{R}}^p$。则增广Lagrangian目标函数为：
$$\begin{gathered} L_{\rho }(x,z,\lambda )=f(x)+g(z)+{\lambda }^T(Ax+Bz-c)+\frac{\rho }{2}\Vert Ax+Bz-c{\Vert }_2^2 \\ \text{\hspace{1em}(1)} \end{gathered}$$
上式的交替方向乘子法的更新公式为：
$$\begin{gathered} x_{k+1}=\underset{x\in {\mathbb{R}}^n}{\mathrm{argmin}}{L}_{\rho }(x,z_k,{\lambda }_k) \\ {z}_{k+1}=\underset{z\in {\mathbb{R}}^m}{\mathrm{argmin}}{L}_{\rho }(x_{k+1},z,{\lambda }_k) \\ {\lambda }_{k+1}={\lambda }_k+{\rho }_k(A{x}_{k+1}+B{z}_{k+1}-c) \end{gathered}$$

误差分析与停止条件

公式$(1)$的最优化条件分为原始可行性：
$$Ax+Bz-c=0$$
和对偶可行性：
$$\begin{gathered} 0\in \partial f(x)+A^T\lambda +\rho A^T(Ax+Bz-c)=\partial f(x)+A^T\lambda \\ 0\in \partial f(x)+B^T\lambda +\rho B^T(Ax+Bz-c)=\partial g(z)+B^T\lambda \\ \text{\hspace{1em}(2)} \end{gathered}$$
根据我的企业级理解，这原始和对偶可行性关系分别是等式约束成立和偏导为0，是从KKT条件来的，都是必要条件。不过书里没有明确指出是或者不是。
关于推导，这里用的是$0\in$而不是$0=$，这是什么企业级逻辑我没弄懂，不过我觉得不影响理解，意思差不多。书上这里求导有问题，疑似纰漏，我改成了公式$(1)$的正确的求导结果，这样也和后文更对的上。要记得，公式$(1)$中向量$Ax+Bz-c$二范数平方的一阶导等于向量的二倍，再乘一个系数$A^T$，就可以得到这个结果。求导法则可以参考我的这篇总结。再加上$Ax+Bz-c=0$的约束，就能推导下来了。

在迭代的过程中，原始可行性不可能完全满足，设其误差为：
$$r_k=A{x}_k+B{z}_k-c$$
称为第$k$次迭代的原始残差（向量），这样Lagrangian乘子向量的更新可以用这个残差重写为：
$${\lambda }_{k+1}={\lambda }_k+{\rho }_k{r}_{k+1}$$
同样，对偶可行性也不会完全满足：
$$\begin{gathered} 0\in \partial f(x_{k+1})+A^T{\lambda }_k+\rho A^T(A{x}_{k+1}+B{z}_k-c) \\ =\partial f(x_{k+1})+A^T[{\lambda }_k+\rho (A{x}_{k+1}+B{z}_{k+1}-c)+\rho B(z_k-z_{k+1})] \\ =\partial f(x_{k+1})+A^T[{\lambda }_k+\rho r_{k+1}+\rho B(z_k-z_{k+1})] \\ =\partial f(x_{k+1})+A^T{\lambda }_{k+1}+\rho A^{T}B(z_k-z_{k+1}) \end{gathered}$$
注意，由于书上公式$(2)$求导是错的，所以这一步更别扭，怎么看都不对劲，这里我也改成了我认为的正确的推导形式。
对照公式$(2)$中的第一个式子可知对偶残差为：
$$s_{k+1}=\rho A^{T}B(z_k-z_{k+1})$$
交替方向乘子法的停止条件就是两个残差都小于阈值：
$$\Vert r_{k+1}{\Vert }_2\le {\epsilon }_{pri}and\Vert s_{k+1}\Vert \le {\epsilon }_{dual}$$

缩放形式的ADMM

令$v=(1/\rho )\lambda$为经过$1/\rho$缩放的Lagrangian乘子向量，则更新公式变为：
$$\begin{gathered} x_{k+1}=\underset{x\in {\mathbb{R}}^n}{\mathrm{argmin}}{L}_{\rho }(x,z_k,v_k) \\ {z}_{k+1}=\underset{z\in {\mathbb{R}}^m}{\mathrm{argmin}}{L}_{\rho }(x_{k+1},z,v_k) \\ {v}_{k+1}=v_k+A{x}_{k+1}+B{z}_{k+1}-c=v_k+r_{k+1} \end{gathered}$$
其第$k$次迭代的残差$r_k$为：
$$r_k=A{x}_k+B{z}_k-c=v_0+\sum _{i=1}^k{r}_i$$
即，第$k$次迭代的缩放对偶向量是所有$k$次迭代的原始残差之和。这种方法称为有缩放的交替方向乘子法。

最后，个人认为，不论是对偶上升法，增广Lagrangian乘子法，还是ADMM算法，核心思想都相似，而且具体使用时都要与其他最优化方法结合，因为$\mathrm{argmin}L(x,z,\lambda )$的求解是还需要别的方法的，停止条件需要根据使用环境具体再去确定。