最优化方法 23：算子分裂法 & ADMM

前面章节中，针对 $\min f(x)+g(Ax)$ 形式的优化问题，我们介绍了如 PG、dual PG、ALM、PPA 等方法。但是比如 PG 方法为
$$x_{k+1}={\text{prox}}_{th}(x_k-t_k\nabla g(x_k))$$
ALM 的第一步要解一个联合优化问题
$$(x^{k+1},y^{k+1})=\arg \underset{x,y}{\min }{L}_t(x,y,z^k)$$
他们都把 $f,g$ 耦合在一起了。如果我们看原始问题 $\min f(x)+g(Ax)$ 实际上就是要找 $x^{\star }$ 使得 $0\in \partial f(x^{\star })+A^T\partial g(x^{\star })$，这一节要介绍的 Douglas-Rachford splitting method 实际上就是要 decoupling。

1.Douglas-Rachford splitting Algorithm

针对如下优化问题，其中 $f,g$ 都是闭凸函数
$$\min f(x)+g(x)$$

先给出 DR-splitting 方法的迭代方程
$$\begin{array}{l}{x}_{k+1}={\mathrm{prox}}_f\left(y_k\right)\\ y_{k+1}=y_k+{\mathrm{prox}}_g\left(2x_{k+1}-y_k\right)-x_{k+1}\end{array}$$

为什么叫做 splitting 呢？回忆 PPA 是不是需要求解 $x^{+}={\text{prox}}_{t(f+g)}(x)$，而这里则可以分开依次求 ${\text{prox}}_f$ 和 ${\text{prox}}_g$，所以被称为 splitting。这个迭代方程看起来没有规律，那么他能不能收敛呢？答案当然是可以的，$x_k$ 最终会收敛到 $0\in \partial f(x)+\partial g(x)$，这个证明放到后面，先来从别的方面认识一下这个方法。

首先 $f,g$ 并没有区分，因此可以交换两者的位置，那么迭代方程也可以写为
$$\begin{array}{l}{x}_{k+1}={\mathrm{prox}}_g\left(y_k\right)\\ y_{k+1}=y_k+{\mathrm{prox}}_f\left(2x_{k+1}-y_k\right)-x_{k+1}\end{array}$$
但需要注意的是这两种不同的迭代方程产生的序列是不一样的，也可能会影响收敛的速度，因此这个方法关于 $f,g$ 是不对称的。

如果把 $x_{k+1}$ 带入到第二步，整个过程实际上可以用一个迭代方程表示
$$\begin{gathered} y_{k+1}=F(y) \\ F(y)=y+{\mathrm{prox}}_g\left(2{\mathrm{prox}}_f(y)-y\right)-{\mathrm{prox}}_f(y) \end{gathered}$$
这是个什么式子呢？不动点迭代(fixed-point iteration)！就是在找函数 $F(y)$ 的不动点。这个函数 $F(y)$ 是连续的吗？是的，这是因为上一节中我们证明了 ${\text{prox}}_h(x)$ 满足firmly nonexpansive(co-coercivite) 性质
$${\left({\mathrm{prox}}_h(x)-{\mathrm{prox}}_h(y)\right)}^T(x-y)\ge {\Vert {\mathrm{prox}}_h(x)-{\mathrm{prox}}_h(y)\Vert }_2^2$$
因此近似点算子是 Lipschitz continuous 的，所以 $F(y)$ 也是连续的。那么假如最终找到了不动点 $y$，他有什么性质呢？
$$\begin{gathered} y=F(y) \\ ⟺0\in \partial f\left({\mathrm{prox}}_f(y)\right)+\partial g\left({\mathrm{prox}}_f(y)\right) \end{gathered}$$
证明：对于不动点 $y=F(y)$，取 $x={\text{prox}}_f(y)$，我们有
$$\begin{array}{rl}x={\text{prox}}_f(y),& F(y)=y\\ ⟺x={\text{prox}}_f(y),& x={\text{prox}}_g(2x-y)\\ ⟺y-x\in \partial f(x),& x-y\in \partial g(x)\end{array}$$
其中第一个等价性只需要把 $x$ 带入到 $F(y)$ 中，由此我们就可以得到
$$0=(y-x)+(x-y)\in \partial f(x)+\partial g(x)$$
自然而然地我们证明了一开始提到的 $x_k$ 的收敛性。

等价形式：下面这部分则主要是对原始形式做了一些变量代换，使其看起来更简洁，并没有新的内容。首先交换 $x,y$ 的迭代次序
$$\begin{array}{l}{y}_{k+1}=y_k+{\mathrm{prox}}_g\left(2x_k-y_k\right)-x_k\\ x_{k+1}={\mathrm{prox}}_f\left(y_{k+1}\right)\end{array}$$
引入新变量 $u_{k+1}={\text{prox}}_g(2x_k-y_k),w_k=x_k-y_k$
$$\begin{array}{rl}{u}_{k+1}& ={\mathrm{prox}}_g\left(x_k+w_k\right)\\ x_{k+1}& ={\mathrm{prox}}_f\left(u_{k+1}-w_k\right)\\ w_{k+1}& =w_k+x_{k+1}-u_{k+1}\end{array}$$
放缩：除此之外，我们还可以对原始问题做一个放缩变为 $\min tf(x)+tg(x)$，那么迭代方程就变为如下形式，并没有本质的变化
$$\begin{array}{rl}{u}_{k+1}& ={\mathrm{prox}}_{tg}\left(x_k+w_k\right)\\ x_{k+1}& ={\mathrm{prox}}_{tf}\left(u_{k+1}-w_k\right)\\ w_{k+1}& =w_k+x_{k+1}-u_{k+1}\end{array}$$
松弛：前面降到了实际上是在对 $y$ 做不动点迭代，那么我们可以改为
$$y_{k+1}=y_k+{\rho }_k\left(F\left(y_k\right)-y_k\right)$$
如果 $1<{\rho }_k<2$ 就是超松弛，如果 $0<{\rho }_k<1$ 就是低松弛。这个时候迭代方程稍微复杂了一点点
$$\begin{array}{rl}{u}_{k+1}& ={\mathrm{prox}}_g\left(x_k+w_k\right)\\ x_{k+1}& ={\mathrm{prox}}_f\left(x_k+{\rho }_k\left(u_{k+1}-x_k\right)-w_k\right)\\ w_{k+1}& =w_k+x_{k+1}-x_k+{\rho }_k\left(x_k-u_{k+1}\right)\end{array}$$
共轭函数：根据 Moreau decomposition ${\text{prox}}_g(x)+{\text{prox}}_{g^{\star }}(x)=x$，如果 ${\text{prox}}_g$ 比较难计算，我们就可以换到共轭函数上去计算
$$\begin{array}{l}{x}_{k+1}={\mathrm{prox}}_f\left(y_k\right)\\ y_{k+1}=x_{k+1}-{\mathrm{prox}}_{g^{\ast }}\left(2x_{k+1}-y_k\right)\end{array}$$
下面举几个例子，主要就是练习近似点算子的计算，因为 DR-splitting 方法主要就是在计算 $f,g$ 的近似点。

例子 1：变量 $X\in S^n$，参数 $C\in S_{+}^n,\gamma >0$
$$\text{ minimize }\mathrm{tr}(CX)-\log \det X+\gamma \sum _{i>j}\left|X_{ij}\right|$$
我们取 $f(X)=\mathrm{tr}(CX)-\log \det X,g(X)=\gamma {\sum }_{i>j}\left|X_{ij}\right|$

$X={\text{prox}}_{tf}(\hat{X})⟺C-X^{-1}+(1/t)(X-\hat{X})$，这个方程可以通过对 $\hat{X}-tC$ 进行特征值分解求解

$X={\text{prox}}_{tg}(\hat{X})$ 可以通过软阈值(soft-thresholding)求解

例子 2：考虑等式约束的优化问题
$$\begin{array}{rl}\min & f(x)\\ \text{s.t.}& x\in V\end{array}$$
等价于 $g={\delta }_V$
$$\begin{array}{l}{x}_{k+1}={\mathrm{prox}}_g\left(y_k\right)\\ y_{k+1}=y_k+P_V\left(2x_{k+1}-y_k\right)-x_{k+1}\end{array}$$
例子 3：考虑这种复合形式 $\min f_1(x)+f_2(Ax)$，可以引入等式约束
$$\begin{array}{rl}\min & f_1(x)+f_2(y)\\ \text{s.t.}& Ax=y\end{array}$$
取 $f(x_1,x_2)=f_1(x_1)+f_2(x_2)$，他的近似点算子是可分的
$${\mathrm{prox}}_{tf}\left(x_1,x_2\right)=\left({\mathrm{prox}}_{t{f}_1}\left(x_1\right),{\mathrm{prox}}_{t{f}_2}\left(x_2\right)\right)$$
然后像例子 2 一样，向超平面 $[A,-I][x_1,x_2{]}^T=0$ 做个投影。

2. ADMM

交替方向乘子法(Alternating Direction Method of Multipliers)也是一个很重要而且很受欢迎的算法，下一节还会详细讲，这里主要是看看他与 DR-splitting 的联系。

这里还是先给出结论：DR-splitting 中取 ${\rho }_k=1$，应用在对偶问题上，就等价于原问题的 ADMM 算法。我们先推导对偶问题上的 DR-splitting 迭代形式，然后再引出 ADMM 方法。

对可分离的凸优化问题
$$\begin{array}{rl}(P)\min & f_1(x_1)+f_2(x_2)\\ \text{s.t.}& A_1{x}_1+A_2{x}_2=b\\ (D)\max & -b^{T}z-f_1^{\ast }\left(-A_1^{T}z\right)-f_2^{\ast }\left(-A_2^{T}z\right)\end{array}$$
取 $g(z)=b^{T}z+f_1^{\star }\left(-A_1^{T}z\right),f(z)=f_2^{\star }\left(-A_2^{T}z\right)$，DR 方法为
$$u^{+}={\mathrm{prox}}_{tg}(z+w),z^{+}={\mathrm{prox}}_{tf}\left(u^{+}-w\right),w^{+}=w+z^{+}-u^{+}$$
第一步：他等价于计算
$$\begin{array}{rl}{\hat{x}}_1& =\underset{x_1}{\mathrm{argmin}}\left(f_1\left(x_1\right)+z^T\left(A_1{x}_1-b\right)+\frac{t}{2}{\Vert A_1{x}_1-b+w/t\Vert }_2^2\right)\\ u^{+}& =z+w+t\left(A_1{\hat{x}}_1-b\right)\end{array}$$
这个证明很不直观，上一节分析 PPA 与 ALM 的关系的时候，证明了一个很不直观的结论：对 $h(z)=g^{\star }(z)+f^{\star }\left(-A^{T}z\right)$，有
$$\begin{array}{rl}{z}^{+}& ={\text{prox}}_{th}(z)=z+t(A\hat{x}-\hat{y})\\ (\hat{x},\hat{y})& =\underset{x,y}{\mathrm{argmin}}\left(f(x)+g(y)+z^T(Ax-y)+\frac{t}{2}\Vert Ax-y{\Vert }_2^2\right)\end{array}$$
第二步：与第一个式子是类似的，等价于
$$\begin{array}{l}{\hat{x}}_2=\underset{x_2}{\mathrm{argmin}}(f_2\left(x_2\right)+z^T{A}_2{x}_2+\frac{t}{2}{\Vert A_1{\hat{x}}_1+A_2{x}_2-b\Vert }_2^2\\ z^{+}=z+t\left(A_1{\hat{x}}_1+A_2{\hat{x}}_2-b\right)\end{array}$$
第三步：$w^{+}=t{A}_2{\hat{x}}_2$

现在我们就可以引出 ADMM 方法了，他包括三个步骤
$$\begin{array}{rl}{x}_{k+1,1}& =\underset{{\tilde{x}}_1}{\mathrm{argmin}}\left(f_1\left({\tilde{x}}_1\right)+z_k^T{A}_1{\tilde{x}}_1+\frac{t}{2}{\Vert A_1{\tilde{x}}_1+A_2{x}_{k,2}-b\Vert }_2^2\right)\\ x_{k+1,2}& =\underset{{\tilde{x}}_2}{\mathrm{argmin}}\left(f_2\left({\tilde{x}}_2\right)+z_k^T{A}_2{\tilde{x}}_2+\frac{t}{2}{\Vert A_1{x}_{k+1,1}+A_2{\tilde{x}}_2-b\Vert }_2^2\right)\\ z_{k+1}& =z_k+t\left(A_1{x}_{k+1,1}+A_2{x}_{k+1,2}-b\right)\end{array}$$
前两步分别对应了增广拉格朗日函数的两部分，分别对 $x_1,x_2$ 进行优化。与原本的 ALM 算法相比，ALM 是每次对 $(x_1,x_2)$ 进行联合优化，即
$$\begin{array}{r}(x_{k+1,1},x_{k+1,2})=\arg \underset{x_1,x_2}{\min }{L}_t(x_1,x_2,z_k)\\ z_{k+1}=z_k+t\left(A_1{x}_{k+1,1}+A_2{x}_{k+1,2}-b\right)\end{array}$$
另外我们前面还讲到了 dual PG 方法跟 ALM 也很像，也是增广拉格朗日函数先对 $x_1$ 优化再对 $x_2$ 优化，但注意他跟 ADMM 不同的地方在于：前者对 $x_1$ 优化的时候不包含后面的二次正则项，而 ADMM 则包含，写出来对比一下就知道了
$$\begin{array}{rl}(dualPG)\hat{x}& =\underset{x}{\mathrm{argmin}}\left(f(x)+z^{T}Ax\right)\\ \hat{y}& =\underset{y}{\mathrm{argmin}}\left(g(y)-z^{T}y+\frac{t}{2}\Vert A\hat{x}-y{\Vert }_2^2\right)\\ (ADMM)x_{k+1,1}& =\underset{{\tilde{x}}_1}{\mathrm{argmin}}\left(f_1\left({\tilde{x}}_1\right)+z_k^T{A}_1{\tilde{x}}_1+\frac{t}{2}{\Vert A_1{\tilde{x}}_1+A_2{x}_{k,2}-b\Vert }_2^2\right)\\ x_{k+1,2}& =\underset{{\tilde{x}}_2}{\mathrm{argmin}}\left(f_2\left({\tilde{x}}_2\right)+z_k^T{A}_2{\tilde{x}}_2+\frac{t}{2}{\Vert A_1{x}_{k+1,1}+A_2{\tilde{x}}_2-b\Vert }_2^2\right)\end{array}$$

3. 收敛性分析

DR 方法可以看成是一个不动点迭代，因此要证明收敛性，我们需要证明以下两个结论：

1. $y_k$ 收敛到 $F(y)$ 的不动点 $y^{\star }$
2. $x_{k+1}={\text{prox}}_f(y_k)$ 收敛到 $x^{\star }={\text{prox}}_f(y^{\star })$

在证明收敛性之前，需要先定义两个函数
$$\begin{array}{rl}F(y)& =y+{\mathrm{prox}}_g\left(2{\mathrm{prox}}_f(y)-y\right)-{\mathrm{prox}}_f(y)\\ G(y)& =y-F(y)\\ & ={\mathrm{prox}}_f(y)-{\mathrm{prox}}_g\left(2{\mathrm{prox}}_f(y)-y\right)\end{array}$$
需要用到的是这两个函数的 firmly nonexpansive(co-coercive with parameter 1) 的性质
$$\begin{array}{rl}(F(y)-F(\hat{y}){)}^T(y-\hat{y})& \ge \Vert F(y)-F(\hat{y}){\Vert }_2^2\text{ for all }y,\hat{y}\\ (G(y)-G(\hat{y}){)}^T(y-\hat{y})& \ge \Vert G(y)-G(\hat{y}){\Vert }_2^2\end{array}$$
证明：令 $x={\text{prox}}_f(y),\hat{x}={\text{prox}}_f(\hat{y})$，$v={\mathrm{prox}}_g(2x-y),\hat{v}={\mathrm{prox}}_g(2\hat{x}-\hat{y})$

根据 $F(y)=y+v-x,F(\hat{y})=\hat{y}+\hat{v}-\hat{x}$ 有
$$\begin{array}{l}(F(y)-F(\hat{y}){)}^T(y-\hat{y})\\ \ge (y+v-x-\hat{y}-\hat{v}+\hat{x}{)}^T(y-\hat{y})-(x-\hat{x}{)}^T(y-\hat{y})+\Vert x-\hat{x}{\Vert }_2^2\\ =(v-\hat{v}{)}^T(y-\hat{y})+\Vert y-x-\hat{y}+\hat{x}{\Vert }_2^2\\ =(v-\hat{v}{)}^T(2x-y-2\hat{x}+\hat{y})-\Vert v-\hat{v}{\Vert }_2^2+\Vert F(y)-F(\hat{y}){\Vert }_2^2\\ \ge \Vert F(y)-F(\hat{y}){\Vert }_2^2\end{array}$$
其中用到了 $\text{prox}$ 算子的firm nonexpansiveness 性质
$$(x-\hat{x}{)}^T(y-\hat{y})\ge \Vert x-\hat{x}{\Vert }_2^2,(2x-y-2\hat{x}+\hat{y}{)}^T(v-\hat{v})\ge \Vert v-\hat{v}{\Vert }_2^2$$
证毕。

然后我们就可以根据以下的不动点迭代方程证明前面提到的收敛性
$$\begin{array}{rl}{y}_{k+1}& =\left(1-{\rho }_k\right)y_k+{\rho }_{k}F\left(y_k\right)\\ & =y_k-{\rho }_{k}G\left(y_k\right)\end{array}$$
其中需要假设 $F$ 的不动点存在，且满足 $0\in \partial f(x)+\partial g(x)$，以及松弛变量 ${\rho }_k\in [{\rho }_{\min },{\rho }_{\max }],0<{\rho }_{\min }<{\rho }_{\max }<2$。

证明：设 $y^{\star }$ 为 $F(y)$ 的不动点（也即 $G(y)$ 的零点），考虑第 $k$ 步迭代
$$\begin{array}{rl}{\Vert y^{+}-y^{\star }\Vert }_2^2-{\Vert y-y^{\star }\Vert }_2^2& =2{\left(y^{+}-y\right)}^T\left(y-y^{\star }\right)+{\Vert y^{+}-y\Vert }_2^2\\ & =-2\rho G(y{)}^T\left(y-y^{\star }\right)+{\rho }^2\Vert G(y){\Vert }_2^2\\ & \le -\rho (2-\rho )\Vert G(y)){\Vert }_2^2\\ & \le -M\Vert G(y)){\Vert }_2^2\end{array}$$
其中 $M={\rho }_{\min }(2-{\rho }_{\max })$。上式表明
$$M\sum _{k=0}^{\infty }{\Vert G\left(y_k\right)\Vert }_2^2\le {\Vert y_0-y^{\star }\Vert }_2^2,\Vert G(y){\Vert }_2\to 0$$
还可以得到 $\Vert y_k-y^{\star }{\Vert }_2$ 是单调不增的，因此 $y_k$ 有界。

由于 $\Vert y_k-y^{\star }{\Vert }_2$ 单调不增，故极限 ${\lim }_{k\to \infty }\Vert y_k-y^{\star }{\Vert }_2$ 存在；又由于 $y_k$ 有界，故存在收敛子序列。

记 ${\bar{y}}_k$ 为一个收敛子序列，收敛值为 $\bar{y}$，根据 $G$ 的连续性有 $0={\lim }_{k\to \infty }G\left({\bar{y}}_k\right)=G(\bar{y})$，因此 $\bar{y}$ 是 $G$ 的l零点，且极限 ${\lim }_{k\to \infty }\Vert y_k-\bar{y}{\Vert }_2$ 存在。

接着需要证明唯一性，假设 $\bar{u},\bar{v}$ 是两个不同的极限点，收敛极限 ${\lim }_{k\to \infty }\Vert y_k-\bar{u}{\Vert }_2,{\lim }_{k\to \infty }\Vert y_k-\bar{v}{\Vert }_2$ 存在，因此
$$\Vert \bar{u}-\bar{v}{\Vert }_2=\underset{k\to \infty }{\lim }{\Vert y_k-\bar{u}\Vert }_2=\underset{k\to \infty }{\lim }{\Vert y_k-\bar{v}\Vert }_2=0$$
证毕。

最后给我的博客打个广告，欢迎光临
https://glooow1024.github.io/
https://glooow.gitee.io/

前面的一些博客链接如下
凸优化专栏
凸优化学习笔记 1：Convex Sets
凸优化学习笔记 2：超平面分离定理
凸优化学习笔记 3：广义不等式
凸优化学习笔记 4：Convex Function
凸优化学习笔记 5：保凸变换
凸优化学习笔记 6：共轭函数
凸优化学习笔记 7：拟凸函数 Quasiconvex Function
凸优化学习笔记 8：对数凸函数
凸优化学习笔记 9：广义凸函数
凸优化学习笔记 10：凸优化问题
凸优化学习笔记 11：对偶原理
凸优化学习笔记 12：KKT条件
凸优化学习笔记 13：KKT条件 & 互补性条件 & 强对偶性
凸优化学习笔记 14：SDP Representablity
最优化方法 15：梯度方法
最优化方法 16：次梯度
最优化方法 17：次梯度下降法
最优化方法 18：近似点算子 Proximal Mapping
最优化方法 19：近似梯度下降
最优化方法 20：对偶近似点梯度下降法
最优化方法 21：加速近似梯度下降方法
最优化方法 22：近似点算法 PPA
最优化方法 23：算子分裂法 & ADMM
最优化方法 24：ADMM