机器学习与控制：ADMM的ODE模型与基于Lyapunov的收敛分析

前言

机器学习与控制领域的结合研究最近得到很多研究者的关注，但是文献中的数学推导与讨论往往省略了很多细节与背景知识，本系列的文章主要基于最新文献，尝试复现并详化其中的数学推导与讨论，希望刚刚入门的同学也可以很容易地理解。也欢迎各位同学的批评指正，共同学习！

本文是机器学习与控制系列的第一篇文章，主要深入介绍交替方向乘子法 Alternating Direction Method of Multipliers（ADMM）算法的常微分方程 Ordinary Differential Equation（ODE）模型以及基于Lyapunov函数的收敛分析。优化算法的收敛速度分析往往比较复杂，而且没有统一的数学工具来分析。将优化算法转换为ODE方程，然后结合控制理论中简单的稳定性分析，我们可以很容易地得到算法的收敛速度。本文中我们将使用Lyapunov函数的方法来分析得到的ODE方程的稳定性，进而得出收敛速度。

本文主要分为一下几个部分，第一部分为ADMM背景介绍，简单介绍ADMM优化算法以及ODE建模优化算法的背景；第二部分主要介绍Lyapunov函数的背景知识；第三部分详细推导如何用ODE建模ADMM算法；最后通过Lypunov函数分析ADMM算法的收敛速度。有基础的同学可以跳着阅读。

注：本篇博文基于以下文献：ADMM and accelerated ADMM as continuous dynamical systems.[^1]

ADMM算法

假设我们考虑如下的优化问题：
$$\begin{gathered} {\text{min}}_{(x,z)\in R^n\times R^m}\{V(x,z):=f(x)+g(z)\} \\ \text{s.t.}z=Ax \end{gathered}$$

其中：

• $f$ 和 $g$ 均可导且为凸函数
• 矩阵 $A$ 列满秩
• $V(x,z):=f(x)+g(z)$
• $V(x,z):=f(x)+g(Ax)$

ADMM的迭代更新如下：
$$\begin{gathered} x_{k+1}={\text{arg min}}_{x}f(x)+\frac{\rho }{2}\Vert Ax-z_k+u_k{\Vert }^2,(1a) \\ {z}_{k+1}={\text{arg min}}_{z}g(x)+\frac{\rho }{2}\Vert A{x}_{k+1}-z+u_k{\Vert }^2,(1b) \\ {u}_{k+1}=u_k+A{x}_{k+1}-z_{k+1},(1c) \end{gathered}$$

其中$\rho >0$为惩罚参数，$u_k\in R^m$ 是约束条件 $z=Ax$ 的第 $k$ 个拉格朗日乘数估计。

Lyapunov函数

Lyapunov函数为控制理论中很重要的用来分析系统平衡点稳定性的工具。简单来说，我们针对某个系统构建Lyapunov函数 $\mathcal{E}(.)$（一个正定函数），然后对这个函数求导，如果 $\dot{\mathcal{E}}(.)\le 0$，那么我们可以说系统为Lyapunov稳定。这里如果我们将 Lyapunov函数看作是系统的能量函数，对能量函数求导并且其导数一直为负，则说明系统的能量是递减的，也就说明系统是稳定的。

我们考虑以下的一阶ODE系统模型：
$$\dot{Y}=F(Y,t),Y(t_0)=Y_0$$

首先定义系统的平衡点为 $Y^{\ast }$， $Y^{\ast }$ 满足 $F(Y^{\ast },t)=0$。我们分析系统的稳定性，即是针对系统的平衡点来分析，所以 Lyapunov函数也往往定义在包含 $Y^{\ast }$ 的一个开放集。下面的定理总结了如何应用 Lyapunov 函数来分析 $Y^{\ast }$ 的稳定性。

定理： 假设 $Y^{\ast }$ 为系统的平衡点，定义包含 $Y^{\ast }$ 的一个开放集 $\mathcal{O}$, 以及函数 $\mathcal{E}:\mathcal{O}\to R$，则我们有以下结论：
如果 $\mathcal{E}(.)$ 满足

• $\mathcal{E}(Y^{\ast })=0$      \quad \quad \quad \quad \quad \quad \quad \ \ \ \ \quad \qquad      $(L.1)$
• $\mathcal{E}(Y)>0\forall Y\in \mathcal{O}\setminus Y^{\ast }$     \quad \quad \ \ \ \qquad     $(L.2)$
• $\dot{\mathcal{E}}(Y)\le 0\forall Y\in \mathcal{O}\setminus Y^{\ast }$     \quad \quad \ \ \ \qquad     $(L.3)$

那么 $Y^{\ast }$ 稳定并且 $\mathcal{E}(.)$ 为 Lyapunov 函数。如果进一步我们有 $\dot{\mathcal{E}}(Y)<0\forall Y\in \mathcal{O}\setminus Y^{\ast }$ 那么 $Y^{\ast }$ 为渐进稳定并且 $\mathcal{E}(.)$ 为严格 Lyapunov 函数。

ADMM算法的ODE模型

我们将通过上式 $(1)$ 推导出ADMM的ODE模型，基于我们对函数 $f$ 和 $g$ 的假设 (i.e. $f$ 和 $g$ 为凸函数)，我们可以得出优化问题 (1a) 和 (1b) 为强凸问题 (strongly convex)。所以每一步的迭代 ($x_{k+1}$, $z_{k+1}$, $u_{k+1}$) 都是唯一的。通过 (1a) 和 (1b) 的最优条件 (即目标函数求导等于0)，我们可以得到 ($x_{k+1}$, $z_{k+1}$, $u_{k+1}$) 满足下面的代数方程：
$$\begin{gathered} \nabla f(x_{k+1})+\rho A^T(A{x}_{k+1}-z_k+u_k)=0,(2a) \\ \nabla g(x_{k+1})-\rho (A{x}_{k+1}-z_{k+1}+u_k)=0,(2b) \\ {u}_{k+1}-u_k-A{x}_{k+1}+z_{k+1}=0,(2c) \end{gathered}$$

将 (2b) 左乘 $A^T$, 并与 (2a) 相加，可以得到：
$$\nabla f(x_{k+1})+A^T\nabla g(x_{k+1})+\rho A^T(z_{k+1}-z_k)=0,(3)$$

假设 $t=\delta k$ 并且 $x_k=X(t)$, $z_k=Z(t)$, $u_k=U(t)$。

下面我们研究向量 $z_{k+1}$ 的第 $i$ 项：由于 $z_{k,i}=Z_i(t)$, 且 $t=\delta k$， 我们有：$z_{k+1,i}=Z_i(t+\delta )=Z_i(t)+\delta {\dot{Z}}_i(t+{\lambda }_i\delta )$，其中 ${\lambda }_i\in [0,1]$。这里我们应用中值定理得到 ${\dot{Z}}_i(t+{\lambda }_i\delta )$ 的形式。所以，当 $\delta$ 无限趋近于0时，我们有：
$$\underset{\delta \to 0}{\lim }\frac{z_{k+1,i}-z_{k,i}}{\delta }=\underset{\delta \to 0}{\lim }{\dot{Z}}_i(t+{\lambda }_i\delta )={\dot{Z}}_i(t)$$

$z_{k+1}$ 向量中的每一项都满足上式，所以 (3) 式中的第三项 $\rho A^T(z_{k+1}-z_k)$ 可以直接表示成 $A^T\dot{Z}(t)$，如果我们取 $\rho =1/\delta$。对于 (3) 式中的前两项，我们有：
$$\underset{\delta \to 0}{\lim }\nabla f(x_{k+1})+A^T\nabla g(x_{k+1})=\underset{\delta \to 0}{\lim }\nabla f(X(t+\delta ))+A^T\nabla g(Z(t+\delta ))=f(X(t))+A^T\nabla g(Z(t))$$

所以，对 (3) 式求极限 ($\delta \to 0$)，我们可以得到：
$$f(X(t))+A^T\nabla g(Z(t))+A^T\dot{Z}(t)=0,(4)$$

下面我们考虑式 (2c) 的第 $i$ 项：
$$\begin{gathered} 0=U_i(t+\delta )-U_i(t)-(AX{)}_i(t+\delta )+Z_i(t+\delta ) \\ =\delta {\dot{U}}_i(t+{\lambda }_i\delta )-(AX{)}_i(t+\delta )+Z_i(t+\delta ) \end{gathered}$$

对上式求极限 ($\delta \to 0$)，我们可以得到：
$$0=Z_i(t)-(AX{)}_i(t)$$

上式对向量中的每一项都满足，可得 $Z(t)=AX(t)$ 并且 $\dot{Z}(t)=A\dot{X}(t)$。注意到我们有 $V(x,z)=f(x)+g(z)$，我们有 $\nabla f(x)+A^T\nabla g(AX)=\nabla V(X)$。
所以式 (4) 可以表示为：
$$\nabla V(X)+A^{T}A\dot{X}(t)=0$$

基于假设，矩阵 $A$ 为列满秩矩阵 ($A^{T}A$ 可逆)，我们有：
$$\dot{X}(t)+(A^{T}A{)}^{-1}\nabla V(X)=0(5)$$

基于Lypunov函数的算法稳定性与收敛分析

本节我们将讨论通过选择合适的Lyapunov函数，我们可以证明ADMM算法的稳定性以及得到ADMM算法的收敛速度。

上节中我们得到了ADMM算法的ODE形式：
$$\dot{X}(t)+(A^{T}A{)}^{-1}\nabla V(X)=0$$

下面的定理给出了ADMM算法稳定性的结果：

定理： 假设 $X^{\ast }$ 为目标函数 $V(.)$ 的一个独立的局部最小点，(即存在集合 $\mathcal{O}\in R^n$ 使得 $X^{\ast }\in \mathcal{O}$，$\nabla V(X)=0,\forall X^{\ast }\in \mathcal{O}\setminus X^{\ast }$ )，我们有：
$$V(X)>V(X^{\ast })\forall X^{\ast }\in \mathcal{O}\setminus X^{\ast }$$

所以 $X^{\ast }$ 为ADMM算法ODE形式 (5) 的渐进稳定平衡点。

证明： 由于 $X^{\ast }$ 为 $V(.)$ 的一个最小点，由最优条件，我们可以得到 $\nabla V(x^{\ast })=0$，即 $X^{\ast }$ 为式 (5) 的一个平衡点。下面我们定义 Lyapunov 函数来证明 $X^{\ast }$ 为渐进稳定。考虑下面的 Lyapunov 函数：
$$\mathcal{E}(X)=V(X)-V(X^{\ast })$$

我们可以得到此函数满足对 Lyapunov 函数条件 $(L.1)$ 和 $(L.2)$：
$$\mathcal{E}(X^{\ast })=V(X^{\ast })-V(X^{\ast })=0\text{(}L.1)$$

$$\mathcal{E}(X)>V(X^{\ast })-V(X^{\ast })=0\text{(}L.2)$$

对 $\mathcal{E}(X)$ 求导，我们得到：
$$\dot{\mathcal{E}}(X)=\nabla V(X{)}^T\dot{X}=-(A^{T}A\dot{X}(t){)}^T\dot{X}=-(A^T\dot{X}(t){)}^{T}A\dot{X}=-\Vert A\dot{X}{\Vert }^2$$

因为我们假设 $X^{\ast }$ 为目标函数 $V(.)$ 的一个独立的局部最小点，所以如果 $X\in \mathcal{O}\setminus X^{\ast }$，我们有 $\nabla V(x)\ne 0$, 由式 (5) 以及对矩阵 $A$ 满秩的假设，我们可以得到 $\dot{X}(t)\ne 0$。 所以 $\mathcal{E}(X)$ 也满足 Lyapunov 函数的第三个条件 $(L.3)$:
$$\dot{\mathcal{E}}(X)<0\text{(}L.3)$$

从而我们证明了 $X^{\ast }$ 为ADMM算法ODE形式 (5) 的渐进稳定平衡点。

通过对动态系统 (5) 构造不同的 Lyapunov 函数，我们还可以研究 ADMM 算法的收敛速度，即目标函数需要多久可以收敛到最优值。比如，如果我们考虑下面的 Lyapunov 函数：
$$\mathcal{E}(X,t)=t[V(X)-V(X^{\ast })]+\frac{1}{2}\Vert A(X-X^{\ast }){\Vert }^2$$

很容易我们可以得到此函数满足对 Lyapunov 函数条件 $(L.1)$ 和 $(L.2)$：
$$\mathcal{E}(X^{\ast },t)=t[V(X^{\ast })-V(X^{\ast })]+\frac{1}{2}\Vert A(X^{\ast }-X^{\ast }){\Vert }^2=0\text{(}L.1)$$

$$\mathcal{E}(X,t)>t[V(X^{\ast })-V(X^{\ast })]+\frac{1}{2}\Vert A(X^{\ast }-X^{\ast }){\Vert }^2=0\text{(}L.2)$$

对 $\mathcal{E}(X,t)$ 求导，我们得到：
$$\begin{gathered} \dot{\mathcal{E}}(X,t)=t\nabla V(X{)}^T\dot{X}+V(X)-V(X^{\ast })+(X-X^{\ast }{)}^T(A^{T}A\dot{X}) \\ =-t\Vert A\dot{X}{\Vert }^2+V(X)-V(X^{\ast })+(X-X^{\ast }{)}^T\nabla V(X) \end{gathered}$$

上式中，我们有：$-t\Vert A\dot{X}{\Vert }^2\le 0$，由于 $V(X)$ 是凸函数，根据凸函数的定义，我们有：$V(X)-V(X^{\ast })+(X-X^{\ast }{)}^T\nabla V(X)\ge 0$。所以我们有：
$$\dot{\mathcal{E}}(X,t)\le 0$$

所以 $\forall t\ge t_0$，我们有 $\mathcal{E}(X,t)\le \mathcal{E}(X_0,t_0)$，根据 $\mathcal{E}(X,t) $ 的定义，可以得到：
$$V(X)-V(X^{\ast })=\frac{1}{t}\mathcal{E}(X,t)-\frac{1}{2t}\Vert A(X-X^{\ast }){\Vert }^2\le \frac{1}{t}\mathcal{E}(X,t)\le \frac{1}{t}\mathcal{E}(X_0,t_0)$$

所以，当我们假设目标函数为凸函数时，通过对 ADMM 算法的ODE形式构造合适的 Lyapunov 函数得到目标函数的收敛速度为 $O(1/t)$，这与 ADMM 算法的收敛速度 $O(1/k)$ 一致。

在 França, Robinson 和 Vidal 2018年的 ADMM 文章中，还对加速 ADMM (Accelerated ADMM) 进行了ODE建模，并通过构造 Lyapunov 函数了分析了该算法的稳定性和收敛速度。感兴趣的同学可以看看原始论文。

通过结合控制理论中已经发展很成熟理论 (Lyapunov 函数) 来研究优化算法的收敛性质最近收到越来越多人的关注，一方面是因为成熟的控制理论一定程度上简化了传统繁琐的证明过程。另一方面，通过对系统的深入分析，我们可以得到一系列优化算法的变种。由理论指导实践，我相信这将会是以后的一个重要的研究方向。

[1]: França, G., Robinson, D.P. and Vidal, R., 2018. ADMM and accelerated ADMM as continuous dynamical systems. arXiv preprint arXiv:1805.06579.