分布式优化和去中心化优化概述

分布式优化和去中心化优化概述

陆嵩
中科院 数学与系统科学研究院 科学与工程计算国家重点实验室

简介

分布式系统的定义：组件分布在联网的计算机上，组件之间通过传递消息通信和动作协调的系统。通俗而言，分布式系统就是多台独立的计算机协同工作以完成任务。

分布式思想，使我们今天在人工智能、大数据、云计算、物联网、区块链等技术上得到了高速发展，尤其是对于物联网来说，分布式的理念显得极为重要。

下面一张图，很好地诠释了中心化和分布式的一个关系。

预备知识

优化基础理论

首先，我们需要用到一些优化的知识，可以参考我之前写的两篇文章。剩下的知识，下面会补充。
优化理论1
优化理论2

梯度下降方法（GD）

Gradient Descent

一般的梯度下降方法，我们写为：
$${\mathbf{x}}^{r+1}={\mathbf{x}}^r-{\alpha }_r{\mathbf{D}}^r\nabla f\left({\mathbf{x}}^r\right),r=0,1,\cdots$$
这里的 ${\mathbf{D}}^r$ 是一个 scaling 矩阵。它取为单位矩阵，就是最陡下降法（SD），取为 Hessian 矩阵的逆，就是牛顿方法。

一般人喜欢用最陡下降法：
$${\mathbf{x}}^{r+1}={\mathbf{x}}^r-{\alpha }_r\nabla f\left({\mathbf{x}}^r\right),r=0,1,\cdots$$

步长选取

一个重要的问题是，这里的步长怎么选。一个方法是去精确线搜索步长，即在搜索方向上选取是函数值最小的 $\alpha$，但是这个有一个问题，就是计算量很大，工业上一般不用的。

下面我给一个步长：
$${\mathrm{x}}^{r+1}={\mathrm{x}}^r-\frac{1}{L}\nabla f\left({\mathrm{x}}^r\right)$$
理论上能证明，它能保证函数值的重复下降和算法收敛到一个局部极值：
$$f\left({\mathrm{x}}^{r+1}\right)\le f\left({\mathrm{x}}^r\right)-\frac{1}{2L}{\Vert \nabla f\left({\mathrm{x}}^r\right)\Vert }^2$$

这里的 $L$ 是 ${\nabla }^{2}f(\mathbf{x})$ 特征值的一个界，

$${\nabla }^{2}f(\mathbf{x})⪯L\mathbf{I}$$

换言之，它也是梯度的一个利普希茨常数。
$$\Vert \nabla f(\mathbf{x})-\nabla f(\mathbf{y})\Vert \le L\Vert \mathbf{x}-\mathbf{y}\Vert ,\forall \mathbf{x},\mathbf{y}\in {\mathbb{R}}^n$$

事实上，这里的方向不一定取梯度下降方向，只要取和负梯度方向夹角为锐角的方向，这个步长也能保证收敛到一个稳定点。

收敛率

先给结论，梯度下降法是线性收敛到局部极值的，如果是凸函数，就是收敛到最小值。

我们可以用前后两步的误差比来定义收敛率。言外之意，就是后一步的误差是前一步误差的多少阶无穷小，如果是同阶无穷小，就是线性的，如果是高阶无穷小，就是超线性的，多少阶无穷小，就是多少次收敛。

令 $\left\{x_k\right\}$ 是 ${\mathbb{R}}^n$ 的一个序列，收敛到 $x^{\ast }$。

• Q-线性收敛说的是存在一个常数 $r\in (0,1)$，使得当 $k$ 充分大时，有：

$$\frac{\Vert x_{k+1}-x_{\ast }\Vert }{\Vert x_k-x^{\ast }\Vert }\le r$$

• Q-超线性收敛指的是，$p$ 是大于 1 的常数，当 $k$ 充分大的时候：

$$\frac{\Vert x_{k+1}-x^{\ast }\Vert }{{\Vert x_k-x^{\ast }\Vert }^p}\le \beta$$

• Q-二次收敛指的是，存在一个常数 $M$，使得当 $k$ 充分大时，

$$\frac{\Vert x_{k+1}-x_{\ast }\Vert }{{\Vert x_k-x^{\ast }\Vert }^2}\le M$$

容易证明，对于强凸函数，GD 是线性收敛到最小值。收敛常数 $r=1-1/\text{cond}({\nabla }^{2}f)$。也就是说，Hessian 条件数越小，收敛的越快。

约束优化问题的拉格朗日乘数法

考虑约束优化问题，
$$\begin{array}{rl}\mathrm{minimize}& f(x)\\ \text{ s.t. }& h_i(x)=0,i=1,\cdots ,m\\ & g_j(x)\le 0,j=1,\cdots ,n\end{array}$$

它的拉格朗日乘数形式是，引入${\lambda }_i\ge 0\text{ ,}{\nu }_i\in \mathbb{R}$
$$L(x,\lambda ,\nu )=f(x)+\underset{\text{inequality constraints }}{\sum _{j=1}^n{\lambda }_j{g}_j(x)}+\underset{\text{equality constraints }}{\sum _{i=1}^m{\nu }_i{h}_i(x)}$$
这里，不等式约束前面的系数要大等于 0。

它的拉格朗日对偶是，取使 $L$ 取得最小的用引入参数来表示的 $x$，即，
$$L^{\ast }(\lambda ,\nu )=\underset{x\in X}{\inf }L(x,\lambda ,\nu )=\underset{x\in X}{\inf }f(x)+\sum _{j=1}^n{\lambda }_j{g}_j(x)+\sum _{i=1}^m{\nu }_i{h}_i(x)$$

那么，对偶问题就是，
$$\underset{\lambda ,\nu }{\max }{L}^{\ast }(\lambda ,\nu ),\text{ s.t. }\lambda \ge 0$$

这里的拉格朗日对偶是一个凸函数，即使 $f$ 是个非凸函数，这也就体现了求解对偶问题的优势所在。另外，$L^{\ast }(\lambda ,\nu )\le f^{\ast }$，即 $L^{\ast }$ 是 $f^{\ast }$的下界。

次梯度算法

次梯度是梯度的一个非可微推广，它是一个“梯度”集合，使得从某一点往附近走一个梯度步，比原来的函数值小。
$\partial f(x):=\{g\mid f(y)\ge f(x)+⟨g,y-x⟩,\forall y\}$

所谓的次梯度算法，就是用次梯度来替代原来梯度算法中的梯度，需要注意的是，次梯度算法不是一个下降算法。

假设 $T$ 是迭代次数，那么次梯度算法的收敛率是 $\mathcal{O}(1/\sqrt{T})$，远远差于梯度算法的收敛率 $\mathcal{O}(1/T))$。简单地说，目标函数越光滑，越凸，那么收敛速度就越快。

图谱理论基础

对于一张图，我们可以定义它的关联矩阵（incidence matrix） $A\in {\mathbb{R}}^{E\times M}$， $E,M$ 分别表示边数和点数。 它的每一行对应于每条边，每一列不为 0 的列标表示和这条边相连的节点的标号，值为 1 表示对应的是编号小的点，值为 -1 表示对应的是编号大的点。

用 $d$ 表示节点的度，我们可以定义图拉普拉斯矩阵：

$$\mathcal{L}:=P^{-1/2}{A}^{T}A{P}^{-1/2},\text{ with }P=\mathrm{diag}\left[d_1,\cdots ,d_M\right]$$

其实就是，
$$[\mathcal{L}{]}_{ij}=\{\begin{array}{ll}1& \text{ if }i=j\\ -\frac{1}{\sqrt{d_i{d}_j}}& \text{ if }(ij)\in \mathcal{E},i\ne j\\ 0& \text{ otherwise. }\end{array}$$

我们也经常看到没有标准化的图拉普拉斯算子：
$$\begin{array}{rl}L& :=A^{T}A\\ [L{]}_{ij}& =\{\begin{array}{ll}{d}_i& \text{ if }i=j\\ -1& \text{ if }(ij)\in \mathcal{E},i\ne j\\ 0& \text{ otherwise. }\end{array}\end{array}$$

那么，图拉普拉斯算子有一些性质。
$$[\mathcal{L}v{]}_i=\frac{1}{\sqrt{d_i}}\sum _{j:j\sim i}\left(\frac{v(i)}{\sqrt{d_i}}-\frac{v(j)}{\sqrt{d_j}}\right)$$
$$[Lv{]}_i=\sum _{j:j\sim i}(v(i)-v(j))$$
$$v^{T}Lv=\sum _{i\sim j}(v(i)-v(j){)}^2\ge 0$$

假设，$${\lambda }_0\le {\lambda }_1\le {\lambda }_2\le \cdots ,\le {\lambda }_M$$

是 $ \mathcal{L}$ 的特征值。${\lambda }_{\min }$是非零最小特征值。

那么我们可以定义谱隙(Eigengap)为：
$$\xi (\mathcal{L})={\lambda }_{\min }(\mathcal{L})/{\lambda }_M\le 1$$
某种意义上，它是矩阵条件数的倒数。

那么，对于图拉普拉斯矩阵，有如下的一些额外性质：

• $P^{1/2}1$ 是 $\mathcal{L}$ 的对应于 0 特征值的特征向量。
• ${\lambda }_1={\inf }_{f\perp P^{1/2}\underline{1}}\frac{{\sum }_{u\sim v}(f(u)-f(v){)}^2}{{\sum }_{v}f(v{)}^2{d}_v}$
• ${\sum }_i{\lambda }_i\le M$
• ${\lambda }_i\le 2,\text{ for all }i\le M$
• ${\lambda }_1\ge \frac{1}{D\times \mathrm{Vol}(G)}$，这里的$D$是图的最长路径，$\mathrm{vol}(G)={\sum }_{i=1}^M{d}_i$。

平均一致性问题

模型问题

好，有了一些预备知识，我们来看一下分布式优化的一些东西。考虑一个无约束多代理优化问题，

$${\mathrm{minimize}}_x\sum _{i=1}^m{f}_i(x)x\in {\mathbb{R}}^{}$$

这表示有 m 个代理节点，每个节点都有自己的一个优化目标函数，但是他们的优化变量 $x$ 是shared 的。

容易想到，如果我们用梯度下降方法（在分布式优化中叫做 DGD），因为每个 $f_i$ 的最优值点在不同的位置，我们很难找到一个 $x$，使得每个$\nabla f_i(x)=0$。这个后面还会提到。

梯度算法

考虑分布式的次梯度算法，

$$x_i(k+1)=\underset{\text{Consensus Step }}{\sum _{j=1}^m{w}_{ij}(k)x_j(k)}-\underset{\text{Subgradient Step }}{\alpha \times d_i(k)}$$

这里的一致性步骤，其实就把其他点的 $x_i$ 值做一个线性组合作为作为自身的 $x_i$ 值，注意到，这里的 $d_i$，其实还是一致性步骤之前对应的梯度值。写成矩阵的形式，其实就是，

$$x(k+1)=W(k+1)x(k)+\alpha \times d(k)$$

这里的 $W$其实是某种意义下的邻接矩阵，如果节点 $i$ 和节点 $j$ 有连接，那么$w_{ij}$（矩阵的第 $i$ 行第 $j$ 列）就大于零，否则等于零。这里也可以看到 $W$ 在迭代中可以是变化的。

收敛性结果

为了后续的分析，我们定义个转移矩阵，
$$\Phi (k,s)=W(k)W(k-1)\cdots W(s+1)W(s)$$

一个向量，非负且和为 1，那么我们称之为随机向量，如果矩阵的每一行是一个随机向量，我们称之为随机矩阵，如果随机矩阵的每一列都是随机向量，那么我们称之为双随机矩阵。

我们可以定义每一步的边集，
$$\xi (W(k))=\left\{(j,i)\mid w_{ij}(k)>0,i,j=1,\cdots ,m\right\}\text{ for all }k$$

这里我们需要对$W$做一些假设。
假设1：

• 双随机
• 正对角
• 存在$\eta >0$，当$w_{ij}>0$，则$w_{ij}\ge \eta$

假设2（保证连接足够频繁）：
存在一个正整数 $B$，对每一个 $k$ ，我们有图
$$G:=(\mathcal{N},\xi (W(kB))\cup \cdots \cup \xi (W((k+1)B-1)))$$
是全连接的。换言之，我们要让连接足够多，从而保证 $B$ 长度窗口内的图的合并是全连接的。

在这两个假设之下，考虑简单的情况，即目标函数的梯度是 $0$，迭代可以写成，

$$x(k+1)=W(k)\mathbf{x}(k),k=1,2,\cdots$$

那么迭代最后会收敛到每个分量都等于开始时迭代变量在分量上的平均值。而且收敛的速度非常快。更一般的情况，我们其实也可以证明 $\Phi (k,s)$ 收敛到平均$\bar{x}(0)$。转移矩阵收敛了，意味着算法其实就收敛了。有以下定理，

对于去中心化的梯度下降方法

凸问题的 DGD 算法

我们前面提到了，对于求解凸目标函数
$${\mathrm{minimize}}_x\sum _{i=1}^m{f}_i(x)x\in {\mathbb{R}}^{}$$
它的 DGD 算法，
$$x(k+1)=W(k+1)x(k)+\alpha \times d(k)$$
是很难刚好得到使得每个 $f_i$ 都是极值的 $x$ 的。这个在直觉上非常好理解，这种点可能就不存在。那么对目标函数求和的这个极小要怎么达到呢？

为了保证 DGD 算法的收敛，除了上述的假设 1、假设 2，我们还需要有假设 3：目标函数的次梯度是一致有界的，即

$$\Vert g\Vert \le L\text{ for all }g\in \partial f_i(x)$$

通过定义辅助变量以及观察方差等手段，我们最后可以证明如下的定理：

一些结论和讨论

也就是说，在一定的假设下（1 2 3），DGD 算法其实是收敛到解的一个领域。这使得后来有些人设计了一些算法，通过减少步长到 0 的方法，使得能够收敛到精确解，但是收敛速度是很慢的。除了减少步长，当然也有一些其他的方法，可以使解收敛到精确值，比如说 ADMM 方法 EXTRA 方法。

另外，上面提到的 DGD 收敛性分析只对凸问题，一些非凸问题上，也有人做了一些工作，在一定的假设之下， DGD 算法呢，在凸情形下能收敛到全局极小值，非凸问题能收敛到某个稳定点。

凸问题的较新方法

ADMM（原始-对偶）

对偶上升

考虑问题
$$\begin{array}{ll}{\text{ minimize }}_x& f(x)\\ \text{ subject to }& Ax=b\end{array}$$
它的对偶上升其实就是利用梯度上升的方法求解它的对偶问题：
$$\begin{array}{l}{x}^{k+1}={\mathrm{argmin}}_x\left\{L\left(x,y^k\right)=f(x)+{\left(y^k\right)}^T(Ax-b)\right\}\\ y^{k+1}=y^k+{\alpha }^k\left(A{x}^{k+1}-b\right)\end{array}$$

对偶分解

考虑分布式的优化，对偶分解模型问题是把原来的目标函数，分解成几个目标函数的求和，是一个子问题：
$$\begin{array}{ll}{\text{ minimize }}_x& {\sum }_{i=1}^m{f}_i\left(x_i\right)\\ \text{ subject to }& Ax=b\end{array}$$

那么我们再用对偶上升的方法，其实会发现，原来的拉格朗日函数关于 $i$ 就是可分的，我们可以把对偶上升中，关于 $x$ 的最小化，分成若干个 $x_i$ 的最小化：
$$\begin{array}{rl}{\mathbf{x}}_i^{k+1}& =\underset{{\mathbf{x}}_i}{\mathrm{argmin}}\left\{L_i\left({\mathbf{x}}_i,{\mathbf{y}}^k\right)=f_i\left({\mathbf{x}}_i\right)+{\left({\mathbf{y}}^k\right)}^T{A}_i{\mathbf{x}}_i-(1/m){\left({\mathbf{y}}^k\right)}^{T}b\right\}\\ {\mathbf{y}}^{k+1}& ={\mathbf{y}}^k+{\alpha }^k\left(A{\mathbf{x}}^{k+1}-b\right)\end{array}$$

增广拉格朗日方法

上面提到的对偶方法，有个好处就是可以梯度下降步，分成 $m$ 个梯度下降，缺点在于需要目标函数的强凸性，才能保证算法的收敛。如果不是强凸的，只是凸的，怎么办？可以总增广拉格朗日方法。

同样是的问题，多了个一个惩罚项，
$$\begin{array}{ll}{\text{ minimize }}_x& f(x)+\frac{\rho }{2}\Vert Ax-b{\Vert }^2\\ \text{ subject to }& Ax=b\end{array}$$

同样利用对偶上升，得到
$$\begin{array}{r}{\mathbf{x}}^{k+1}=\underset{\mathbf{x}}{\mathrm{argmin}}\{\underset{\text{Augmented Lagrangian }}{L_{\rho }\left(\mathbf{x},{\mathbf{y}}^k\right)=f(\mathbf{x})+{\left({\mathbf{y}}^k\right)}^T(A\mathbf{x}-b)+\frac{\rho }{2}\Vert A\mathbf{x}-b{\Vert }^2\}}\\ {\mathbf{y}}^{k+1}={\mathbf{y}}^k+{\alpha }^k\left(A{\mathbf{x}}^{k+1}-b\right)\end{array}$$

可以看到，这里就不能分解每一步的求最小值了。

ADMM 及其收敛性

交替方向乘子法，考虑的是两个凸的有各自的变量的函数求和作为目标函数，如果只有一个优化变量，是可以引入一个变量，根据约束强行凑成这种形式，
$$\begin{array}{l}{\text{ minimize }}_{x,z}f(x)+g(z)\\ \text{ subject to }Ax+Bz=c\end{array}$$
它的增广拉格朗日是，
$$L_{\rho }(\mathbf{x},\mathbf{z},\mathbf{y})=f(\mathbf{x})+g(\mathbf{z})+{\mathbf{y}}^T(A\mathbf{x}+B\mathbf{z}-c)+\frac{\rho }{2}\Vert A\mathbf{x}+Bz-c{\Vert }^2$$

同样，利用对偶上升的方法，得到 ADMM 的迭代，
$$\begin{array}{rl}{\mathbf{x}}^{k+1}& =\underset{\mathbf{x}}{\mathrm{argmin}}{L}_{\rho }\left(\mathbf{x},{\mathbf{z}}^k,{\mathbf{y}}^k\right)\\ {\mathbf{z}}^{k+1}& =\underset{\mathbf{z}}{\mathrm{argmin}}{L}_{\rho }\left({\mathbf{x}}^{k+1},\mathbf{z},{\mathbf{y}}^k\right)\\ {\mathbf{y}}^{k+1}& ={\mathbf{y}}^k+\rho \left(A{\mathbf{x}}^{k+1}+B{\mathbf{z}}^{k+1}-c\right)\end{array}$$

这个算法计算的消耗量是很大的，但很快收敛到一定的精度，要收敛到高精度很难。对大规模机器学习问题很够了，而且可以分布式地计算。

在以下两个假设之下，ADMM 在残差、目标函数、对偶变量的收敛性方面是有保证的。

• $f$ 和 $g$ 分别是扩展的实数函数${\mathbb{R}}^{n_x}\to \mathbb{R}\cup \{+\infty \}$和$g:{\mathbb{R}}^{n_z}\to \mathbb{R}\cup \{+\infty \}$，且是closed、proper和convex的。
• 拉格朗日函数$L_0(\mathbf{x},\mathbf{z},\mathbf{y})=f(\mathbf{x})+g(\mathbf{z})+{\mathbf{y}}^T(A\mathbf{x}+B\mathbf{z}-c)$有一个鞍点。

分布式 ADMM 算法

一提到分布式，我们的问题其实就变成了，

$${\mathrm{minimize}}_x\sum _{i=1}^m{f}_i(x)$$

为了用上提到的算法，我们有两种问题书写方式。

一个是中心化的分布式优化写法，一个节点负责收集它们的数据进行处理：
$${\mathrm{minimize}}_{x_1,\dots ,x_m,z}\sum _{i=1}^m{f}_i\left(x_i\right)\text{ subject to }{x}_i=z,i=1,\dots ,m$$

把它凑成 ADMM 模型问题的写法，就能得到 ADMM 步骤：
$$\begin{array}{rl}{\mathbf{x}}_i^{k+1}& =\underset{{\mathbf{x}}_i}{\mathrm{argmin}}{f}_i\left({\mathbf{x}}_i\right)+\frac{\rho }{2}{\Vert {\mathbf{x}}_i-{\mathbf{z}}^k+{\mathbf{u}}_i^k\Vert }^2\\ {\mathbf{z}}^{k+1}& =\frac{1}{m}\sum _{i=1}^m\left({\mathbf{x}}_i^{k+1}+{\mathbf{u}}_i^k\right)\\ {\mathbf{u}}_i^{k+1}& ={\mathbf{u}}_i^k+{\mathbf{x}}_i^{k+1}-{\mathbf{z}}^{k+1}\end{array}$$

去中心化的优化写法为：
$$\begin{array}{l}\text{ minimize }\left\{x_i\right\},\left\{z_{ij}\right\}{\sum }_{i=1}^m{f}_i\left(x_i\right)\\ \text{ subject to }{x}_i=z_{ij},x_j=z_{ij},\forall (i,j)\in \mathcal{A}\end{array}$$
这表示，相邻的节点的值，都等于同一个值（边上的值）。容易写成如下的标准 ADMM 模型问题表达：
$$\begin{array}{l}{\text{ minimize }}_{\mathbf{x},\mathbf{z}}f(\mathbf{x})+g(\mathbf{z})\\ \text{ subject to }A\mathbf{x}+B\mathbf{z}=0\end{array}$$
这里的 $g=0$，$A=\left[A_1;A_2\right]$，$B=\left[-I_{2E};-I_{2E}\right]$，$A_1,A_2$表示的是某个边（row）对应的第1个和第二个点的编号（column），细想一下就知道了。

写出它的增广拉格朗日函数，
$$L_{\rho }(\mathbf{x},\mathbf{z},\mathbf{y})=f(\mathbf{x})+{\mathbf{y}}^T(A\mathbf{x}+B\mathbf{z})+\frac{\rho }{2}\Vert A\mathbf{x}+B\mathbf{z}{\Vert }^2$$

进行如下的 ADMM 更新，
$$\begin{array}{l}x-\text{ update }:\nabla f\left(x^{k+1}\right)+A^T{y}^k+\rho A^T\left(A{x}^{k+1}+B{z}^k\right)=0\\ z-\text{ update }:B^T{y}^k+\rho B^T\left(A{x}^{k+1}+B{z}^{k+1}\right)=0\\ y-\text{ update: }{y}^{k+1}-y^k-\rho \left(A{x}^{k+1}+B{z}^{k+1}\right)=0\end{array}$$

当然，这里实际操作上有一些细节需要去思考的。

EXTRA和其他方法

对于凸问题，除了 ADMM 算法，还有一些别的现代化算法，比如EXTRA 算法、梯度追踪、梯度推进方法等。

EXTRA 算法可以参考这个链接：EXTRA算法。就不再细述了。

它的收敛性也是需要一些假设来保证的。别的凸优化算法就不再说了。

非凸问题方法

上面提到的 DGD，以及原始-对偶方法都是对于凸问题而言的，那么，对于非凸问题，他们的表现如何呢？

DGD（常步长和递减步长）

和对于凸问题一样，常数步长的 DGD 算法只能收敛到精确稳定点的一个小领域，在一些假设下，递减步长的 DGD 也是可以收敛到某个稳定点的。

对于递减步长，我们可以设计每次迭代的补充，加上一些假设，比如关于 $W$ 的一些假设，关于 $f$ 的一些假设等等，能保证算法收敛到稳定点。

这个事情比较繁琐，有兴趣的可以参考相关文献，不再细述。

另外需要提到的一点是，一般去中心化对应的方法，比中心化对应的方法，需要更强的假设，才能保证收敛。

原始-对偶方法

我们从简单的星网络（一个中心点连着其他点）开始考虑，
$$\begin{array}{c}\min {\sum }_{i=1}^m{g}_i\left(x_i\right)+h(x)\\ \text{ subject to }{x}_i=x,\forall i=1,\cdots ,m,x\in X\end{array}$$
这里的 $h(x)$ 可以看成是中心节点的目标函数。

它的增广拉格朗日函数可以写成，
$$L\left(\left\{x_k\right\},x;y\right)=\sum _{k=1}^K{g}_k\left(x_k\right)+h(x)+\sum _{k=1}^K⟨y_k,x_k-x⟩+\sum _{k=1}^K\frac{{\rho }_k}{2}{\Vert x_k-x\Vert }^2$$

然后，就可以在其上执行对于一致性问题的经典的 ADMM 算法，那么这个收敛性如何。

找一个例子试一下，你会发现，和凸问题不一样的是，它这里的收敛性是依赖于 $\rho$ 的，$\rho$ 太小，不收敛，$\rho$ 大了，可能收敛。

其实，在一定的假设之下（赘述繁琐，不再说了），可以保证其收敛性。

把星网络，推广到一般的分布式的情况，即考虑非凸的去中心化问题，
$$\min f(x):=\sum _{i=1}^m{g}_i\left(x_i\right)\text{ subject to }{x}_i=x_j,(i,j)\in E$$

往星网络的形式靠拢，引入$h$,
$$\underset{\left\{x_i\right\}}{\min }\sum _{i=1}^m{f}_i\left(x_i\right)+h_i\left(x_i\right)$$
$$Ax=0(\text{ consensus constraint })$$

这里的 $A$ 就是之前预备知识提到的关联矩阵。

我们考虑更一般的线性约束问题，
$$\underset{\mathbf{x}\in {\mathbb{R}}^m}{\min }f(\mathbf{x}),\text{ subject to }A\mathbf{x}=b$$

有所谓的近端原始对偶方法，以及增广拉格朗日算法等等。

和前面的讨论相同，在一些假设之下，这些算法是可以以次线性的速度收敛到稳定点的。

随机问题的方法

随机梯度下降方法（SGD）

这里的随机，不太是随机过程那个随机，更像是神经网络中，mini-batch 随机梯度下降的那个随机，随机有 sample 的含义。

它对于凸和非凸的问题，都有收敛性的保证，但收敛性比起 GD 需要更强的条件。

学过机器学习的都很了解 SGD 了，这里简单用期望形式简单描述一下。

考虑问题，
$$\begin{array}{ll}{\mathrm{minimize}}_x& F(\mathbf{x}):=\frac{1}{N}{\sum }_{i=1}^{N}f\left(\mathbf{x},\left\{{\mathbf{a}}_i,b_i\right\}\right)\\ \text{ subject to }& \mathbf{x}\in {\mathbb{R}}^n\end{array}$$

和神经网络的 loss function 类比，这里$F(x)$是我们要得到的模型，$\{a_i,b_i\}$ 是我们用来训练模型的数据，这里的 $N$，表示采用 $N$ 个数据点。如果采用的数据点足够均匀，那么，
$$F(\mathbf{x})={\mathbb{E}}_i\left[f\left(\mathbf{x},\left\{{\mathbf{a}}_i,b_i\right\}\right)\right]$$

随机梯度下降就是，
$${\mathbf{x}}^{r+1}={\mathbf{x}}^r-{\eta }^r{\mathbf{g}}^r$$

这里的 ${\mathbf{g}}^r$ 是 $\mathbb{E}\left[\nabla f\left({\mathbf{x}}^r,\xi \right)\right]$ 一个无偏估计。

去中心化随机梯度下降方法（DSGD or SDGD）

为什么要有分布式的随机梯度算法呢？因为现实中，往往计算节点的很多数据都是实时和在线的，我们往往拿步到全部数据，从而计算全导数。即使每个节点能拿到自己的全部数据，当计算节点很多的时候，要计算所有节点的全导数，这个计算量是巨大的。所以，我们再分布式优化中，更需要随机的梯度方法。

假设现在有 m 个节点，每个节点都有自己的模型，以及自己的好多好多个数据，那么，去中心化的随机问题就是，

minimize ${}_{x}F(x):={\sum }_{i=1}^m{\mathbb{E}}_{{\xi }_i}\left[g_i\left(x,{\xi }_i\right)\right]:={\sum }_{i=1}^m{f}_i(x)$
subject to $x\in {\mathbb{R}}^n$

对于每个节点，我们不取全部数据，而是有代表性地选取部分数据，来表示 $f_i$ 的一个无偏估计，那么，就是对应于分布式问题的随机梯度下降方法，算法描述如下：

理论上可以证明，在一些较强的条件假设下，对于分布式问题的 DSGD 算法是收敛的。

对于分布式问题，除了所谓的梯度下降算法，还有 $D^2$ 算法、随机梯度推进算法、基于梯度追踪的非凸随机去中心化算法等等，他们又很强的相关性，这里不再展开了。

分布式优化总结和展望

问题设定

考虑非凸分布式优化问题，
$$(\mathbf{P})\underset{\mathbf{w}\in {\mathbb{R}}^P}{\min }h(\mathbf{w})=\frac{1}{M}\sum _{i=1}^M{f}_i(\mathbf{w})$$

引入 $M$ 个局部变量，重建一致性问题，
$$\text{ (Q) }\underset{\mathbf{x}\in {\mathbb{R}}^{MP}}{\min }f(\mathbf{x})=\frac{1}{M}\sum _{i=1}^M{f}_i\left({\mathbf{x}}_i\right),\text{ s.t. }\mathbf{A}\mathbf{x}=0$$

这里的 $A$ 是关联矩阵，体现了网络的结构，每个节点只能和它的邻居进行通信。

凸问题方法

DGD 算法就是

$$\begin{array}{c}{\mathrm{x}}^{r+1}=\mathbf{W}{\mathbf{x}}^r-\alpha \nabla f\left({\mathbf{x}}^r\right)\\ {\mathbf{x}}_i^{r+1}={\sum }_{j\in {\mathcal{N}}_i}{\mathbf{W}}_{ij}{\mathbf{x}}_j^r-\alpha \nabla f_i\left({\mathbf{x}}_i^r\right)\end{array}$$

这里的 $W$ 是个随机矩阵，并且它的特征值模是被 1 绊住的。算法收敛到最优值的领域。

EXTRA 算法是，
$$\begin{array}{rl}{\mathrm{x}}^1& =\mathbf{W}{\mathbf{x}}^0-\alpha \nabla f\left({\mathrm{x}}^0\right)\\ {\mathrm{x}}^{r+2}& =(\mathbf{W}+\mathbf{I}){\mathrm{x}}^{r+1}-\mathbf{W}{\mathrm{x}}^r-\alpha \left(\nabla f\left({\mathrm{x}}^{r+1}\right)-\nabla f\left({\mathrm{x}}^r\right)\right)\end{array}$$

交替方向乘子法，是把问题写成下面这种形式，
$$\underset{\mathbf{x},\mathbf{z}}{\min }f(\mathbf{x})+g(\mathbf{z}),\text{ s.t. }\mathbf{A}\mathbf{x}+\mathbf{B}\mathbf{z}=0$$
这里的 $A,B$ 也体现了网络的拓扑结构。

如图所示例子，

增广拉格朗日函数为，
$$L(\mathrm{x},\mathrm{z},\lambda )=f(\mathrm{x})+⟨\lambda ,\mathrm{A}\mathrm{x}+\mathrm{B}\mathrm{z}⟩+\frac{c}{2}\Vert \mathrm{A}\mathrm{x}+\mathrm{B}\mathrm{z}{\Vert }^2$$

交替更新步骤是，

x update: $\nabla f\left({\mathbf{x}}^{r+1}\right)+{\mathbf{A}}^T{\lambda }^r+c{\mathbf{A}}^T\left(\mathbf{A}{\mathbf{x}}^{r+1}+\mathbf{B}{\mathbf{z}}^r\right)=0$
$\mathbf{z}$ update: ${\mathbf{B}}^T{\lambda }^r+c{\mathbf{B}}^T\left(\mathbf{A}{\mathbf{x}}^{r+1}+\mathbf{B}{\mathbf{z}}^{r+1}\right)=0$
$\lambda$ update: ${\lambda }^{r+1}-{\lambda }^r-c\left(\mathbf{A}{\mathbf{x}}^{r+1}+\mathbf{B}{\mathbf{z}}^{r+1}\right)=0$

非凸问题方法

这些简单的方法能不能迁移到非凸问题呢？有一些相关的工作。

原始-对偶方法考虑一致性的问题，
$$\text{ (Q) }\underset{\mathbf{x}\in {\mathbb{R}}^{MP}}{\min }f(\mathbf{x})=\frac{1}{M}\sum _{i=1}^M{f}_i\left({\mathbf{x}}_i\right),\text{ s.t. }\mathbf{A}\mathbf{x}=0$$

它的增广拉格朗日函数，
$$L(\mathbf{x},\lambda )=f(\mathbf{x})+⟨\lambda ,\mathbf{A}\mathbf{x}⟩+\frac{\rho }{2}\Vert \mathbf{A}\mathbf{x}{\Vert }^2$$

算法更新为，
$$\begin{array}{rl}{\mathrm{x}}^{r+1}=& \arg \underset{\mathrm{x}}{\min }\underset{\text{linearizes the entire AL function. }}{⟨\nabla f\left({\mathrm{x}}^r\right)+{\mathrm{A}}^T{\lambda }^r+\rho {\mathrm{A}}^T\mathrm{A}{\mathrm{x}}^r,\mathrm{x}-{\mathrm{x}}^r⟩}\\ & +\frac{\beta }{2}{\Vert \mathrm{x}-{\mathrm{x}}^r\Vert }^2+\frac{\rho {\lambda }_{\max }\left({\mathrm{A}}^T\mathrm{A}\right)}{2}{\Vert \mathrm{x}-{\mathrm{x}}^r\Vert }^2\\ {\lambda }^{r+1}=& {\lambda }^r+\rho {\mathrm{A}\mathrm{x}}^{r+1}\end{array}$$

它有如下的等价形式，
$${\mathbf{x}}^{r+1}=\left(\mathbf{I}-\alpha {\mathbf{A}}^T\mathbf{A}\right)\left(2{\mathbf{x}}^r-{\mathbf{x}}^{r-1}\right)-\alpha \left(\nabla f\left({\mathbf{x}}^r\right)-\nabla f\left({\mathbf{x}}^{r-1}\right)\right)$$

这里，如果我们选择 $\mathbf{W}=\mathbf{I}-\alpha {\mathbf{A}}^T\mathbf{A}$，就变成了 EXTRA 算法，
$${\mathbf{x}}^{r+1}=(\mathbf{I}+\mathbf{W}){\mathbf{x}}^r-\frac{1}{2}(\mathbf{I}+\mathbf{W}){\mathbf{x}}^{r-1}-\alpha \left(\nabla f\left({\mathbf{x}}^r\right)-\nabla f\left({\mathbf{x}}^{r-1}\right)\right)$$

如果我们令$\lambda \equiv 0$，就变成了 DGD 算法，
$${\mathbf{x}}^{r+1}=\underset{:=\mathbf{W}}{\left(\mathbf{I}-\alpha {\mathbf{A}}^T\mathbf{A}\right)}{\mathbf{x}}^r-\alpha \nabla f\left({\mathbf{x}}^r\right)$$

因为没有对偶步，更新极慢。

如果定义一个辅助变量，去追踪全局信息，就得到了梯度追踪算法（GT），
$$\begin{array}{l}{\mathbf{x}}^{r+1}=\mathbf{W}{\mathbf{x}}^r-\alpha {\mathbf{y}}^r\\ {\mathbf{y}}^{r+1}=\mathbf{W}{\mathbf{y}}^r+\nabla f\left({\mathbf{x}}^{r+1}\right)-\nabla f\left({\mathbf{x}}^r\right)\end{array}$$

它的等价形式是，
$${\mathbf{x}}^{r+1}=2\mathbf{W}{\mathbf{x}}^r-{\mathbf{W}}^2{\mathbf{x}}^{r-1}-\alpha \left(\nabla f\left({\mathbf{x}}^r\right)-\nabla f\left({\mathbf{x}}^{r-1}\right)\right)$$

当这个 $W$ 满足一定的条件，就变成了 EXTRA 算法。

几个算法的关系，可以用下图表示，

这些算法在网络非常大的情况下，收敛是很慢的，很多重要的网络信息被忽略了。如何追求一些最优速率的方法呢？这是一个深刻的问题。

复杂度下界

我们定义一个问题集 ${\mathcal{P}}_L^M$，
$$\underset{\mathbf{x}\in {\mathbb{R}}^{M}P}{\min }f(\mathbf{x})=\frac{1}{M}\sum _{i=1}^M{f}_i\left({\mathbf{x}}_i\right),\text{ s.t. }{\mathbf{x}}_i={\mathbf{x}}_k,\forall (i,k)\in \mathcal{E}$$
这里满足一些假设，

• 每个节点对应的目标函数的导数是利普希茨连续的，$$\Vert \nabla f_i\left({\mathrm{x}}_i\right)-\nabla f_i\left({\mathrm{z}}_i\right)\Vert \le L_i\Vert {\mathrm{x}}_i-{\mathrm{z}}_i\Vert ,\forall {\mathrm{x}}_i,{\mathrm{z}}_i\in {\mathbb{R}}^P,\forall i$$
• 函数 $f$ 有下界，${\min }_{x\in {\mathbb{R}}^{P\times M}}f(\mathbf{x})\ge \underline{f}$。

定义网络集 ${\mathcal{N}}_M$，它是一洗无向无权图的结合，$M$ 个顶点，$E$ 条变，每个点的度为 $d_i$。
正规化的图拉普拉斯算子是，
$$\mathcal{L}:=P^{-1/2}{A}^{T}A{P}^{-1/2},\text{ with }P=\mathrm{diag}\left[d_1,\cdots ,d_M\right]$$
$$[\mathcal{L}{]}_{ij}=\{\begin{array}{ll}1& \text{ if }i=j\\ -\frac{1}{\sqrt{d_i{d}_j}}& \text{ if }(ij)\in \mathcal{E},i\ne j\\ 0& \text{ otherwise. }\end{array}$$
谱间隙是，
$$\xi (\mathcal{L})={\underline{\lambda }}_{\min }(\mathcal{L})/{\lambda }_{\max }(\mathcal{L})\le 1$$

定义分布式的，一阶算法集 $\mathcal{A}$，

• 每次迭代一轮的信息交换，一轮的本地更新。
• 每个节点的输出是邻居集合的历史输出和梯度的一个线性组合
  $${\mathbf{v}}_i^r=\underset{\text{communication step }}{Q_i^r\left({\mathbf{x}}_i^r\right)},{\mathbf{x}}_i^{r+1}\in \underset{\text{computation step }}{W_i^r\left({\left\{{\left\{{\mathbf{v}}_j^r\right\}}_{j\in {\mathcal{N}}_i},\nabla f_i\left({\mathbf{x}}_i^t\right),{\mathbf{x}}_i^t\right\}}_{t=1}^r\right)}$$

我们用 $T$ 来表示迭代结果达到$ϵ$精度所用的次数。那么在一定条件下，我们有复杂度下界的估计，
$$T\ge \Omega \left(\frac{1}{\sqrt{\xi (\mathcal{L})}}\frac{1}{ϵ}\times U\times (f(0)-\underline{f})\right)$$

最优收敛率算法

有了复杂度下界估计，我们可以设计一些原始对偶算法，让迭代次数达到这个下界。Prox-PDA 算法达到了次最优。还有所谓的 xFILTER 算法。这些算法，往往和中心化的 GD 算法有个比较。

最近发展和开放性问题

分布式优化，最近的发展主要有几个例子：

• 经验风险最小化
• 更低样本复杂性的模型
• 随机分布式梯度下降方法
• 基于梯度追踪的随机方法
• 非凸问题优化
• 随机方差削减梯度方法（SVRG）
• 随机递归梯度算法（SARAH）

也有一些开放性的问题，待研究，譬如

• 流数据模型（数据在线输入）
• 不同的问题集。比如说，对简单的例子$f(\mathbf{x}):=x_1^3-x_2^3$，上述的算法都失效了。
• 更高阶解，目前大部分算法都是一阶的。
• 一致性问题之外，不考虑完全一致性问题，比如说数据可能被攻击。
• 其他问题。

联邦学习

联邦学习简介

联合学习旨在在本地节点中包含的多个本地数据集上训练算法，而无需明确交换数据样本。一般原则在于训练局部数据样本的局部模型，并以一定频率在这些局部节点之间交换参数，以生成所有节点共享的全局模型。

在联邦学习中，计算节点对数据具有绝对的控制权。中心服务器无法直接或间接操作计算节点上的数据，计算节点可以随时停止计算和通信，退出学习过程。参与联邦学习的计算节点可能是手机、平板等移动设备，这些设备因为用户的使用习惯，其所处的网络环境并不稳定，随时都可能与中心服务器断开连接。联邦学习中的计算节点可能分布在不同的地理位置，与中心服务器一般处于远程连接的状态，同时受不同设备网络带宽的影响，其通信代价要更高。在联邦学习中，并不能简单假设数据是独立同分布的，由于计算节点中的数据数据是独立产生的，他们往往表现出不同的分布特征（非独立同分布）。

它的应用程序分布在许多行业，包括国防，电信，物联网和制药，输入法预测，机器人控制。这当中存在一些问题，比如说数据不平衡（异步）、异步通信、隐私和安全。

联邦学习的系统结构一般可以画成如下图所示。

联邦学习算法

考虑 $N$ 个客户，客户 $i$ 有 $n_i$ 个本地数据构成的数据集$D_i$，
$$\underset{x}{\min }f(x)\triangleq \frac{1}{N}\sum _{i=1}^N{f}_i(x)\text{ where }{f}_i(x)\triangleq \frac{1}{n_i}\sum _{{\xi }_i\in {\mathcal{D}}_i}F\left(x;{\xi }_i\right)$$

来看一个算法描述。

简单地说，就是我们做迭代，每次迭代对每一个客户点我们都从 $D_i$ 中随机选取一些数据做梯度下降。每做 $Q$ 次迭代，我们就把所有的 $x_i$ 值做个平均，重置 $N$ 个客户点的值的 $x_i$ 都为这个平均值。可以看到，如果这里的 $Q=1$，就是前面提到的分布式的 SGD 算法。同样的，这里的随机选取变成取全部，就是 GD 算法。

FedAvg 算法收敛性分析

这个算法是好的算法吗？不是，如果一些条件不能满足，这个算法有可能会发散。这里说的条件，包括，

• 目标函数的光滑性
• 梯度的无偏估计
• 梯度方差的有界性
• 梯度的有界性

有很多关于保证这个算法收敛的一些研究，可能不同的假设条件，能对不同类型的目标函数有收敛性的保证，比如说，如果各个客户点的数据不是独立同分布的。

对于目标函数是凸且光滑的，那么我们选取一定的梯度下降步长，那么 GD 算法是收敛的。

这里的通讯效率也是可以量化的，怎么减少通信，也是一个非常重要的问题，包括步长的选取等等。大多数算法都不具有异构数据问题，但是 FedAvg 型算法有。