Nesterov 加速算法

梯度下降是我们在优化或者深度学习中经常要用到的算法，基于最原始的梯度下降算法，有很多加速算法被提出，今天我们着重介绍Nesterov 加速算法。

Nesterov 加速算法可以在理论上证明有比梯度下降更快的收敛率，本文不会重点介绍收敛率的证明，而是会通过一些推导从几何直观上给出为什么使用Nesterov 的技术可以对原来的算法起到加速的作用。

梯度下降

对于优化目标
$$\underset{x\in {\mathbb{R}}^n}{\min }f(x)$$
原始的梯度下降的方法是随机选取一个初始点 $x$，然后选取合适的步长按以下公式更新 $x$ ：
$$x^{k+1}=x^k-{\alpha }_k\nabla f\left(x^k\right)$$
可以证明当 $f$ 和 ${\alpha }_k$ 满足以下条件时：

• 设函数 $f(x)$ 为凸的梯度 $L$-利普希茨连续函数
• 极小值 $f^{\ast }=f\left(x^{\ast }\right)={\inf }_{x}f(x)$ 存在且可达.
• 如果步长 ${\alpha }_k$ 取为常数 $\alpha$ 且满足 $0<\alpha <\frac{1}{L}$

点列 $\left\{x^k\right\}$ 的函数值收敛到最优值, 且在函数值的意义下收敛速度为 $\mathcal{O}\left(\frac{1}{k}\right)$. 这里我们不做证明，具体证明可以参考这个PPT。

动量梯度下降

在梯度下降中添加动量的想法很简单，想想求凸函数最小值的梯度下降法是一个小球在下山的过程，添加动量就是将小球真的看做一个有质量的小球，每次除了向梯度方向移动，还要沿着原有方向移动一点，这样可以让梯度下降更加平稳地到达极小值点。
$$\begin{array}{rl}& d_k={\beta }_k{d}_{k-1}+\nabla f\left(x^k\right)\\ & x^{k+1}=x^k-{\alpha }_k{d}_k\end{array}$$

Nesterov 梯度下降

Nesterov 加速算法有很多种不同的表示方式，但基本是等价的，Nesterov算法的想法是在动量算法的基础上，${\alpha }_k{\beta }_k{d}_{k-1}$ 是无论如何都要走的距离，那我们就直接用走出去以后前方的梯度来代替动量算法中的当前梯度，更新公式如下：
$$\begin{array}{rl}& d_k={\beta }_k{d}_{k-1}+\nabla f\left(x^k-{\alpha }_k{\beta }_k{d}_{k-1}\right)\\ & x^{k+1}=x^k-{\alpha }_k{d}_k\end{array}$$
这里我们给出另一个版本的Nesterov加加速算法：
$$\begin{array}{rl}{y}^k& =\left(1-{\gamma }_k\right)x^{k-1}+{\gamma }_k{v}^{k-1}\\ v^k& =v^{k-1}-\frac{t_k}{{\gamma }_k}\nabla f\left(y^k\right)\\ x^k& =\left(1-{\gamma }_k\right)x^{k-1}+{\gamma }_k{v}^k\end{array}$$
整理后不难发现上式等价于：
$$\begin{array}{rl}{y}^k& =x^{k-1}+{\gamma }_k\left(\frac{1}{{\gamma }_{k-1}}-1\right)\left(x^{k-1}-x^{k-2}\right)\\ x^k& =y^k-t_k\nabla f\left(y^k\right)\end{array}$$
这与我们最初定义的Nesterov 算法等价，而且我们有当参数满足以下条件时，

$$\begin{array}{rl}& f\left(x^k\right)\le f\left(y^k\right)+⟨\nabla f\left(y^k\right),x^k-y^k⟩+\frac{1}{2t_k}{\Vert x^k-y^k\Vert }_2^2,\\ & {\gamma }_1=1,\frac{\left(1-{\gamma }_i\right)t_i}{{\gamma }_i^2}\le \frac{t_{i-1}}{{\gamma }_{i-1}^2},i>1,\\ & \frac{{\gamma }_k^2}{t_k}=\mathcal{O}\left(\frac{1}{k^2}\right).\end{array}$$

可以证明点列 $\left\{x^k\right\}$ 的函数值收敛到最优值, 且在函数值的意义下收敛速度为 $\mathcal{O}\left(\frac{1}{k^2}\right)$。 这里我们依然不做证明，具体证明细节可以参考Nesterov加加速算法。我们主要想要介绍的是从知觉上解释为什么使用Nesterov之后算法会变快，虽然算法中看到了前方的梯度后再更新参数，但是正常的动量算法走一步之后也可以看到类似的梯度，从直觉上并不能很好的理解为什么快。接下来我们会将算法变换形式，从而理解Nesterov其实是一种用到了梯度的二阶信息的算法，我认为这是一种更好的理解方式。下面分析的灵感来自比Momentum更快：揭开Nesterov Accelerated Gradient的真面目，但是也许比他的适用范围更广。

首先我们令 ${\beta }_k={\gamma }_{k+1}\left(\frac{1}{{\gamma }_k}-1\right)$ ，这样我们有：
$$\begin{array}{rlr}{y}^k& =x^{k-1}+{\beta }_{k-1}\left(x^{k-1}-x^{k-2}\right)& (1)\\ x^k& =y^k-t_k\nabla f\left(y^k\right)& (2)\end{array}$$
在 $(2)$ 式左右同时加 ${\beta }_k\left(x^k-x^{k-1}\right)$ 可以得到
$$y^{k+1}=y^k-t_k\nabla f\left(y^k\right)+{\beta }_k\left(x^k-x^{k-1}\right)$$
令
$$d_k=\nabla f\left(y^k\right)-\frac{{\beta }_k}{t_k}\left(x^k-x^{k-1}\right)(3)$$
这样我们有
$$y^{k+1}=y^k-t_k{d}_k$$
由 $(1)(2)(3)$ 我们有
$$\begin{array}{rl}{x}^k-x^{k-1}& ={\beta }_{k-1}\left(x^{k-1}-x^{k-2}\right)-t_k\nabla f\left(y^k\right)\\ & =-t_{k-1}\left[d_{k-1}-\nabla f\left(y^{k-1}\right)\right]-t_k\nabla f\left(y^k\right)(4)\end{array}$$
$(4)$ 带入 $(3)$ 我们有
$$\begin{array}{rl}{d}_k=& {\beta }_k\frac{t_{k-1}}{t_k}\cdot d_{k-1}+\nabla f\left(y^k\right)+\frac{{\beta }_k}{t_k}\left[t_k\nabla f\left(y^k\right)-t_{k-1}\nabla f\left(y^{k-1}\right)\right]\end{array}$$
可以看到这里面第一项就是动量，第二项是梯度，最后一项就是梯度的二阶信息。但是更令人困惑的是，虽然我们可以得到这样一个比较好看的形式，但是这确是 $y^k$ 的更新方式而不是我们得到的 $x^k$ ，虽然说后期步长比较短，$y^k$ 和 $x^k$ 比较接近，但是为什么 $y^k$ 有这样形式好的更新策略但是要用 $x^k$ ？

思考

• 迭代公式中 $y^k$ 是否同样有收敛率的保证，或者修改一些迭代条件后能否让 $y^k$ 有收敛率的保证？
• 在一些涉及对偶问题的算法中，对原始变量的更新是使用 $y^k$ 的，只是为了证明方便还是真的 $y^k$ 效果更好呢？
• 点赞过三后续继续更新硬核内容！