凸优化： 梯度下降、回溯线搜索（Backtracking line search）

凸优化： 梯度下降、回溯线搜索（Backtracking line search）

机器学习或强化学习的很多算法直接或间接地使用了最优化（Optimization）算法（如回溯线搜索、信赖域等）。例如，强化学习中引入信赖域方法产生了TPRO（Trust Region Policy Optimization）算法、在训练机器学习模型的过程中，求最小化损失函数时应用了线搜索的方法。为了更好的理解这些知识，本文主要对梯度下降和线搜索进行总结。

在最优化问题中，找函数f(x)的一个局部最小值 $x^{\ast }$ 有两种基本迭代方法：线搜索和信赖域。本质上它们的作用都是在优化迭代过程中从当前点找寻下一点。它们的最大区别是先确定步长还是先确定方向。线搜索（Line search）方法先确定方向再确定步长，而信赖域(Trust region)方法则先把搜索范围缩小到一个小的范围，小到能够用另一个函数（Model function）去近似目标函数（Objective function），然后通过优化这个model function来得到参数更新的方向及步长。

本文从凸优化问题中的无约束最小化问题引出线搜索。在凸优化问题中，无约束最小化问题（unconstrained minimization problem），数学描述为

$$minimizef(x)$$

其中函数f(x)是凸的，且二阶连续可微。

如果是只想了解线搜索、回溯线搜索，可以跳过下面的下降方法部分。

1 下降方法（Descent methods）

所有的无约束最小化算法都会生成一个最小化序列 $x^1,x^2,...,x^n$,其中，

$$x^{(k+1)}=x^{(k)}+t^{(k)}\Delta x^{(k)}$$

且 $t^{(k)}>0$ （除了当 $x^{(k)}$ 是最优时）。其中，$\Delta x^{(k)}$ 称为搜索方向或下降方向；k=0，1，2，…表示迭代次数。标量 $t^{(k)}>0$ 称为第k次迭代的步长（step size），上式称为下降更新。

注： 上述所谓最小化序列 $x^1,x^2,...,x^n$ 是指使f(x) 最小化的x的离散点。

所有的下降方法都有，

$$f(x^{(k+1)})<f(x^{(k)})$$

除了当 $x^{(k)}$ 是最优时（最优时 $\Delta x^{(k)}=0,x^{(k+1)}=x^{(k)}$）。

从凸函数性质可得，

$$\nabla f(x^{(k)})\Delta x^{(k)}<0$$

上式表明两者方向相反 $\Delta x^{(k)}=-\nabla f(x^{(k)})$ ，个人理解，如果梯度（ $\nabla f(x^{(}k))$）小于0，搜索方向沿增加x方向（即 $\Delta x^{(k)}>0$ ），反之亦然。如下图所示，

$\Delta x^{(}k)$ 的方向和 $\nabla f(x^{(k)})$ 的方向相反如下图所示，$\Delta x^{(}k)$ 和 $-\nabla f(x^{(}k))$ (梯度反方向) 构成锐角。我们把这个方向称为下降方向（descent direction）

一般下降方法算法如下：

上述算法很简单，第一步，找到下降方向，根据 $\nabla f(x^{(k)}\Delta x^{(k)}<0$ 这个条件来确定方向（其中 $\Delta x^{(k)}=-\nabla f(x^{(k)})$是可选的方向之一，这就是梯度下降的方向）；第二步，用线搜索（line search）找一个步长；第三步更新最小化序列。

若在上述算法中的第一步，下降方向选择 $\Delta x^{(k)}=-\nabla f(x^{(k)})$ ，即梯度方向，就成了梯度下降算法。可见梯度下降算法是一般下降算法的特殊情况，一般下降包括了梯度下降。 梯度下降方法算法如下：

上述两个算法采用线搜索或回溯线搜索（Backtracking line search）来选择搜索的步长。

2 线搜索（Line search）

线搜索方法先找一个下降方向（沿此下降方向时目标函数f(x)的值减小），然后计算步长来决定x沿着下降方向移动多远。其中，下降方向有各种各样的计算方法，如梯度下降、牛顿法、或拟牛顿法(Quasi-Newton Methods)。

线搜索分为精确线搜索（Exact line search）和不精确线搜索（inexact line search）。精确线搜索，顾名思义，每次迭代的目标都是找到使目标函数f(x)取得精确的最小值的点。不精确线搜索，就是不需要找到精确最小值，而是使目标函数满足了某个条件即可(如目标函数值下降了多少)，其中常见的条件有Wolfe条件（Wolfe conditions）和Goldstein条件（ Goldstein conditions）。线搜索有广泛的应用，如机器学习，博弈论及其他领域。

注：下面的内容主要来自Stephen Boyd&Lieven Vandenberghe的《Convex optimization》和Jorge Nocedal&Stephen J. Wright的《numerical optimization》。两本书在表示符号上存在差异：主要是步长和方向表示不一致，
$x_k+a_k{p}_k$
$x+t\Delta x$
上面两个式子都表示迭代更新，$a_k或t$ 表示步长， $p_k或\Delta x$ 表示方向。下文中会混合使用两种符号。

2.1 精确线搜索（Exact line search）

广义的说，线搜索法是一种迭代方法，用于使用多维非线性函数的梯度来找到该函数的局部最小值。一般地线搜索算法如下：

其中，第三步找到一个步长 $a_k>0$, 使得 $f(x_k+a_k{p}_k)<f(x_k)$ 。
在精确线搜索时，沿着射线{ $x_k+a_k{p}_k$ |$a_k>0$ } 找步长 $a_k$ 使f(x)最小化，即 $f(x_k+a_k{p}_k)<f(x_k)$ ，等价表示如下，

$$a_k=\underset{a_k>0}{\mathrm{argmin}}f(x_k+a_k{p}_k)\text{\hspace{1em}(2.1)}$$

在梯度下降算法中，上式中的下降方向就是梯度的反方向（具体见第一部分），即 $p_k=-\nabla f(x)$ ,为了与第一部分保持符号统一，上式中的步长 $a_k$ ，用t替换，得到梯度下降算法中的精确线搜索在每次迭代中沿梯度方向的步长t，

$$t=\underset{t>0}{\mathrm{argmin}}f(x-t\nabla f(x))\text{\hspace{1em}(2.2)}$$

梯度下降算法中的精确线搜索如下图所示，

精确线搜索实际用得比较少

设 $g(t)=f(x-t\nabla f(x))$ （即当方向确定时，变成了关于步长t的函数）,上式就是求g(t)的关于t的最小值。在梯度下降算法求f(x)的最小值过程中用到了精确线搜索来计算步长，而精确线搜索需要求g(t)的最小值。所以只有当单变量的最小化问题的计算成本比计算搜索方向的成本低时，才使用精确线搜索。因此，在实际应用中，用得比较多的是回溯线搜索。

2.2 回溯线搜索（Backtracking line search，BLS）

在介绍回溯线搜索之前，先介绍Wolfe conditions和 Goldstein conditions。

2.2.1 步长约束条件
在计算步长 $a_k$ 时,我们面临一个权衡：我们既想选择一个 $a_k$ 使得目标函数f大幅减小，但同时我们又不想花太多时间来选择 $a_k$ 。通俗的说就是存在一个矛盾：既想通过选择更多的 $a_k$ 来找到一个$a_k$使得目标函数f大幅减小，但是选择的次数太多又会影响效率。一个理想的选择是全局最小化单变量函数 $\varphi (.)$ ,其定义如下：

$$\varphi (a)=f(x_k+a{p}_k),a>0,\text{\hspace{1em}(2.3)}$$

但是，求式2.3的全局最小耗费的计算成本太高。更实际的做法是使用不精确线搜索来确定一个步长使得目标函数以最小的代价取得足够的减小。

我们可以对 $a_k$ 加一个简单的条件，即要求f减小：$f(x_k+a_k{p}_k)<f(x_k)$。但这个条件并不足够使函数收敛。因此，我们需要一个足够减小（sufficient decrease condition）的条件。

根据泰勒展开，

$$f(x_k+a_k{p}_k)=f(x_k)+a_k{p}_k^T\nabla f(x_k+t{a}_k{p}_k)\text{\hspace{1em}(2.4)}$$

从 $x_k$ 到下一个迭代 $x_{k+1}:=x_k+a_k{p}_k$ ,f减少得足够多。也就是式2.4中的 $a_k{p}_k^T\nabla f(x_k+t{a}_k{p}_k)$ 项是足够大的负数。观察易知，$a_k{p}_k^T\nabla f(x_k+t{a}_k{p}_k)$ 正比于 $a_k$ 和 $p_k^T\nabla f(x_k+t{a}_k{p}_k)$ 。同时，我们希望 $p_k^T\nabla f(x_k+t{a}_k{p}_k)$ 与 $p_k^T\nabla f(x_k)$ 相差不大，但我们又不能保证这点。因此，我们通过一个较小的参数 $0<c_1<1$ （通常 $c_1=10^{-4}$ ）来放宽这个假设，即

$$p_k^T\nabla f(x_k+t{a}_k{p}_k)\le c_1{p}_k^T\nabla f(x_k)\text{\hspace{1em}(2.5)}$$

也就是说，目标函数f减少的幅度至少是 $p_k^T\nabla f(x_k)$ 的一部分，根据下降方向假设，$p_k^T\nabla f(x_k)$ 是负的。

2.2.2 Armijo condition

结合式2.4和式2.5，步长 $a_k$ 要使目标函数f足够减小，可通过下面不等式衡量：
$$f(x_k+a{p}_k)\le f(x_k)+c_{1}a\nabla f_k^T{p}_k\text{\hspace{1em}(2.6)}$$

其中，$c_1\in (0,1)$ 。换而言之，f的减少应该同时正比于步长$a$ 和方向导数 $\nabla f_k^T{p}_k$ 。式2.6称为Armijo condition。式2.6的左边就是 $\varphi (a)=f(x_k+a{p}_k)$ ,右边记作 $l(a)=f(x_k)+c_{1}a\nabla f_k^T{p}_k$ 。足够减小的条件如下图所示，

上图中，$l(a)$ 的斜率是负数 $c_1\nabla f_k^T{p}_k$ ，但是因为 $c_1\in (0,1)$ ，所以 $l(a)$ 是略微向下倾斜但比较平缓的直线，对于比较小的正数$a$来说,虚线$l(a)$ 在实线$\varphi (a)$之上。显然高于虚线$l(a)$的部分不存在极小值。根据 $l(a)$ 和 $\varphi (a)$ 的大小，把 $a$ 分为可接受部分和不可接受部分。足够减小条件表明：当且仅当 $l(a)\ge \varphi (a)$ 时，a是可接受的。在实际应用中，$c_1$ 通常选得比较小， $c_1=10^{-4}$ ，即 $l(a)$ 比较平缓。

2.2.3 curvature condition

Armijo condition约束太简单了，以至于任意小的步长$a$都可以满足该条件。如果只是约束了f下降了足够多，我每次都移动很小的步长，这不可能得到最优解。为了排除不可接受的比较短的步长，我们进一步引入曲率条件（curvature condition）。

$f(x_k+a{p}_k)$与$f(x_k)$之间的减少量：

$$f(x_k+a{p}_k)-f(x_k)=a{p}_k^T\nabla f(x_k+ta{p}_k)\text{\hspace{1em}(2.7)}$$

如果步长 $a$ 比较小，则 $p_k^T\nabla f(x_k+a{p}_k)$ 与 $p_k^T\nabla f(x_k)$ 比较接近，同理，$p_k^T\nabla f(x_k+ta{p}_k)$ 也会接近 $p_k^T\nabla f(x_k)$ 。这不是我们想要的，因此我们设置 $c_1<c_2<1$ (通常 $c_2=0.9$) ,满足：

$$p_k^T\nabla f(x_k+a{p}_k)\ge c_2{p}_k^T\nabla f(x_k)\text{\hspace{1em}(2.8)}$$

上式表示 $p_k^T\nabla f(x_k+a{p}_k)$ 与 $p_k^T\nabla f(x_k)$ 之间存在一个固定部分的差异。满足上式约束的条件称为曲率条件。

对于 $c_2\in (c_1,1)$ ,其中 $c_1$ 来自式2.6。式2.8左边是 $\varphi (a_k)$ 的导数，即切线斜率，所以曲率条件确保 $\varphi$ 在 $a_k$ 处的斜率大于 $c_2$ 乘以起始点斜率 ${\varphi }^{{}^{\prime }}(0)$ 。这是说得通的，因为如果 ${\varphi }^{{}^{\prime }}(\alpha )$ 的斜率是负的且较陡，表明沿着所选方向继续移动，f能够大幅减小，在这里停止就错失了快速收敛的机会。相反，如果 ${\varphi }^{{}^{\prime }}({\alpha }_k)$ 仅仅是微小的负斜率或者甚至是正斜率，即下降比较平缓或出现开始增大附近，出现极小值的概率增大，表明在这个方向f不可能有更多的减小，因此终止搜索是合理的。曲率条件如下图所示，

其中，$c_2$ 一般取0.9（对于牛顿法和拟牛顿法）或0.1（对于非线性共轭梯度法）。从上图可以看出，desired slope比tangent要小一些，即没那么陡，这是因为desired slope= $c_2$ *tangent；而desired slope比Armijo condition中的 $l(a)$ 要陡一些，因为 $l(a)$ 的斜率等于 $c_1$ *tangent，而 $c_2$ *tangent > $c_1$ *tangent。

2.2.4 Wolfe conditions

把足够减小条件（Armijo condition）和曲率条件两个条件结合起来就是Wolfe conditions。把上面两个条件结合如下：

$$f(x_k+a{p}_k)\le f(x_k)+c_{1}a\nabla f_k^T{p}_k\text{\hspace{1em}(2.9a)}$$

$$p_k^T\nabla f(x_k+a{p}_k)\ge c_2{p}_k^T\nabla f(x_k)\text{\hspace{1em}(2.9b)}$$

其中，$0<c_1<c_2<1$

Wolfe conditions如下图所示：

从上图可以看出，Wolfe条件既保证了步长$a$使函数f取得足够的减少，又确保步长不会太短。

不难证明，对于平滑且有下界的任何函数f，总存在步长满足Wolfe conditions，具体参考《numerical optimization》Lemma3.1的证明。Wolfe conditions可被用于大部分的线搜索方法中，特别是在实现拟牛顿法时。

2.2.5 Goldstein conditions

类似Wolfe 条件，Goldstein 条件既确保步长$a$使函数f取得足够的减少但又不会太短。Goldstein条件同样使用一对不等式来表示，

$$f(x_k)+(1-c)a_k\nabla f_k^T{p}_k\le f(x_k+a_k{p}_k)\le f(x_k)+c{a}_k\nabla f_k^T{p}_k\text{\hspace{1em}(2.10)}$$

其中， $0<c<1/2$ 。上式中的第二个不等式是足够减小条件（式2.6）,而引入第一个不等式来控制步长，如下图所示：

从上图中可以看出，同Wolfe 条件相比，Goldstein 条件的一个缺点是式3.10的第一个等式可能避开了所有的最小值。然而Goldstein conditions和Wolfe conditions有很多的共同之处，及两者的收敛理论也很相似。Goldstein通常用于牛顿型方法，而不太适合拟牛顿方法。

2.2.6 回溯线搜索

回溯线搜索属于不精确线搜索，迭代过程中目标函数满足Armijo-Goldstein条件即可，Armijo-Goldstein条件是用来找一个合适的步长，使得目标函数 $f(x_k)$ 减少得足够多。Armijo-Goldstein条件如下：

$$f(x+t\Delta x)>f(x)+\alpha t\nabla f(x{)}^T\Delta x$$

其中,更新步长 $t=\beta t$ ,参数 0 < $\alpha$ <0.5， 0 < $\beta$ <1 。步长t从t=1开始更新，然后通过 $\beta$ 来减小t直到满足停止条件 $f(x+t\Delta x)\le f(x)+\alpha t\nabla f(x{)}^T\Delta x$ ,因此称为回溯。因为 $\Delta x$ 是下降方向，我们有 $\nabla f(x{)}^T\Delta x<0$ ，因此，对于t足够小时，有，

$$f(x+t\Delta x)\approx f(x)+t\nabla f(x{)}^T\Delta x<f(x)+\alpha t\nabla f(x{)}^T\Delta x$$

上式表明回溯线搜索最终会停止搜索。回溯的条件如下图所示，

从图中可以看出，当t在区间（0， $t_0$ ]时，回溯退出，不等式 $f(x+t\Delta x)\le f(x)+\alpha t\nabla f(x{)}^T\Delta x$ 成立，即 $t\le t_0$ 时，停止回溯。回溯线搜索会终止，当步长t满足：

$$t=1,ort\in (\beta t_0,t_0]$$

当步长t=1满足回溯条件时，如 $1\le t_0$ ,上述第一种情况会发生。特别地，我们可以通过回溯线搜索获得步长，当满足，

$$t\ge min\{1,\beta t_0\}$$

一般情况下，参数 $\alpha$ 的取值范围在0.01到0.3之间，表示我们接受目标函数减少的预测范围在1%到30%之间。参数 $\beta$ 取值范围在0.1到0.8之间。0.1对应非常粗略的搜索，0.8对应没那么粗略的搜索。

总之，回溯线搜索通过$t = \beta t $自适应地更新步长，从步长t=1开始， $t=\beta$ ，$t={\beta }^2$ ,…从大到小不断地缩小搜索步长，直到 $t\le t_0$ ，停止回溯。

回溯线搜索算法如下图：

本文到此就结束了，本人水平有限，难免有纰漏，欢迎指出。一个比较大的瑕疵就是：本文符号使用没有统一，增加了阅读苦难。

最后挖个坑，后面有时间整理信赖域（Trust Region）相关内容。

Reference：
1.Stephen Boyd&Lieven Vandenberghe《Convex optimization》
2.Jorge Nocedal&Stephen J. Wright《numerical optimization》
3.https://www.cs.cmu.edu/~ggordon/10725-F12/slides/05-gd-revisited.pdf
4.https://people.cs.umass.edu/~barna/2015-BigData/conv2.pdf
5.https://web.stanford.edu/class/ee364a/lectures/unconstrained.pdf
6.https://en.wikipedia.org/wiki/Line_search
7.https://en.wikipedia.org/wiki/Backtracking_line_search
2/slides/05-gd-revisited.pdf
4.https://people.cs.umass.edu/~barna/2015-BigData/conv2.pdf
5.https://web.stanford.edu/class/ee364a/lectures/unconstrained.pdf
6.https://en.wikipedia.org/wiki/Line_search
7.https://en.wikipedia.org/wiki/Backtracking_line_search
8.https://optimization.cbe.cornell.edu/index.php?title=Line_search_methods