机器学习基础 5：无约束最优化方法——线搜索

泰勒级数

在开始介绍优化方法之前，我们先介绍一些基础知识
$$f(x)=\frac{f(\mathbf{a})}{0!}+\frac{f^{\prime }(\mathbf{a})}{1!}(x-\mathbf{a})+\frac{f^{\prime \prime }(\mathbf{a})}{2!}(x-\mathbf{a}{)}^2+...+\frac{f^n(\mathbf{a})}{n!}(x-\mathbf{a}{)}^n+R_n(x)$$

  泰勒公式是一个用函数在某点的信息描述其附近取值的公式。上面这个公式，描述了函数$f(x)$在$\mathbf{a}$ 点附近的取值情况。如果函数足够光滑的话，在已知函数在某一点的各阶导数值的情况之下，泰勒公式可以用这些导数值做系数构建一个多项式来近似函数在这一点的邻域中的值。
  泰勒公式就是把一个函数展开成具有任意多项幂级数方便计算任意函数的值（这使得计算机能得出自己想要的精度的值）且可以人为控制误差范围。
  泰勒公式还给出了这个多项式和实际的函数值之间的偏差。

一维搜索 / 线搜索 (linear search)

  线搜索是最优化（Optimization）算法中的一个基础步骤/算法。它可以分为精确的一维搜索以及不精确的一维搜索两大类。

原理

  线搜索是一种迭代的求得某个函数的最值的方法。 对于每次迭代, 线搜索会计算得到搜索的方向 $p_k$以及沿这个方向移动的步长 $a_k$。
 

搜索方向

  大多数的线搜索方法都会要求 $p_k$ 是下降方向(descent direction), 亦即需要满足以下条件: $p_k^T\nabla f_k<0$，这样就能够保证函数 $f(x)$ 沿着这个方向是下降的。 一般来说, 搜索方向是：

$$p_k=-B_k^{-1}\nabla f_k$$

  其中$B_k$是一个对称非奇异矩阵：

• 在最深下降(steepest descent)方法中， $B_k$是单位矩阵$I$
• 在牛顿方法(Newton)中，$B_k$则是海森(Hessian)矩阵${\nabla }^{2}f(x_k)$
• 在Quasi-Newton方法中，则是一个通过迭代求得的Hessian矩阵的近似矩阵

  当$p_k$由上式定义, 且$B_k$是正定矩阵时：
$$p_k^T\nabla f_k=-\nabla f_k^T{B}_k^{-1}\nabla f_k<0$$

搜索步长

  步长 $\alpha$ 应该最小化下面的函数：
$$\varphi (\alpha )=f(x_k+\alpha p_k)$$
  但是求得使上式最小的 $\alpha$ 比较困难, 且计算量比较大， 实际常用的方法是在可接受的计算量的情况下尽可能的求得较大的步长， 以使得 $\varphi (\alpha )$ 尽可能的降低。
  经典的线搜索方法通过迭代来求得$\alpha$， 直至达到某个停止条件。一般的线搜索方法都包含以下两个步骤：

• bracketing：求得一个包含理想的步长的区间
• 二分法或者插值法： 在这个区间内使用二分法或者插值法来求得步长

分类

  使用导数的优化算法都涉及到沿优化方向${\mathbf{d}}_k$的一维搜索。事实上一维搜索算法本身就一个非常重要的课题，分为精确一维搜索以及非精确一维搜索。标准的拟牛顿法或L-BFGS均采用精确一维搜索。与前者相比，非精确一维搜索虽然牺牲了部分精度，但是效率更高，调用函数的次数更少。因此 Li-Fukushima方法和Xiao-Wei-Wang方法中均采用了这类算法。不加证明的，
  本节分别给出两类范畴中各自的一个应用最为广泛的例子， 分别是二点三次插值方法和Wolfe-Powell准则。

   精确线搜索：二点三次插值

  在精确一维搜索各种算法中，这种方法得到的评价最高。其基本思想是：

  选取两个初始点 $x_1$和$x_2$，为了保证了在区间$(x_1,x_2)$中存在极小点，需要满足以下条件：

• $x_1$ < $x_2$
• $f^{{}^{\prime }}(x_1)$ < $0$
• $f^{{}^{\prime }}(x_2)$ > $0$

  利用这两点处的函数值$f(x_1)$、$f(x_2)$和导数值$f^{{}^{\prime }}(x_1)$、$f^{{}^{\prime }}(x_2)$构造一个三次多项式 $\phi (x)$，使得$\phi (x)$在$x_1$和$x_2$处与目标函数$ f(x) $有相同的函数值和导数值：
$$\phi (x)=a(x-x_1{)}^3+b(x-x_1{)}^2+c(x-x_1)+d$$
  通过4个边界条件可以完全确定4个参数$a$、$b$、$c$、$d$。之后找出${\phi }^{{}^{\prime }}(x)$的零点$x^{{}^{\prime }}$，作为极小点的一个进一步的估计。可以证明，由$x_1$出发，最佳估计值的计算公式为：
$$x^{{}^{\prime }}=x_1+\frac{-c}{b+\sqrt{b^2-3ac}}$$
记$f_1=f(x_1)$、$f_2=f(x_2)$、$f_1^{{}^{\prime }}=f^{{}^{\prime }}(x_1)$、$f_2^{{}^{\prime }}=f^{{}^{\prime }}(x_2)$，则具体算法步骤如下：

1. 给定初始点$x_1、x_2$，满足 $f_1^{{}^{\prime }}>0、f_2^{{}^{\prime }}>0$；给定允许误差 $\delta$

2. 计算如下方程，得到最佳估计值 $x^{\prime }$：
   $$\begin{gathered} s=\frac{3(f_2-f_1)}{x_2-x_1} \\ z=s-f_1^{{}^{\prime }}-f_2^{{}^{\prime }} \\ {w}^2=z^2-f_1^{{}^{\prime }}{f}_2^{{}^{\prime }} \\ {x}^{{}^{\prime }}=x_1+(x_2-x_1)\frac{1-f_2^{{}^{\prime }}+w+z}{f_2^{{}^{\prime }}-f_1^{{}^{\prime }}+2w} \end{gathered}$$
3. 若 $|x_2-x_1|<\delta$，停止迭代；否则，计算 $f(x^{\prime })、f^{\prime }(x^{\prime })$：

• 若$f^{\prime }(x^{\prime })=0$，则得到点$x^{\prime }$，停止计算
• 若$f^{\prime }(x^{\prime })<0$，则令$x_1=x^{\prime }、f_1=f(x_1)、f_1^{{}^{\prime }}=f^{{}^{\prime }}(x_1)$，转步骤 2
• 若$f^{\prime }(x^{\prime })>0$，则令$x_2=x^{\prime }、f_2=f(x_2)、f_2^{{}^{\prime }}=f^{{}^{\prime }}(x_2)$，转步骤 2

转步骤 2 的算法可以替换为：

$$\begin{gathered} a=\frac{f_1^{{}^{\prime }}+f_2^{{}^{\prime }}}{(x_2-x_1{)}^2}-\frac{2(f_2-f_1)}{(x_2-x_1{)}^3} \\ b=\frac{2f_1^{{}^{\prime }}-f_2^{{}^{\prime }}}{x_2-x_1}+\frac{3}{2}\frac{f_2-f_1}{(x_2-x_1{)}^2} \\ c=f_1^{{}^{\prime }} \\ {x}^{{}^{\prime }}=x_1+\frac{-c}{b+\sqrt{b^2-3ac}} \end{gathered}$$
此外，即使$f^{{}^{\prime }}(x_2)$ < $0$，一般而言也可以用上式外推寻找$x^{{}^{\prime }}$

   不精确线搜索

  由于采用了不精确的一维搜索，所以，为了能让算法收敛（即：求得极小值），人们逐渐发现、证明了一些规律，当你遵循这些规律的时候，算法就很有可能收敛。因此，为了达到让算法收敛的目的，我们就要遵循这些准则。

Armijo-Goldstein

Armijo-Goldstein准则的核心思想有两个：

• 目标函数值应该有足够的下降
• 一维搜索的步长$\alpha$不应该太小

由于最优化问题的目的就是寻找极小值，前者保证了目标函数的函数值“下降”，从而确保我们能够找到极小值；后者保证算法不会原地打转，从而确保算法的效率。

了这两个指导思想，我们来看看Armijo-Goldstein准则的数学表达式：

1. $f(x_k+{\alpha }_k{d}_k)\le f(x_k)+\rho {\alpha }_k{g}_k^T{d}_k$
2. $f(x_k+{\alpha }_k{d}_k)\ge f(x_k)+(1-\rho ){\alpha }_k{g}_k^T{d}_k$
    
     其中，$0<\rho <\frac{1}{2}$

$\rho \in (0,\frac{1}{2})$这个条件影响算法的超线性收敛性。
 
公式解释如下：
首先对$f(x_k+{\alpha }_k{d}_k)$展开二阶泰勒级数：

$$f(x_k+{\alpha }_k{d}_k)=f(x_k)+{\alpha }_k{g}_k^T{d}_k+o({\alpha }_k)$$

去掉高阶无穷小，剩下的部分为 $f(x_k+{\alpha }_k{d}_k)$， 而第1个不等式右边与之只差一个系数$\rho$。
 
我们已知了$g_k^T{d}_k<0$（这是$d_k$为下降方向的充要条件），并且$\rho \in (0,\frac{1}{2})$，因此：

1. 第1个不等式右边仍然是一个比 $f(x_k)$ 小的数，即：
   $$f(x_k)+{\alpha }_k{g}_k^T{d}_k<f(x_k)$$
   也就是说函数值是下降的（下降是最优化的目标）。
2. 第2个不等式右边是一个比第1个不等式右边小的数，即：
   $$(1-\rho ){\alpha }_k{g}_k^T{d}_k<\rho {\alpha }_k{g}_k^T{d}_k<0$$
   如果$\alpha$太小，会导致这个不等式接近于不成立的边缘，从而保证了下降的效率。

Wolfe-Powell

Wolfe-Powell准则也有两个数学表达式：

1. $f(x_k+{\alpha }_k{d}_k)\le f(x_k)+\rho {\alpha }_k{g}_k^T{d}_k$
2. $\nabla f(x_k+{\alpha }_k{d}_k)d_k\ge \sigma {\alpha }_k{g}_k^T{d}_k$
    
     其中，$\rho \in (0,\frac{1}{2})，\sigma \in (\rho ,1)$

第2个式子已经不是关于函数值的了，而是关于梯度的。
该式的几何解释为：可接受点处的切线斜率 $\ge$ 初始斜率的 $\alpha$ 倍。

下面给出具体的算法步骤：

给定两个参数 $\delta \in (0,1/2)$ 和 $\sigma \in (\delta ,1)$，找出步长${\lambda }_k$，满足：

• (1) $f({\mathbf{x}}_k+{\lambda }_k{\mathbf{d}}_k)\le f({\mathbf{x}}_k)+\delta {\lambda }_k{\mathbf{g}}_k^{\mathrm{T}}{\mathbf{d}}_k$
• (2)$|{\mathbf{g}}_{k+1}^{\mathrm{T}}{\mathbf{d}}_k|\le -\sigma {\mathbf{g}}_k^{\mathrm{T}}{\mathbf{d}}_{k}OR\sigma {\mathbf{g}}_k^{\mathrm{T}}{\mathbf{d}}_k\le {\mathbf{g}}_{k+1}^{\mathrm{T}}{\mathbf{d}}_k\le -\sigma {\mathbf{g}}_k^{\mathrm{T}}{\mathbf{d}}_k$

如果 ${\lambda }_k$ = $1$满足上面两个方程，则取 ${\lambda }_k$ = $1$
当 $\sigma \to 0$时，该方法过渡为精确一维搜索算法，具体算法步骤如下：

1. 给定两个参数 $\delta \in (0,1/2)$ 和 $\sigma \in (\delta ,1)$；给定初始点$x_1$（相应于 ${\lambda }_k=0$）与猜想点 $x_2$（可设为1）；给定最大循环次 数$N_{\mathrm{m}\mathrm{a}\mathrm{x}}$，设$k=0;i=0$； 计算两点处的函数值 $f_1$、$f_2$ 和导数值 $f_1^{{}^{\prime }}$、$f_2^{{}^{\prime }}$
2. 若$f_2$和$f_2^{{}^{\prime }}$违反不等式**(1)或者不等式(2)的右半段，则缩小搜索范围的上限$x_{\mathrm{u}\mathrm{p}\mathrm{p}\mathrm{e}\mathrm{r}}=x_2$，否则转步骤5**
3. 若$f_2\le f_1$，转步骤**4；否则，利用二次插值方法寻找最佳点$x_{\mathrm{m}\mathrm{i}\mathrm{n}}=x_1-\frac{1}{2}\frac{f_1^{{}^{\prime }}(x_2-x_1{)}^2}{f_2-f_1-f_1^{{}^{\prime }}(x_2-x_1)}$
   设$x_2=x_{\mathrm{m}\mathrm{i}\mathrm{n}}$，计算$f_2$和$f_2^{{}^{\prime }}$；设$k=k+1$，若$k\le N_{\mathrm{m}\mathrm{a}\mathrm{x}}$转步骤2，否则转步骤5**
4. 利用 二点三次插值 算法的步骤**2** 寻找最佳点$x_{\mathrm{m}\mathrm{i}\mathrm{n}}$。令$x_2=x_{\mathrm{m}\mathrm{i}\mathrm{n}}$，计算$f_2$和$f_2^{{}^{\prime }}$；设 $k$ = $k+1$，若 $k\le N_{\mathrm{m}\mathrm{a}\mathrm{x}}$转步骤**2，否则转步骤5**
5. 若$f_2^{{}^{\prime }}$满足不等式**(2)**的左半段，则停止计算，得到最佳点$x_2$
6. 利用式二点三次插值 算法的步骤**2** 寻找最佳点$x_{\mathrm{m}\mathrm{i}\mathrm{n}}$，并计算$f_2$以及$f_2^{{}^{\prime }}$；设$i=i+1$，若$i\le N_{\mathrm{m}\mathrm{a}\mathrm{x}}$转步骤**2**，否则，停止计算得到目前最佳估计值$x_2$

转步骤 3 的估计算法可以替换为：

$$x_{\mathrm{m}\mathrm{i}\mathrm{n}}=x_2-\frac{f_2^{{}^{\prime }}(x_2-x_1)}{f_2^{{}^{\prime }}-f_1^{{}^{\prime }}}$$

此外，点$x$处的导数值$f^{{}^{\prime }}(x)={\mathbf{g}}^{\mathrm{T}}\mathbf{d}$，因为在一维搜索中，$x$相当于待求步长$\lambda$。在大多数情况下，$\sigma$ = $0.4$以及$\rho$ = $0.1$可以取得很好的效果

信赖域

   基本原理

  与线搜索方法一样，信赖域方法也是优化算法中的一种保证全局收敛的重要方法。其作用都是在优化算法中求出每次迭代的位移，从而确定新的迭代点。不同之处在于:

• 线搜索的方法是先产生位移方向 $d$ （搜索方向），然后确定位移的步长 $\alpha$ （搜索步长），然后得到下一个迭代点 $x_{k+1}=x_k+\alpha d$

• 而信赖域方法则是直接确定位移 $s$ ，产生新的迭代点 $x_{k+1}=x_k+s$。

  其基本思想是：

  给定一个位移长度上界，作为信赖域半径。以当前迭代为中心，以给定的上界为半径，确定一个被称为信赖域的闭球区域。然后通过求解这个区域内的信赖域子问题（目标函数的二次近似模型）的最优点来确定候选位移。
  若候选位能够使得目标函数值有充分的下降量，则接受该候选位移作为新位移，并保持或扩大信赖域半径，继续新的迭代；否则，说明二次模型与目标函数的近似度不够理想，需要缩小信赖域半径，求解新信赖域内的子问题得到新的候选位移。

   数学模型

  信赖域法的优化目标函数一般取如下形式的二次模型：

$$\begin{gathered} q_k(s)=f_k+g_k^{T}s+\frac{1}{2}{s}^T{G}_{k}ss.t\Vert s\Vert \le {\Delta }_k \\ {q}_k(0)=f_k \end{gathered}$$

公式符号	解释
$s$	当前迭代点 $x_k$ 与下个迭代点 $x_{k+1}$ 距离
$f_k$	第 k 次迭代时的函数值 $f(x_k)$
$g_k$	第 k 次迭代时的梯度值 $g(x_k)$
$G_k$	第 k 次迭代时的 Hesse 矩阵
${\Delta }_k$	信赖域半径

  值得注意的是，模型中有个 k 下标，这意味着这个二次模型会在迭代过程中产生变化。

  由于我们使用了一个二次模型来近似目标函数，两者之间必然会有一些误差，下面给出衡量两者之间误差的方法。假设在第 k 次迭代中得到了一个二次模型的最优解 $s_k$，此时有：

目标函数 $f$ 在第 k 步中的实际下降量 $\Delta f_k$：
$$\Delta f_k=f_k-f(x_k+s_k)$$
二次模型 $q$ 在第 k 步中的预测下降量 $\Delta q_k$：
$$\Delta q_k=q_k(0)-q_k(s_k)$$
定义它们之间的比值为：$$r_k=\frac{\Delta f_k}{\Delta q_k}$$

  这个比值可以用来衡量二次模型与目标函数之间的近似程度。当 $r_k$ 值越十分接近 1 时，说明两者在信赖域内有着良好的近似，$s_k$ 是一个合理的位移，并且可以在下次迭代增大信赖域半径进行搜索。
  此外，由于 $\Delta q_k>0$ 通常情况下都成立，因此若 $r_k<0$，则说明 $\Delta f_k<0$，则 $s_k$ 不是一个合理的位移，需要缩小信赖域半径，重新求解子问题。

   算法步骤

  信赖域法的一般框架如下：

1. 选取初始参数 $0\le {\eta }_1<{\eta }_2<1$，$0 < \tau_1 < 1 < \tau_2 $，$0\le \epsilon \ll 1$；选取 $\Delta$ 作为信赖域半径上限，${\Delta }_0$ 作为初始信赖域半径

2. 计算 $g_k$，若 $\Vert g_k\Vert \le \epsilon$，停止计算并输出极小点
3. 计算 $s_k$，求解子问题的解
4. 按照定义计算 $r_k$ 的值，分情况处理：

• $r_k\le {\eta }_1$：     ${\Delta }_{k+1}={\tau }_1{\Delta }_k$
• ${\eta }_1<r_k<{\eta }_2$：  ${\Delta }_{k+1}={\Delta }_k$
• ${\eta }_2<r_k$：     ${\Delta }_{k+1}=\min ({\tau }_2{\Delta }_k,\Delta )$

5. 令 $k=k+1$，若 $r_k\le {\eta }_1$，则令 $x_{k+1}=x_k+s_k$，更新$G_{k+1}=G_k$，跳转到2；否则令 $x_{k+1}=x_k$，跳转到3

   求解子问题

  由于求解子问题中需要用到 Hess 矩阵，为了减少运算量，会考虑使用拟牛顿法，通过迭代的方式获得近似矩阵。这种解法也被称为置信域拟牛顿法。与普通的拟牛顿法的区别在于：通过优化置信域子问题而非线搜索进行迭代更新。
  因此置信域牛顿法的主要问题在于如何求解子问题，下面介绍一下求解子问题的算法。

   Dogleg 法

  Dogleg 算法（折线法）是一个高效简洁的算法，不过对近似矩阵的正定性有要求，因此适用于 BFGS 算法，但是不适用于 SR1 算法。
  如果把子问题求解看作是一个以步长为自变量的函数$x(\Delta )$，当取得最佳步长时，$x(\Delta )$取得最小值。 令 $\Delta$ 为当前更新步长，最优步长为 $x(\Delta )$，则$\Delta \to x(\Delta )$ 描述了一条从子问题初始点 $x_k=x(0)$ 到最优点 —— 牛顿点的路径：

$$y_k=x_k-G_k^{-1}{g}_k$$
令 $ B_k $ 为近似矩阵
$$y_k=x_k-B_k^{-1}{g}_k$$
使用一个多项式路径 $\tau \to y(\tau )$ 代替原路径，将 问题转换为：从这条路径中选取一个最优的$y(\tau )$

   这个多项式只包含两个线段，看起来像弯曲的狗腿，这就是算法名称的由来。狗腿的膝盖处（两条线段的弯折处）恰好处于下降方向最陡峭的位置。

  令 $p_k=-B_k^{-1}{g}_k$，算法框架如下：

有以下公式$$\begin{gathered} p^B=-B^{-1}g \\ {p}^U=-\frac{g^{T}g}{g^{T}Bg}g \end{gathered}$$
$p_k$ 的求法可表示为
$$p_k=\{\begin{array}{l}\tau p^U(0\le \tau \le 1)\\ p^U+(\tau -1)(P^B-p^U)(1\le \tau \le 2)\end{array}$$
$\tau$ 的求法可表示为
$$\{\begin{array}{l}\tau =\frac{{\Delta }_k}{\Vert p^U\Vert }(0\le \tau \le 1)\\ \Vert p^U+(\tau -1)(P^B-p^U)\Vert ={\Delta }_k(1\le \tau \le 2)\end{array}$$