高斯牛顿法详解

一、高斯牛顿法发展历程

1、从上倒下为高斯牛顿法的前世今生已经未来的演化：

最速下降法（一阶梯度法）
牛顿法（二阶梯度法）
高斯牛顿法
列文伯格法
马夸尔特法

二、问题的引出

1、考虑如下优化目标函数：
$$\underset{x}{\min }F(x)$$
其中，$x=[x_1,...,x_n{]}^T\in {\mathbb{R}}^n$是$n$维待优化变量，$F(x)：{\mathbb{R}}^n\to \mathbb{R}$是一个将$n$维变量映射成标量的非线性函数。

2、我们的目标：
对变量$x$进行优化，即寻找一组合适的$x$使得优化目标函数$F(x)$最小。

3、最直观的方法：
$F(x)$关于$x=[x_1,...,x_n{]}^T\in {\mathbb{R}}^n$的多元函数，我们只要利用$F(x)$一阶导数等于零这一公式求出$F(x)$达到极值时对应的若干组$x$：
$$\frac{dF}{dx}=0$$然后基于这些这些组$x$求出$F(x)$的全部极值，然后通过比较极值的大小就可以找到$F(x)$的最小值和其所对应的$x$取值。

4、直观方法的问题：
根据上述方法，我们可以找到$F(x)$全局最小值，但这里面有一个严重的问题。当$F(x)$为复杂的非线性函数时，其关于$x$的一阶导数是十分复杂的，导致$\frac{dF}{dx}=0$难以求解，或者说求得其全部解是十分困难的，即我们难以获得$F(x)$全局性质，自然后续的求极值比大小就无法进行，这个方法就走进了死胡同。

5、解决直观方法问题的思路
虽然我们难以求解$\frac{dF}{dx}=0$，但我们给定一组$x$，求$\frac{dF}{dx}$的值是很容易的，就是把给定的$x$代入$\frac{dF}{dx}$算，批量处理这一过程是计算机最擅长的事情，即我们可以很容易获得$F(x)$局部性质。那么我们为了解决这样的一个优化问题，我们可以给定一个初值，然后利用$F(x)$在初值附近的局部性质（即在初值附近$x$如何变化可以使得$F(x)$更小）得到初值的变化增量$\Delta x=[\Delta x_1,...,\Delta x_n{]}^T$，通过迭代，当$\Delta x$足够小时，我们就找到了$F(x)$比较小的一个值和其对应的$x$取值。与$x$相对应，这里$\Delta x$也是$n$维列向量。对应算法流程为：

这里有两点值得注意：

• 基于局部性质找到的$F(x)$较小值并不一定是$F(x)$的最小值，因为我们只考察了$F(x)$在初值附近的局部情况，没有对$F(x)$全局性质进行考察。
• 当$\Delta x$足够小时，算法结束。这个可以这样理解：此时$x$只有在变化一点点的情况下才会使$F(x)$变小，这说明$F(x)$的函数值已经到了一个谷底附近，$x$稍微变大一点都会使得$F(x)$从谷底向上走从而变大。之所以我们不把算法结束条件设置成$\Delta x=0$这是因为我们恰好让$F(x)$函数值在谷底点几乎不可能，会导致算法一直在谷底点附近小范围内震荡。
• 局部方法的核心在于如何获得增量$\Delta x$，下面的几种方法都是围绕这一问题进行讨论的。

以下讨论的前提均是第$k$次迭代，假设此时$x$在$x_k$处，我们要寻找增量$\Delta x_k$

二、高斯牛顿法的前世

由于原理的相似性，最速下降法和牛顿法可以统称为一阶，二阶梯度法。这两种方法的原理分别是在局部用一次函数，二次函数对非线性函数$F(x)$进行近似，然后利用近似函数的最小值推测非线性函数$F(x)$的极小值。

1、一阶，二阶梯度法共有原理

将$F(x)$在$x_k$附近进行泰勒展开：
$$F(x_k+\Delta x_k)\approx F(x_k)+J(x_k{)}^T\Delta x_k+\frac{1}{2}\Delta x_k^{T}H(x_k)\Delta x_k$$其中：

• $J(x_k)=[\frac{\partial F(x)}{\partial x_1},...,\frac{\partial F(x)}{\partial x_n}{]}^T$是$F(x)$关于$x$的一阶导数在$x_k$处取值，$J$称为梯度或雅克比矩阵,需要注意的是$J(x_k)$是一个$n$维列向量，$\Delta x_k$也是一个$n$维列向量，因此泰勒展开中是$J(x_k)$的转置乘以$\Delta x_k$，从而得到一个标量。
• $H(x_k)$是$F(x)$关于$x$的二阶导数在$x_k$处取值，$H$称为海塞矩阵，是一个$n\times n$的方阵。

2、最速下降法（一阶梯度法）

1）最速下降法原理
最速下降法（一阶梯度法）就是保留泰勒展开的一阶项用来近似非线性函数$F(x)$，即：$$F(x_k+\Delta x_k)\approx F(x_k)+J(x_k{)}^T\Delta x_k$$该式中，只有$\Delta x_k$是变量，而$x_k$是一个确定的数值，$F(x_k)，J(x_k{)}^T$均是一个确定的数值，即这是一个以$\Delta x_k$为变量的一次函数。取$\Delta x_k$为一阶梯度的反向就一定可以保证函数值下降，因此：
$$\Delta x_k=-J(x_k)$$通常我们还会在此基础上加一个步长$\lambda$（步长可以根据一定条件计算，这里不展开讨论）使得
$$\Delta x_k=-\lambda J(x_k)$$
2）最速下降法缺点
该方法过于贪心，容易走出锯齿线，反而增加迭代次数。

3、牛顿法和阻尼牛顿法（二阶梯度法）

1）牛顿法的原理
牛顿法（二阶梯度法）就是保留泰勒展开的一阶项和二阶项用来近似非线性函数$F(x)$，即：
$$F(x_k+\Delta x_k)\approx F(x_k)+J(x_k{)}^T\Delta x_k+\frac{1}{2}\Delta x_k^{T}H(x_k)\Delta x_k$$该式中，只有$\Delta x_k$是变量，而$x_k$是一个确定的数值，$F(x_k)，J(x_k{)}^T$均是一个确定的数值，即这是一个以$\Delta x_k$为变量的二次函数。且二次项的系数为正，因此该函数拥有最小值。其取最小值的条件就是该式对$\Delta x_k$的导数等于零，即：
$$\frac{\partial (F(x_k)+J{(x_k)}^T\Delta x_k+\frac{1}{2}\Delta x_k^{T}H(x_k)\Delta x_k)}{\partial \Delta x_k}=0$$解得：
$$H(x_k)\Delta x_k=-J(x_k)$$该式即为牛顿法的增量方程。
2）牛顿法的缺点
海塞矩阵$H(x_k)$计算量太大了
3）阻尼牛顿法
阻尼牛顿法就是在使用牛顿法获得增量方向后，进一步对最优步长进行搜索：

1. 通过牛顿法获取增量$H(x_k)\Delta x_k=-J(x_k)$，则增量方向为$\Delta x_k=-H(x_k{)}^{-1}J(x_k)$
2. 沿着该增量方向一维搜索最优补偿$\lambda$，使得$F(x_k+\lambda \Delta x_k)$最小

三、高斯牛顿法

1、高斯牛顿法的思想
高斯牛顿法针对最小二乘问题，采用一定的方法对牛顿法中的海塞矩阵$H(x_k)$进行近似，从而简化了计算量。
注意：只有最小二乘问题才能使用高斯牛顿法
2、最小二乘问题
最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。最小二乘问题可以表述为：
$$\underset{x}{\min }F(x)=||f(x)|{|}^2$$
3、高斯牛顿法原理
当$x$在$x_k$处，具有增量$\Delta x_k$，优化目标函数取值为：
$$\underset{x}{\min }F(x_k+\Delta x_k)=||f(x_k+\Delta x_k)|{|}^2$$不同于牛顿法，我们不对优化目标函数进行泰勒展开，我们对优化目标函数中的一部分，即$f(x)$进行一阶泰勒展开。 展开后优化目标函数为：
$$F(x_k+\Delta x_k)\approx ||f(x_k)+J(x_k{)}^T\Delta x_k|{|}^2$$其中：

• $J(x_k)=[\frac{\partial f(x)}{\partial x_1},...,\frac{\partial f(x)}{\partial x_n}{]}^T$是$f(x)$关于$x$的一阶导数在$x_k$处取值，$J$称为梯度或雅克比矩阵,需要注意的是$J(x_k)$是一个$n$维列向量，$\Delta x_k$也是一个$n$维列向量，因此泰勒展开中是$J(x_k)$的转置乘以$\Delta x_k$，从而得到一个标量。
• 高斯牛顿法中的$J(x_k)$是$f(x)$关于$x$的一阶导数在$x_k$处取值，而牛顿法中的$J(x_k)$是$F(x)$关于$x$的一阶导数在$x_k$处取值

该式中，只有$\Delta x_k$是变量，而$x_k$是一个确定的数值，$f(x_k)，J(x_k{)}^T$均是一个确定的数值，即这是一个以$\Delta x_k$为变量的二次函数。且二次项的系数为正，因此该函数拥有最小值。其取最小值的条件就是该式对$\Delta x_k$的导数等于零，即：
$$\frac{\partial ||f(x_k)+J{(x_k)}^T\Delta x_k|{|}^2}{\partial \Delta x_k}=0$$解得：
$$J(x_k)J(x_k{)}^T\Delta x_k=-J(x_k)f(x_k)$$记：
$$H(x_k)=J(x_k)J(x_k{)}^T,g(x_k)=-J(x_k)f(x_k)$$则高斯牛顿法的增量方程为：
$$H(x_k)\Delta x_k=g(x_k)$$这里将$J(x_k)J(x_k{)}^T$记作$H(x_k)$是有意义的，高斯牛顿法相当于在最小二乘这类问题上，用$f(x)$一阶泰勒展对$F(x)$的二阶泰勒展开进行了近似，从而用$f(x)$的雅克比矩阵$J$对$F(x)$的海塞矩阵$H$进行了近似，减少了计算量。
4、高斯牛顿法算法流程

5、高斯牛顿法缺点

• 在求解增量$\Delta x_k$时候，我们需要计算$(J(x_k)J(x_k{)}^T{)}^{-1}$，但是$J(x_k)J(x_k{)}^T$只有半正定性质，在实际计算中可能会遇见$J(x_k)J(x_k{)}^T$为奇异矩阵或者病态矩阵，从而导致增量不稳定，算法不收敛。出现这种现象的深层原因是$F(x)$在$x_k$处的近似不像一个二次函数。这也应该是牛顿法的缺点？
  奇异矩阵：不满秩的方阵
  病态矩阵：求解方程组时如果对数据进行较小的扰动，则得出的结果具有很大波动，这样的矩阵称为病态矩阵。

• 当我们求得的增量$\Delta x_k$过大时，我们使用泰勒展开进行局部近似就会不准确。从而导致算法不收敛。

四、列文伯格-马夸尔特方法（L-M方法，阻尼牛顿法）

1、列文伯格-马夸尔特方法的思想
针对高斯牛顿法的不足，L-M方法做了两点改进：

• 在求解增量$\Delta x_k$时，对其设置了信赖区域
• 在求得增量$\Delta x_k$对其近似效果进行了量化，并根据量化结果对信赖区域进行调整，再从新计算增量$\Delta x_k$，直到近似效果量化结果达到阈值。

2、信赖区域$\mu$的设置及对增量方程的影响
1）信赖区域的引入
增加信赖区域$\mu$的后，优化问题从无约束的最小二乘问题变成了有约束的最小二乘问题。即从
$$\underset{x}{\min }F(x_k+\Delta x_k)=||f(x_k+\Delta x_k)|{|}^2$$变成了：
$$\underset{x}{\min }F(x_k+\Delta x_k)=||f(x_k+\Delta x_k)|{|}^2,s.t.||D\Delta x_k|{|}^2\le \mu$$其中，$||D\Delta x_k|{|}^2\le \mu$是信赖区间对应的条件，$D$是系数矩阵，为$n$维行向量，$\mu$是信赖半径。列文伯格方法和马夸尔特方法的主要区别就是系数矩阵D不同。

在求解该带有约束的优化函数过程中，可以通过构建拉格朗日函数将约束引入：
$$L(\Delta x_k,\lambda )=||f(x_k+\Delta x_k)|{|}^2+\lambda (||D\Delta x_k|{|}^2-\mu )$$同样，当该拉格朗日函数关于$\Delta x_k$的导数等于零时，可以求得对应的增量$\Delta x_k$。也可以这么理解，当$||D\Delta x_k|{|}^2>\mu$时候，就是在优化目标函数中引入了系数为$\lambda$的惩罚项。
2）增量方程
列文伯格-马夸尔特方法的增量方程如下：
$$(H+\lambda D^{T}D)\Delta x_k=g(x_k)$$ 其中，$H(x_k),g(x_k)$与高斯牛顿法相同。
3、近似程度的量化
定义量化指标$\rho$衡量近似程度：
$$\rho =\frac{f(x_k+\Delta x_k)-f(x_k)}{J{(x_k)}^T\Delta x_k}$$

• 当$\rho$接近1时，近似效果好；
• 当$\rho$太小时，实际减小的值远小于近似函数减小的值，近似效果差，需要缩小近似范围$\mu$
• 当$\rho$较大时，实际减小的值大于近似函数减小的值，近似效果差，需要增大近似范围$\mu$

4、列文伯格-马夸尔特算法流程

5、列文伯格方法
在列文伯格方法中，系数矩阵$D=I$,信赖区域时一个球形状
6、马夸尔特方法
在马夸尔特方法中，系数矩阵$D$是$J(x_k)J(x_k{)}^T$对角元素的平方根。
7、列文伯格-马夸尔特与高斯牛顿相比
列文伯格-马夸尔特在一定程度上解决了线性方程组系数矩阵的非奇异和病态问题，但算法收敛速度相较于高斯牛顿更慢。因此，当问题性质较好时，选择高斯牛顿方法，问题接近病态时，选择列文伯格-马夸尔特方法。

五、拟牛顿法

为了解决牛顿法中海森矩阵H计算复杂的问题，拟牛顿法提供了另外一种解决思路：通过使用不含有二阶导数的矩阵$U$代替牛顿法中的$H$，根据矩阵$U$构造的不同，具有不同的拟牛顿法。

1、拟牛顿法的基本原理

牛顿法的搜索方向为：
$$d^{(t)}=-H_t^{-1}{g}_t$$
现在我们要构造一个矩阵$U$来近似矩阵$H$，当$f(x)$为二次函数的时候，$H$矩阵为常数矩阵，且任意两点$x^t$与$x^{t+1}$之间的梯度差为：
$$▽f(x^{(t+1)})-▽f(x^{(t)})=H\cdot (x^{(t+1)}-x^{(t)})$$
因此有：
$$x^{(t+1)}-x^{(t)}=H^{-1}\cdot [▽f(x^{(t+1)})-▽f(x^{(t)})]$$
因此，当$f(x)$不是二次函数的时候，仿照上式，我们可以构建H矩阵的近似矩阵$U$，要求矩阵$U$满足如下关系：
$$x^{(t+1)}-x^{(t)}=U_{t+1}\cdot [▽f(x^{(t+1)})-▽f(x^{(t)})]$$
此时，我们可以按照下式来计算增量（也称为拟牛顿条件）：
$$\Delta x_t=U_{t+1}\cdot \Delta g_t$$

2、DFP

为了方便区分，下面把$U$称作$D$（表示DFP）

1）DFP结果

我们在已知$D_t$的情况下，想要使用增量形式求取$D_{t+1}=\Delta D_t+D_t$，构造$\Delta D$如下：
$$\Delta D_t=\frac{\Delta x_t\Delta x_t^T}{\Delta g_t^T\Delta x_t}-\frac{D_t\Delta g_t\Delta g_t^T{D}_t}{\Delta g_t^T{D}_t\Delta g_t}$$

2）DFP算法步骤

DFP算法的问题在于在求取增量的时候D矩阵仍要求逆

3、BFGS

为了方便区分，下面把$U$称作$B$（表示BFGS）

1）BFGS结果

$$\Delta B_t=\frac{\Delta g_t\Delta g_t^T}{\Delta x_t^T\Delta g_t}-\frac{B_t\Delta x_t\Delta x_t^T{B}_t}{\Delta x_t^T{B}_t\Delta x_t}$$
与DFS相比就是$\Delta x$和$\Delta g$调换了一下位置，但会为求取B矩阵的逆带来好处。

谢尔曼莫里森公式：描述当矩阵变化后，如何使用变化前矩阵的逆求变化后矩阵的逆
对于任意的非奇异方阵$A$,$u,v$是$n$维向量，若$1+v^T{A}^{-1}u\ne 0$，则：
$$(A+u{v}^T{)}^{-1}=A^{-1}-\frac{(A^{-1}u)(v^T{A}^{-1})}{1+v^T{A}^{-1}u}$$

通过引入两次谢尔曼莫里森公式，我们可以迭代求取得到$B$的逆：
$$B_{t+1}^{-1}=\left(I_n-\frac{\Delta x_t\Delta g_t^T}{\Delta x_t^T\Delta g_t}\right)B_t^{-1}\left(I_n-\frac{\Delta g_t\Delta x_t^T}{\Delta x_t^T\Delta g_t}\right)+\frac{\Delta x_t\Delta x_t^T}{\Delta x_t^T\Delta g_t}$$
而一开始的B矩阵是一个单位矩阵，其逆就是自己

2)BFGS算步骤

4、L-BFGS

1）L-BFGS原理

在BFGS中，我们要保存$B^{-1}$矩阵，实际上，我们仅保存每轮的$\Delta x$和$\Delta g$即可递归的计算当前的$B$矩阵，从而减小内存占用：
$$B_{t+1}^{-1}=\left(\prod _{i=t}^0{V}_i^T\right)B_0^{-1}\left(\prod _{i=0}^t{V}_i\right)+\sum _{j=0}^t\left(\prod _{i=t}^{j+1}{V}_i^T\right)\left({\rho }_j\Delta x_j\Delta x_j^T\right)\left(\prod _{i=j+1}^t{V}_i\right)$$
其中:
$$\begin{gathered} {\rho }_t=\frac{1}{\Delta x_t^T\Delta g_t} \\ {V}_t=I_n-{\rho }_t\Delta g_t\Delta x_t^T \end{gathered}$$
实际应用中，我们也可以仅适用最近的m个$\Delta x$和$\Delta g$来计算$B^{-1}$
$$B_t^{-1}=\left(\prod _{i=t-1}^{t-m}{V}_i^T\right)B_0^{-1}\left(\prod _{i=t-m}^{t-1}{V}_i\right)+\sum _{j=t-1}^{t-m}\left(\prod _{i=t}^{j+1}{V}_i^T\right)\left({\rho }_j\Delta x_j\Delta x_j^T\right)\left(\prod _{i=j+1}^t{V}_i\right)$$

2）L-BFGS应用

上述公式的代码实现如下，其中$s_i=\Delta x_i$,$y_i=\Delta g_i$,$H_k=B_k^{-1}$

因此，L-BFGS的算法流程如下：