梯度下降、牛顿法、高斯牛顿&L-M算法比较

本文梳理一下常见的几种优化算法：梯度下降法，牛顿法、高斯-牛顿法和L-M算法，优化算法根据阶次可以分为一阶方法（梯度下降法），和二阶方法（牛顿法等等），不同优化算法的收敛速度，鲁棒性都有所不同。一般来讲，二阶方法要比一阶方法有更快的收敛速度。

梯度下降法

梯度下降法是一种简洁直观的寻找极小值的迭代算法，它总是沿着负梯度方向进行搜索，直到梯度为0才收敛。它的迭代公式为：
$${\mathbf{x}}_{k+1}={\mathbf{x}}_k-\alpha f^{\prime }({\mathbf{x}}_k)$$
其中$\alpha$为搜索步长，是一个需要人为给定的值，当然你也可以设计一种自适应的给定$\alpha$的算法。$\alpha$的选择会影响梯度下降法的收敛速度。下图是从(1,1)出发在$f(x)=x^2$上寻找最小值点的搜索路径。

左图和右图分别为$\alpha =0.3$和$\alpha =0.7$时的效果。梯度下降法是一阶方法，其收敛速度通常不如二阶方法，如牛顿法。

牛顿法

所有二阶方法都源自二阶泰勒展开：
$$f(\mathbf{x}+\delta \mathbf{x})\approx f(\mathbf{x})+{\mathbf{g}}^{\top }\delta \mathbf{x}+\frac{1}{2}\delta {\mathbf{x}}^{\top }\mathbf{H}\delta \mathbf{x}$$
其中$\mathbf{g}=\frac{df}{d\mathbf{x}}(\mathbf{x})$，$\mathbf{H}=\frac{d{f}^2}{d{\mathbf{x}}^2}(\mathbf{x})$。假定$\mathbf{H}$是正定的，于是在$x$领域内的函数就可以看成是一个有唯一最小值的二次函数，那么求解增量就可以设
$$\frac{df}{d\mathbf{x}}(\mathbf{x}+\delta \mathbf{x})\approx \mathbf{H}\delta x+\mathbf{g}=0$$
解得
$$\delta \mathbf{x}=-{\mathbf{H}}^{-1}\mathbf{g}$$
（这里的$\mathbf{g}$其实需要转置一下，为了简洁就没有转置）
这就是牛顿法求得的更新步长，通过迭代就构成了标准的牛顿法。牛顿法具有二阶收敛速度，对于二次函数，只需要经过一次迭代就能得到最小值。然而，要想快速收敛，前提是合理地设置步长。尽管牛顿法公式简洁且性能优秀，它仍然有以下缺点：

• 为了保证收敛，必须添加合理控制步长的逻辑。
• 对于一个系数矩阵为稠密矩阵的系统，计算$n\times n$的牛顿步长方程的算法复杂度是$O(n^3)$，这对于Bundle Ajustment来说太慢了，由于求解增量方程比较复杂，实际执行起来还没一阶方法速度快。
• 对于复杂的目标函数，计算hessian矩阵$\mathbf{H}$需要大量运算，然而相比于一阶方法带来的精度提升又很有限，费力不讨好。
• 总体而言，牛顿法只需很少的迭代次数就能接近收敛，然而计算中间变量消耗了大量运算。

高斯-牛顿法

高斯-牛顿法是牛顿法的一种近似，它作为一种二阶方法，只需要计算一阶导数，省去了对复杂的hessian矩阵的计算，因此比标准的牛顿法更快速。下面我们在上述牛顿法的基础上推导高斯-牛顿法。
设目标函数为误差的加权平方和：
$$f(\mathbf{x})=\frac{1}{2}\Delta \mathbf{z}(\mathbf{x}{)}^{\top }\mathbf{W}\Delta \mathbf{z}(\mathbf{z})$$
其中$\Delta \mathbf{z}(\mathbf{x})=\mathbf{z}-\mathbf{z}(\mathbf{x})$为预测的误差，$\mathbf{W}$是权值矩阵，然后我们计算$\frac{df}{d\mathbf{x}}$和$\frac{d^{2}f}{d{\mathbf{x}}^2}$，也就是$\mathbf{g}$和$\mathbf{H}$。令$\mathbf{J}=\frac{d\mathbf{z}}{d\mathbf{x}}$，根据矩阵求导公式可以得到：
$$\mathbf{g}=\frac{df}{d\mathbf{x}}=\frac{1}{2}(\Delta {\mathbf{z}}^{\top }\mathbf{W}\frac{d\mathbf{z}}{d\mathbf{x}}+\Delta {\mathbf{z}}^{\top }\mathbf{W}\frac{d\mathbf{z}}{d\mathbf{x}})=\Delta {\mathbf{z}}^{\top }\mathbf{W}\mathbf{J}\text{\hspace{1em}(A)}$$
$$\begin{gathered} \mathbf{H}=\frac{d^{2}f}{d\mathbf{x}}=\frac{d\mathbf{g}}{d\mathbf{x}}=\Delta {\mathbf{z}}^{\top }\mathbf{W}\frac{d\mathbf{J}}{d\mathbf{x}}+{\mathbf{J}}^{\top }\mathbf{W}\frac{d\Delta \mathbf{z}}{d\mathbf{x}} \\ ={\mathbf{J}}^{\top }\mathbf{W}\mathbf{J}+\Delta {\mathbf{z}}^{\top }\mathbf{W}\frac{d\mathbf{J}}{d\mathbf{x}}\text{\hspace{1em}(B)} \end{gathered}$$
式B中的$\Delta {\mathbf{Z}}^{\top }\mathbf{W}\frac{d\mathbf{J}}{d\mathbf{x}}$相对于${\mathbf{J}}^{\top }\mathbf{W}\mathbf{J}$是一个极小项，因此可以认为$\mathbf{H}\approx {\mathbf{J}}^{\top }\mathbf{W}\mathbf{J}$。通过这种近似，牛顿步长的预测方程就变成了高斯-牛顿方程(这里需要把$\mathbf{g}$转置一下）：
$$({\mathbf{J}}^{\top }\mathbf{W}\mathbf{J})\delta \mathbf{x}=-{\mathbf{J}}^{\top }\mathbf{W}\Delta \mathbf{z}$$
高斯-牛顿法经常被用于求解非线性最小二乘问题，在求解Bundle Adjustment中也经常用到，它最大的优点是易于实现，形式简单。
当然它也有一定的问题：

• 当$\mathbf{H}$中被忽略不计的项$\Delta {\mathbf{z}}^{\top }\mathbf{W}\frac{d\mathbf{J}}{d\mathbf{x}}$并没有“很小”时，高斯-牛顿法的收敛速度会变慢。这种收敛速度情况在当前步骤有一些比较大的残差项时经常出现。比如，当优化向量靠近鞍点的时候，高斯-牛顿近似就不是准确的。为了避免这种情况，需要进行合理的参数化以及去除错误约束（outliers）。以及使用鲁棒核函数（损失函数）来减小极端残差对优化过程的影响。
• 高斯牛顿法没有控制步长的逻辑，从而对病态的雅可比$\mathbf{J}$比较敏感。

L-M算法

L-M全称Levenberg–Marquardt，相比于高斯-牛顿法增加了控制步长的逻辑，是高斯牛顿法和梯度下降法的结合。其增量方程为：
$$({\mathbf{J}}^{\top }\mathbf{W}\mathbf{J}+\lambda \mathbf{I})\delta \mathbf{x}=-{\mathbf{J}}^{\top }\mathbf{W}\Delta \mathbf{z}$$
L-M算法的重点是参数$\lambda$的选择，从公式可以看出，当$\lambda \to \infty$时，相当于梯度下降法，当$\lambda \to 0$时，相当于高斯牛顿法。
$\lambda$的作用体现在总的代价函数不降反升的情况。Marquardt建议首先设置一个初始的${\lambda }_0$，和一个系数$v>1$，然后分别以$\lambda ={\lambda }_0$和$\lambda ={\lambda }_0/v$进行更新并计算代价函数，如果代价函数增大了，那就令连续乘以$v$直到找到一个使代价函数减小的值${\lambda }_0{v}^k$。
如果使用$\lambda /v$能够降低代价函数，那么就更新$\lambda$并且继续迭代，如果用$\lambda /v$让代价函数增大而$\lambda$能够减小代价函数，那么$\lambda$就保持不变。
L-M算法要比高斯-牛顿法更鲁邦，即使初始点离局部最优点比较远，也能够到达最优点，收敛速度上相比于高斯-牛顿法要稍微慢一点点。