基于导数的优化方法

使用导数的优化方法

下面介绍的优化方法都是针对无约束优化问题的。

考虑无约束问题：
$$minf(\mathbf{x}),\mathbf{x}\in {\mathbf{R}}^n$$

最速下降法

假设$f(\mathbf{x})$具有一阶连续偏导数。

迭代公式：
$${\mathbf{x}}^{(k+1)}={\mathbf{x}}^{(k)}+{\lambda }_k{\mathbf{d}}^{(k)}$$

$${\mathbf{d}}^{(k)}=-\nabla f({\mathbf{x}}^{(k)})$$

${\mathbf{d}}^{(k)}$为搜索方向，即${\mathbf{x}}^{(k)}$处的最速下降方向，${\lambda }_k$为从${\mathbf{x}}^{(k)}$出发沿方向${\mathbf{d}}^{(k)}$进行一维搜索的步长，即${\lambda }_k$满足：
$$f({\mathbf{x}}^{(k)}+{\lambda }_k{\mathbf{d}}^{(k)})=\underset{\lambda \ge 0}{\min }f({\mathbf{x}}^{(k)}+\lambda {\mathbf{d}}^{(k)})$$
最速下降法在一定条件下是收敛的。

最速下降法存在锯齿现象。容易证明，最速下降法极小化目标函数时，相邻两个搜索方向是正交的，因此最速下降法迭代产生的序列$\{x^{(k)}\}$所循路径是“之”字形的，当${\mathbf{x}}^{(k)}$接近极小点$\bar{\mathbf{x}}$时，每次迭代移动的步长很小，这样就呈现出锯齿现象，因此影响了收敛速率。因此，最速下降方向反映了目标函数的一种局部性质。从局部看，最速下降方向的确是函数值下降最快的方向，选择这样的方向进行搜索是有利的。但从全局看，由于锯齿现象的影响，即使向着极小点移近不太大的距离，也要经历不小的弯路，因此使收敛速率大为减慢。最速下降法并不是收敛最快的方法，相反，从全局来看，他的收敛是比较慢的。因此，最速下降法一般适用于计算过程的前期迭代或作为间插步骤。

牛顿法

假设$f(\mathbf{x})$是二次可微实函数，设${\mathbf{x}}^{(k)}$是$f(\mathbf{x})$极小点的一个估计，我们把$f(\mathbf{x})$在${\mathbf{x}}^{(k)}$处展成Taylor级数，并取二阶近似：
$$f(\mathbf{x})\approx \varphi (\mathbf{x})=f({\mathbf{x}}^{(k)})+\nabla f({\mathbf{x}}^{(k)}{)}^T(\mathbf{x}-{\mathbf{x}}^{(k)})+\frac{1}{2}(\mathbf{x}-{\mathbf{x}}^{(k)}{)}^T{\nabla }^{2}f({\mathbf{x}}^{(k)})(\mathbf{x}-{\mathbf{x}}^{(k)})$$
令
$$\nabla \varphi (\mathbf{x})=0$$
有：
$$\nabla f({\mathbf{x}}^{(k)})+{\nabla }^{2}f({\mathbf{x}}^{(k)})(\mathbf{x}-{\mathbf{x}}^{(k)})=0$$
得到迭代公式：
$${\mathbf{x}}^{(k+1)}={\mathbf{x}}^{(k)}-{\nabla }^{2}f({\mathbf{x}}^{(k)}{)}^{-1}\nabla f({\mathbf{x}}^{(k)})$$
其中${\nabla }^{2}f({\mathbf{x}}^{(k)}{)}^{-1}$是Hesse矩阵${\nabla }^{2}f({\mathbf{x}}^{(k)})$的逆矩阵（如果存在的话）

值得注意，当初始点远离极小点时，牛顿法可能不收敛，因为牛顿方向
$$\mathbf{d}=-{\nabla }^{2}f({\mathbf{x}}^{(k)}{)}^{-1}\nabla f({\mathbf{x}}^{(k)})$$
不一定是下降方向，经迭代，目标函数值可能上升。此外，即使目标函数值下降，得到的点也不一定是沿牛顿方向的最好点或极小点。

阻尼牛顿法

该方法在标准的牛顿法的迭代公式上增加了沿牛顿方向的一维搜索，具体的迭代公式为：
$${\mathbf{x}}^{(k+1)}={\mathbf{x}}^{(k)}+{\lambda }_k{\mathbf{d}}^{(k)}$$
其中${\mathbf{d}}^{(k)}$为牛顿方向，${\lambda }_k$为一维搜索得到的步长。

拟牛顿法

牛顿法的优点是收敛速度快。但是，运用牛顿法需要计算二阶偏导数以及Hesse矩阵的逆矩阵，而且目标函数的Hesse矩阵可能非正定。因此提出了拟牛顿法。基本思想是用不包含二阶导数的矩阵近似牛顿法中的Hesse矩阵的逆矩阵。具体的推导这里先不记录了，后续在补充。

拟牛顿法主要有两个典型的算法：DFP算法和BFGS公式。

参考

最优化 理论与算法（第2版）