多维无约束非线性优化

问题描述

对于一个极小化问题$minf(X)$,其中$X$是多维变量$X=x_1\dots x_n$

牛顿法

牛顿法原理

牛顿法的思想是将函数进行二阶展开。对于一个一维函数来说函数在$x_0$附近的二阶泰勒展开可以近似为 $f(x)\approx f(x_0)+f^{\prime }(x_0)(x-x_0)+\frac{1}{2}{f}^{\prime \prime }(x_0)(x-x_0{)}^2$，那么对于多维变量求极小值同样也在$X_0$处泰勒展开为
$$f(\mathbf{x})\approx f({\mathbf{x}}_0)+\nabla f({\mathbf{x}}_0{)}^T(\mathbf{x}-{\mathbf{x}}_0)+\frac{1}{2}(\mathbf{x}-{\mathbf{x}}_0{)}^T\mathbf{H}({\mathbf{x}}_0)(\mathbf{x}-{\mathbf{x}}_0)$$

• $\nabla f({\mathbf{x}}_0)$ 是目标函数在 ${\mathbf{x}}_0$ 处的梯度向量(相当于一阶导)。
• $\mathbf{H}({\mathbf{x}}_0)$ 是目标函数在 ${\mathbf{x}}_0$ 处的 Hessian 矩阵（相当于二阶导）

牛顿法的思想是找到使泰勒展开的梯度向量等于零的点，即 $\nabla f(\mathbf{x})=0$。这可以通过求解以下方程来实现：

$$\nabla f({\mathbf{x}}_0{)}^T+\mathbf{H}({\mathbf{x}}_0)(\mathbf{x}-{\mathbf{x}}_0)=0$$

解这个方程将给出下一个迭代的 $\mathbf{x}$，
我们可以计算出 $\mathbf{x}$，即

$$\mathbf{x}={\mathbf{x}}_0-\mathbf{H}({\mathbf{x}}_0{)}^{-1}\nabla f({\mathbf{x}}_0)$$

这是迭代的下一个估计值。在每一次迭代中，我们使用当前的 $\mathbf{x}$ 作为 ${\mathbf{x}}_0$，然后计算下一个估计值，直到收敛到目标函数的极小值点。

并且这个过程可以迭代进行，以逐渐接近目标函数的极小值。这是多维变量情况下的牛顿法的基本思想。

Levenberg-Marquardt 算法

在牛顿法的解更新过程中用到了$\mathbf{H}({\mathbf{x}}_0{)}^{-1}$,但是在某些时候$\mathbf{H}({\mathbf{x}}_0{)}^{-1}$可能会变得不可逆或者近似不可逆，这样将会对算法的稳定性产生影响。因此针对这一点作出改进，将$\mathbf{H}({\mathbf{x}}_0{)}^{-1}$替换为$(\mathbf{H}({\mathbf{x}}_0)+\lambda I{)}^{-1}$,替换之后的更新公式如下

1. 计算梯度向量：$\nabla f({\mathbf{x}}_0)$

2. 计算黑塞矩阵：$\mathbf{H}({\mathbf{x}}_0)$

3. 计算搜索方向：$\mathbf{d}=-(\mathbf{H}({\mathbf{x}}_0)+\lambda I{)}^{-1}\nabla f({\mathbf{x}}_0)$

4. 更新当前解：${\mathbf{x}}_1={\mathbf{x}}_0+\alpha \mathbf{d}$

这里，$\lambda$ 是一个正的正则化参数，$I$ 是单位矩阵，$\alpha$ 是一个步长（或学习率）参数，用来控制每次迭代的步进大小。

这个修正后的公式中，通过添加$\lambda I$ 到黑塞矩阵的逆矩阵中，可以提高算法的数值稳定性。当$\lambda$ 足够小时，这个修正可以避免黑塞矩阵变得不可逆或近似不可逆的情况，从而确保迭代过程能够顺利进行。 $\lambda$ 的选择通常需要根据具体问题进行调整，以平衡数值稳定性和收敛速度。

拟牛顿法

在牛顿法的迭代过程中，需要不断计算$\mathbf{H}({\mathbf{x}}_0)$，计算复杂度比较高,为了降低计算复杂度，针对$\mathbf{H}({\mathbf{x}}_0)$作出了改进。那么该如何去近似$\mathbf{H}({\mathbf{x}}_0)$呢？根据二阶泰勒展开
$$f(\mathbf{x})\approx f({\mathbf{x}}_0)+\nabla f({\mathbf{x}}_0{)}^T(\mathbf{x}-{\mathbf{x}}_0)+\frac{1}{2}(\mathbf{x}-{\mathbf{x}}_0{)}^T\mathbf{H}({\mathbf{x}}_0)(\mathbf{x}-{\mathbf{x}}_0)$$
有在$x_{k+1}$附近两边同时求导
$$\nabla f(\mathbf{x}{)}^T=\nabla f({\mathbf{x}}_{k+1}{)}^T+\mathbf{H}({\mathbf{x}}_{k+1})(\mathbf{x}-{\mathbf{x}}_{k+1})$$
将$x$换为$x_k$
$$\nabla f({\mathbf{x}}_{\mathbf{k}}{)}^T=\nabla f({\mathbf{x}}_{k+1}{)}^T+\mathbf{H}({\mathbf{x}}_{k+1})({\mathbf{x}}_{\mathbf{k}}-{\mathbf{x}}_{k+1})$$

拟牛顿法的目标是近似牛顿法的迭代，以减少计算Hessian矩阵 $\mathbf{H}(\mathbf{x})$ 的复杂性。通过近似 $\mathbf{H}(\mathbf{x})$，我们可以使用以下迭代公式来更新估计的Hessian矩阵：

$${\mathbf{H}}_{k+1}(\mathbf{x})\approx \mathbf{H}({\mathbf{x}}_k)+\Delta H$$

现在，我们可以继续推导。将 $\nabla f({\mathbf{x}}_k{)}^T$ 代入：

$$\nabla f({\mathbf{x}}_k{)}^T=\nabla f({\mathbf{x}}_{k+1}{)}^T+\mathbf{H}({\mathbf{x}}_{k+1})({\mathbf{x}}_k-{\mathbf{x}}_{k+1})$$

这个方程的目标是解出 $\mathbf{H}({\mathbf{x}}_{k+1})$，因此我们可以将 $\nabla f({\mathbf{x}}_k{)}^T$ 移到等式的左边，并整理得到：

$$\nabla f({\mathbf{x}}_k{)}^T-\nabla f({\mathbf{x}}_{k+1}{)}^T=\mathbf{H}({\mathbf{x}}_{k+1})({\mathbf{x}}_k-{\mathbf{x}}_{k+1})$$

现在，我们可以通过逆转等式来估计 $\mathbf{H}({\mathbf{x}}_{k+1})$：

$$\mathbf{H}({\mathbf{x}}_{k+1})\approx \frac{\nabla f({\mathbf{x}}_k{)}^T-\nabla f({\mathbf{x}}_{k+1}{)}^T}{{\mathbf{x}}_k-{\mathbf{x}}_{k+1}}$$

这个近似的Hessian矩阵 $\mathbf{H}({\mathbf{x}}_{k+1})$ 可以用于拟牛顿法的下一次迭代。通常，为了稳定性，还可以应用一些修正策略，如DFP（Davidon-Fletcher-Powell）或BFGS（Broyden-Fletcher-Goldfarb-Shanno）算法，以确保矩阵是正定的。这样，拟牛顿法可以在迭代中逐渐逼近牛顿法，但避免了计算完整Hessian矩阵的高计算复杂度。

DFP算法

当引入这些符号定义后，我们可以继续推导DFP（Davidon-Fletcher-Powell）算法。DFP算法是一种经典的拟牛顿法算法之一，它使用一个近似的Hessian矩阵来迭代优化问题。

我们已经定义了：

• $s_k=x_k-x_{k+1}$：表示在相邻两次迭代之间的变化量。
• $q_k=\nabla f({\mathbf{x}}_k{)}^T-\nabla f({\mathbf{x}}_{k+1}{)}^T$：表示在相邻两次迭代之间的梯度变化。

现在，我们可以使用这些定义来估计DFP算法中的近似Hessian矩阵：

$${\mathbf{H}}_{k+1}\approx {\mathbf{H}}_k+\frac{s_k{s}_k^T}{s_k^T{q}_k}-\frac{{\mathbf{H}}_k{q}_k{q}_k^T{\mathbf{H}}_k^T}{q_k^T{\mathbf{H}}_k{q}_k}$$

这个方程表示DFP算法中如何更新近似的Hessian矩阵 ${\mathbf{H}}_{k+1}$，以便在下一次迭代中使用。这个更新过程是通过添加两项来完成的：

1. 第一项 $\frac{s_k{s}_k^T}{s_k^T{q}_k}$ 以$s_k$为基础构建一个秩-1矩阵，用来近似Hessian的逆。
2. 第二项 $-\frac{{\mathbf{H}}_k{q}_k{q}_k^T{\mathbf{H}}_k}{q_k^T{\mathbf{H}}_k{q}_k}$ 通过考虑梯度变化来修正Hessian矩阵，以保持正定性。

这个更新规则确保了拟牛顿法在每一步都生成一个正定的近似Hessian矩阵，以便进行可靠的优化。

BFGS算法

BFGS（Broyden-Fletcher-Goldfarb-Shanno）算法是另一种经典的拟牛顿法算法，用于解决无约束的非线性优化问题。与DFP算法类似，BFGS算法也使用一个近似的Hessian矩阵进行迭代。

在BFGS算法中，我们可以使用类似的符号定义，包括：

• $s_k=x_{k+1}-x_k$：表示在相邻两次迭代之间的变化量。
• $q_k=\nabla f({\mathbf{x}}_{k+1})-\nabla f({\mathbf{x}}_k)$：表示在相邻两次迭代之间的梯度变化。

然后，BFGS算法的Hessian矩阵更新规则如下：

$${\mathbf{H}}_{k+1}\approx {\mathbf{H}}_k+\frac{q_k{q}_k^T}{q_k^T{s}_k}-\frac{{\mathbf{H}}_k{s}_k{s}_k^T{\mathbf{H}}_k^T}{s_k^T{\mathbf{H}}_k{s}_k}$$

这个方程表示BFGS算法中如何更新近似的Hessian矩阵 ${\mathbf{H}}_{k+1}$ 以便在下一次迭代中使用。这个更新过程类似于DFP算法，也是通过添加两项来完成的：

1. 第一项 $\frac{q_k{q}_k^T}{q_k^T{s}_k}$ 以 $q_k$ 为基础构建一个秩-1矩阵，用来近似Hessian的逆。
2. 第二项 $-\frac{{\mathbf{H}}_k{s}_k{s}_k^T{\mathbf{H}}_k}{s_k^T{\mathbf{H}}_k{s}_k}$ 通过考虑梯度变化来修正Hessian矩阵，以保持正定性。

BFGS和DFP不同的地方还在于计算步长时，DFP用$H\ast \nabla f$算，BFGS用$H^{-1}\ast \nabla f$算，相当于BFGS是对黑塞矩阵进行估计，而DFP是对黑塞矩阵的逆进行估计。

DFS与BFGS为什么要这样设置？推导参考