最优化方法Python计算：BFGS算法

按秩1法（详见博文《最优化方法Python计算：秩1拟牛顿法》）计算的修正矩阵${\mathbf{Q}}_{k+1}={\mathbf{Q}}_k+{\mathbf{E}}_k$无法保证其正定性。这时，${\mathbf{d}}_{k+1}=-{\mathbf{Q}}_{k+1}{\mathbf{g}}_{k+1}$可能不是$f(\mathbf{x})$在${\mathbf{x}}_{k+1}$处的下降方向，致使算法失败。要摆脱秩1法的这一窘境，需另辟蹊径。很自然的想法是“秩2”修正：设${\mathbf{Q}}_k$对称正定，令修正矩阵
$${\mathbf{E}}_k=\frac{\Delta {\mathbf{x}}_k\Delta {\mathbf{x}}_k^{\top }}{\Delta {\mathbf{x}}_k^{\top }\Delta {\mathbf{g}}_k}-\frac{{\mathbf{Q}}_k\Delta {\mathbf{g}}_k\Delta {\mathbf{g}}_k^{\top }{\mathbf{Q}}_k}{\Delta {\mathbf{g}}_k^{\top }{\mathbf{Q}}_k\Delta {\mathbf{g}}_k}$$
于是得到${\mathbf{Q}}_{k+1}$的秩2修正公式
$${\mathbf{Q}}_{k+1}={\mathbf{Q}}_k+{\mathbf{E}}_k={\mathbf{Q}}_k+\frac{\Delta {\mathbf{x}}_k\Delta {\mathbf{x}}_k^{\top }}{\Delta {\mathbf{x}}_k^{\top }\Delta {\mathbf{g}}_k}-\frac{{\mathbf{Q}}_k\Delta {\mathbf{g}}_k\Delta {\mathbf{g}}_k^{\top }{\mathbf{Q}}_k}{\Delta {\mathbf{g}}_k^{\top }{\mathbf{Q}}_k\Delta {\mathbf{g}}_k}.(1)$$
利用式(1)作为正定阵${\mathbf{Q}}_{k+1}$修正公式的拟牛顿法是由Broyden，Fletcher，Goldfarb和Shanno在20世纪70年代各自独立提出来的，故常称为BFGS算法。可以证明：
定理1 （1）设${\mathbf{Q}}_k$对称正定，由式(1)确定的${\mathbf{Q}}_{k+1}$正定，当且仅当$\Delta {\mathbf{x}}_k^{\top }\Delta {\mathbf{g}}_k>0$。
（2）设目标函数$f(\mathbf{x})$，$\mathbf{x}\in {\text{R}}^n$一阶连续可微，且有极小值点${\mathbf{x}}_0$。则BFGS算法每次迭代均有$\Delta {\mathbf{x}}_k^{\top }\Delta {\mathbf{g}}_k>0$。
BFGS算法是一个改进了的拟牛顿算法，读者可作为练习用Python实现BFGS算法。Python的scipy.optimize为用户提供了BFGS方法，只需要在调用minimize时将’BFGS’传递给method参数即可用BFGS方法计算目标函数的最优解。
例1 用scipy.optimize提供的BFGS方法计算Rosenbrock函数的最优解，给定初始点${\mathbf{x}}_1=\left(\begin{array}{c}100\\ 100\end{array}\right)$。
解：下列代码完成本例计算。

import numpy as np                                      #导入numpy
from scipy.optimize import rosen, minimize              #导入rosen, minimize
x=np.array([100,100])                                   #设置初始点
res=minimize(rosen,x,method='BFGS')                     #计算最优解
print(res)

运行程序，输出

      fun: 1.8831204186846363e-11
 hess_inv: array([[0.49113161, 0.98272927],
       [0.98272927, 1.97132641]])
      jac: array([ 2.16488885e-06, -9.42470479e-07])
  message: 'Optimization terminated successfully.'
     nfev: 1488
      nit: 385
     njev: 496
   status: 0
  success: True
        x: array([0.99999566, 0.99999131])

这意味着BFGS方法从初始点${\mathbf{x}}_1=\left(\begin{array}{c}100\\ 100\end{array}\right)$起，迭代385次算得Rosenbrock函数的最优解${\mathbf{x}}_0$的近似值为$\left(\begin{array}{c}0.99999566\\ 0.99999131\end{array}\right)$。虽然运行效率未必优于秩1算法（见博文《最优化方法Python计算：秩1拟牛顿法》中例），但根据定理1，算法运行的可靠性得到了保证。