【优化方法】拟牛顿法之DFP算法

一、牛顿法回顾

• 上一篇牛顿法(Newton Method)中介绍了牛顿法的基本思路，牛顿法具有二阶收敛性，相比较最速下降法，收敛的速度更快。
• 但是牛顿法也有一个缺点就是：求解Hessian矩阵复杂度比较大

1、下面是第k+1步的牛顿迭代：

• 对于函数$f(X)$，其中$X=[x_1,x_2,\dots ,x_n{]}^T$为向量。在牛顿法的求解过程中，首先是将$f(X)$函数在$X^{k+1}$处展开，并且令$f(X)$函数在$X^{k+1}$处的梯度为：$$\nabla f(X^{k+1})=[\frac{\partial f}{\partial x_1},\frac{\partial f}{\partial x_2},\dots ,\frac{\partial f}{\partial x_n}{]}^T$$
• 泰勒展开为：$$f(X)=f(X^{k+1})+\nabla f(X^{k+1}{)}^T(X-X^{k+1})+\frac{1}{2}(X-X^{k+1}{)}^T{G}_{k+1}(X-X^{k+1})+\cdots +o$$
• $G_{k+1}为X=X^{k+1}$的Hesse矩阵，省略高价无穷小量：$$f(X)=f(X^{k+1})+\nabla f(X^{k+1}{)}^T(X-X^{k+1})+\frac{1}{2}(X-X^{k+1}{)}^T{G}_{k+1}(X-X^{k+1})$$
• 对$X$求导,并令导数为$0$：$$\nabla f(X)=\nabla f(X^{k+1}{)}^T+G_{k+1}(X-X^{k+1})=0$$
• 求出$X$：$$X=X_{k+1}-\frac{\nabla f(X^{k+1})}{G_{k+1}}=X_{k+1}-G_{k+1}^{-1}\nabla f(X^{k+1})$$

二、DFP拟牛顿法：

• 由于求解Hessian矩阵复杂度比较大，于是下面我们利用上一步即第$k$步的信息来求Hessian矩阵：
• 上面得到公式：$$\nabla f(X)=\nabla f(X^{k+1})+G_{k+1}(X-X^{k+1})$$
• 我们令$X=X^k$：$$\nabla f(X^k)=\nabla f(X^{k+1})+G_{k+1}(X-X^{k+1})$$
• 利用上面公式我们可以使用$\nabla f(X^k),\nabla f(X^{k+1}),X^k,X^{k+1}$来模拟出Hesse矩阵的构造过程，此方法便称为拟牛顿法(QuasiNewton)。
• 在拟牛顿法中主要包括：DFP拟牛顿法，BFGS拟牛顿法。这里我们讲解DFP拟牛顿法。
• 化解上面式子：$$G_{k+1}^{-1}(\nabla f(X^k)-\nabla f(X^{k+1}))=X^k-X^{k+1}$$$$G_{k+1}^{-1}(\nabla f(X^{k+1})-\nabla f(X^k))=X^{k-1}-X^k$$
• 令$G_{k+1}^{-1}=H_{k+1}$得:$$H_{k+1}(\nabla f(X^{k+1})-\nabla f(X^k))=X^{k-1}-X^k$$
• 假设下面式子成立：$$H_{k+1}=H_k+E_k$$
• 这样只要我们求出$E_k$就就可以得到$H_{k+1}$，这样我们就将其带入上面的方程中：$$(H_k+E_k)(\nabla f(X^{k+1})-\nabla f(X^k))=X^{k+1}-X^k$$
• 令矩阵$E_k$用下面式子构造：$$E_k=\alpha u_k{u}_k^T+\beta v_k{v}_k^T$$其中$u_k,v_k$为$n\times 1$的向量。
• 令：$\nabla f(X^{k+1})-\nabla f(X^k)=y_k，X^{k-1}-X^k=s_k$:$$H_{k+1}{y}_k=s_k$$$$(H_k+E_k)y_k=s_k$$$$(H_k+\alpha u_k{u}_k^T+\beta v_k{v}_k^T)y_k=s_k$$$$\alpha u_k{u}_k^T{y}_k+\beta v_k{v}_k^T{y}_k=s_k-H_k{y}_k$$
• $u_k^T{y}_k,v_k^T{y}_k$为常数，所以可以移到前面去:$$\alpha (u_k^T{y}_k)u_k+\beta (v_k^T{y}_k)v_k=s_k-H_k{y}_k$$
• 将上面式子中α,β视为变量，其他部分视为常量，这样上面式子就是一个非齐次的线性方程组，它解的可能性有很多，我们取特殊的情况，假设：$u_k=r{H}_k{y}_k,v_k=\theta s_k$则有：$$E_k=\alpha r^2{H}_k{y}_k{y}_k^T{H}_k^T+\beta {\theta }^2{s}_k{s}_k^T$$
• $H_k^T$为对称矩阵：$$E_k=\alpha r^2{H}_k{y}_k{y}_k^T{H}_k+\beta {\theta }^2{s}_k{s}_k^T$$
• 代入：$$\alpha ((r{H}_k{y}_k{)}^T{y}_k)(r{H}_k{y}_k)+\beta ((\theta s_k{)}^T{y}_k)(\theta s_k)=s_k-H_k{y}_k$$$$[\alpha r^2(y_k^T{H}_k{y}_k)+1](H_k{y}_k)+[\beta {\theta }^2(s_k^T{y}_k)-1](s_k)=0$$
• 令：$$\alpha r^2(y_k^T{H}_k{y}_k)+1=0$$$$\beta {\theta }^2(s_k^T{y}_k)-1=0$$
• 得：$$\alpha r^2=-\frac{1}{y_k^T{H}_k{y}_k}$$$$\beta {\theta }^2=\frac{1}{s_k^T{y}_k}$$
• 最后：$$E_k=-\frac{H_k{y}_k{y}_k^T{H}_k}{y_k^T{H}_k{y}_k}+\frac{s_k{s}_k^T}{s_k^T{y}_k}$$
• 由$H_{k+1}=H_k+E_k$可得到，$H_{k+1}$的递推公式：$$H_{k+1}=H_k-\frac{H_k{y}_k{y}_k^T{H}_k}{y_k^T{H}_k{y}_k}+\frac{s_k{s}_k^T}{s_k^T{y}_k}$$