拟牛顿法

拟牛顿法

基本思路：

为了避免$F(x^{(k)}{)}^{-1}$这种矩阵求逆运算，可以通过设计其近似矩阵来代替。
$$x^{(k+1)}=x^{(k)}-\alpha H_k{g}^{(k)}$$
拟牛顿法的迭代公式：
$$\begin{gathered} d^{(k)}=-H_k{g}^{(k)} \\ {\alpha }_k=arg\underset{\alpha ⩾0}{\min }f(x^{(k)}+\alpha d^{(k)}) \\ {x}^{(k+1)}=x^{(k)}+{\alpha }_k{d}^{(k)} \end{gathered}$$

黑塞矩阵逆矩阵的近似

$$g^{(k+1)}-g^{(k)}=Q(x^{(k+1)}-x^{(k)})$$

即：
$$△g^{(k)}=Q△x^{(k)}$$

$$H_{k+1}△g^{(i)}=△x^{(i)}$$

秩1修正公式

$$H_{k+1}=H_k+{\alpha }_k{z}^{(k)}{z}^{(k)T}$$

其中，$rank{z}^{(k)}{z}^{(k)T}=1$，故称为秩1修正算法。

秩1算法过程

1. 令$k=0$，选择初始点$x^{(0)}$，任选一个对称正定实矩阵$H_0$，一般选单位矩阵；
2. 如果$g^{(k)}=0$，停止迭代；否则，令$d^{(k)}=-H_k{g}^{(k)}$；
3. 计算${\alpha }_k=-\frac{g^{(k)}{d}^{(k)}}{d^{(k)T}Q{d}^{(k)}},x^{(k+1)}=x^{(k)}+{\alpha }_k{d}^{(k)}$；
4. 计算$△x^{(k)}=x^{(k+1)}-x^{(k)}={\alpha }_k{d}^{(k)},g^{(k+1)}=Q{x}^{(k+1)},△g^{(k)}=g^{(k+1)}-g^{(k)}$；
5. 计算$H_{k+1}=H_k+\frac{(△x^{(k)}-H_k△g^{(k)})(△x^{(k)}-H_k△g^{(k)}{)}^T}{△g^{(k)T}(△x^{(k)}-H_k△g^{(k)})}$；
6. 返回2，直到$g^{(k)}=0$。

DFP算法

1. 令$k=0$，选择初始点$x^{(0)}$，任选一个对称正定实矩阵$H_0$，一般选单位矩阵；
2. 如果$g^{(k)}=0$，停止迭代；否则，令$d^{(k)}=-H_k{g}^{(k)}$；
3. 计算${\alpha }_k=-\frac{g^{(k)}{d}^{(k)}}{d^{(k)T}Q{d}^{(k)}},x^{(k+1)}=x^{(k)}+{\alpha }_k{d}^{(k)}$；
4. 计算$△x^{(k)}=x^{(k+1)}-x^{(k)}={\alpha }_k{d}^{(k)},g^{(k+1)}=Q{x}^{(k+1)},△g^{(k)}=g^{(k+1)}-g^{(k)}$；
5. 计算$H_{k+1}=H_k+\frac{△x^{(k)}△x^{(k)T}}{△x^{(k)T}△g^{(k)}}-\frac{[H_k△g^{(k)}][H_k△g^{(k)}{]}^T}{△g^{(k)T}{H}_k△g^{(k)}}$；
6. 返回2，直到$g^{(k)}=0$。

BFGS算法

1. 令$k=0$，选择初始点$x^{(0)}$，任选一个对称正定实矩阵$H_0$，一般选单位矩阵；
2. 如果$g^{(k)}=0$，停止迭代；否则，令$d^{(k)}=-H_k{g}^{(k)}$；
3. 计算${\alpha }_k=-\frac{g^{(k)}{d}^{(k)}}{d^{(k)T}Q{d}^{(k)}},x^{(k+1)}=x^{(k)}+{\alpha }_k{d}^{(k)}$；
4. 计算$△x^{(k)}=x^{(k+1)}-x^{(k)}={\alpha }_k{d}^{(k)},g^{(k+1)}=Q{x}^{(k+1)},△g^{(k)}=g^{(k+1)}-g^{(k)}$；
5. 计算$H_{k+1}=H_k+(1+\frac{△g^{(k)T}{H}_k△g^{(k)}}{△g^{(k)T}△x^{(k)}})\frac{△x^{(k)}△x^{(k)T}}{△x^{(k)T}△g^{(k)}}-\frac{H_k△g^{(k)}△x^{(k)T}+(H_k△g^{(k)}△x^{(k)T}{)}^T}{△g^{(k)T}△x^{(k)}}$；
6. 返回2，直到$g^{(k)}=0$。