第十一章 拟牛顿法

11.1 引言

牛顿法是一种具有较高实用性的优化问题求解方法。牛顿法如果收敛，则收敛阶数至 少是2。但是，需要指出的是，当目标函数为一般性的非线性函数时，牛顿法不能保证能 够从任意起始点旷的收敛到函数的极小点。总的来说，如果初始点 x(O) 不足够接近极小点，那么牛顿法可能不具有下降特性。

在拟牛顿法中，构造黑塞矩阵逆矩阵的近似矩阵时，只需要用到目标函数值和梯度。 因此，只要确定了合适的近似矩阵构造方法，那么迭代过程中不需要任何涉及到黑塞矩阵以及线性方程求解的计算工作.

11.2 黑塞矩阵逆矩阵的近似

拟牛顿法的基础是获取近似矩阵应该满足的条件，假定目标函数的黑塞矩阵是常数矩阵，与取值无关，即目标函数是二次型函数，则有：

即

记正定实矩阵是近似矩阵的出实矩阵，在给定的下，矩阵应该满足：

因此，近似矩阵满足：