无约束条件的参数优化（2）--牛顿法

一、牛顿法

在介绍牛顿法之前，先回顾下在数学分析中，对于牛顿法的解释。

在高数中，牛顿法适中估值方法，用于近似计算，是迭代法的一种。

其精髓在于：对于目标方程f(x)=0,首先构造同解方程(等价)：g(x)=F(x)-x=0；

其中，在导数部分的分子表示迭代方向，即：dk，步长由分母矩阵(海森矩阵)的逆矩阵求得。分式整体也被称为牛顿方向。

牛顿法有个巨大的缺点，就是：计算量特别巨大，主要体现在海森矩阵的求逆中。

二、拟牛顿法

有牛顿法可知，对于牛顿法的计算，主要体现在海森矩阵的逆矩阵求解时，计算量特别巨大。于是提出拟牛顿法，主要目的是使用模拟矩阵来近似第k次迭代时的海森矩阵，来简化计算。

在第k次迭代时的数学表达式如下：

常见的拟牛顿法是DFP和BFGS算法。

不论是DFP还是BFGS，尤其要关注的是他们的算法思想：

有taylor公式的二阶展开，并求导，并用模拟矩阵替代海森矩阵的逆矩阵，整理得到：

进一步变量替换，可得：

不论DFG还是BFGS，都是对上面矩阵的求解。此处暂时不再赘述。