牛顿法

1. 定义

用迭代点的梯度和二阶导数对目标函数进行二次逼近，把二次函数的极小点作为新的迭代点，不断重复此过程，直到找到最优点。

2. 原理

目标函数f(x)在x_k的泰勒展开式前三项为：

（2.1）

其中g_k是目标函数的一阶梯度，H_k是海森矩阵。

x为极小值点的一阶必要条件是：

（2.2）

令下降方向 p  为，则（2.3）

将（2.3）式代入（2.1）式，可得：

（2.4）

当Hk正定矩阵时，为了最小化目标函数（2.4），就需要优化 α（一般来说，会用Wolfe Condition来优化步长α）  。

3. Goldstein-Price修正

当Hk矩阵不满足正定条件时，得到的 p 有可能不是下降方向，从而需要对下降方向作如下修改：

（2.5）

这样的改进能够提供牛顿法的整体收敛性。

4. 优缺点

优点：充分接近极值点的时，具有二阶收敛速度。

缺点：Hk的矩阵计算量大；线性方程 可能不好求解。

5. 参考文献

Numerical Optimization

http://www.codelast.com/?p=2573

http://www.codelast.com/?p=8052