统计学习方法——牛顿法和拟牛顿法

      牛顿法(Newton Method)和拟牛顿法(quasi-Newton Method)以及梯度下降法是求解无约束最优化问题的常用方法。牛顿法通过每次求解目标函数的Hessian Matixd的逆矩阵迭代求解最优解；拟牛顿法通过正定矩阵近似Hessian Matrix的逆矩阵迭代求解最优解。

Hessian Matrix ：

     设为的多元变量函数，且有二阶连续偏导，则的Hessian Matrix定义为：                                                                                                                                                      

Positive Matrix：

      设，如，对任意的且时满足，则为正定矩阵

二阶泰勒展开：

                                         

      其中表示在处偏导。因此，函数有极值的条件为在某点（极值点）的偏导为0,特别地，当

为正定矩阵时，函数的极值为极小值。

牛顿法迭代：

     设起始点为,求目标函数的极小值，做为第k+1次的迭代点

                                                

      令

      则（记）

      可以看出，极值点由迭代产生。

      由于要求解，计算比较复杂，可以通过构造正定矩阵近似替代，即拟牛顿法。

拟牛顿条件：

      根据（*）有：

      记,,则有：称为拟牛顿条件

拟牛顿法迭代：

      设是的近似，同时满足拟牛顿条件：，每次迭代更新：

     1) DFP algorithm:

           ,其中满足：：

          构造矩阵：

     2) BFGS algorithm:  ()

          ，其中满足：

          构造矩阵：

     3) Broyden algorithm:

          构造DFP和BFGS的线性组合，形成一类拟牛顿条件的方法，称为Broyden-like algorithm: