2月20日 阻尼牛顿法，拟牛顿法（Quasi-Newton Methods）及各种具体实现方法，共轭梯度法（Conjugate Gradient）

阻尼牛顿法

牛顿法与拟牛顿法学习笔记（一）牛顿法
https://blog.csdn.net/itplus/article/details/21896453

https://zhuanlan.zhihu.com/p/37524275

回忆牛顿法：

拟牛顿法（Quasi-Newton Methods）

参考： https://www.cnblogs.com/shixiangwan/p/7532830.html

拟牛顿法是求解非线性优化问题最有效的方法之一，于20世纪50年代由美国Argonne国家实验室的物理学家W.C.Davidon所提出来。Davidon设计的这种算法在当时看来是非线性优化领域最具创造性的发明之一。不久R. Fletcher和M. J. D. Powell证实了这种新的算法远比其他方法快速和可靠，使得非线性优化这门学科在一夜之间突飞猛进。

拟牛顿法的本质思想是改善牛顿法每次需要求解复杂的Hessian矩阵的逆矩阵的缺陷，它使用正定矩阵来近似Hessian矩阵的逆，从而简化了运算的复杂度。 拟牛顿法和最速下降法一样只要求每一步迭代时知道目标函数的梯度。通过测量梯度的变化，构造一个目标函数的模型使之足以产生超线性收敛性。这类方法大大优于最速下降法，尤其对于困难的问题。另外，因为拟牛顿法不需要二阶导数的信息，所以有时比牛顿法更为有效。如今，优化软件中包含了大量的拟牛顿算法用来解决无约束，约束，和大规模的优化问题。

常用的拟牛顿法有DFP算法和BFGS算法。

参考：https://zhuanlan.zhihu.com/p/37524275

DFP算法：

5： BFGS(Broyden-Fletcher-Goldfard-Shano)算法(BFGS algorithm)

6： Broyden类算法(Broyden’s algorithm)

共轭梯度法（Conjugate Gradient）

共轭梯度法是介于最速下降法与牛顿法之间的一个方法，它仅需利用一阶导数信息，但克服了最速下降法收敛慢的缺点，又避免了牛顿法需要存储和计算Hesse矩阵并求逆的缺点，共轭梯度法不仅是解决大型线性方程组最有用的方法之一，也是解大型非线性最优化最有效的算法之一。 在各种优化算法中，共轭梯度法是非常重要的一种。其优点是所需存储量小，具有步收敛性，稳定性高，而且不需要任何外来参数。