凸优化笔记6（共轭梯度法）

前言

下面将介绍共轭梯度法，及其推导过程，迭代过程的公式为标红的1，2，3，4，并附有例题。

---

一、共轭梯度法简介

“共轭梯度法”是介于最速下降法与牛顿法之间的一个方法，它仅需利用一阶导数信息，但克服了最速下降法收敛慢的缺点，又避免了牛顿法需要存储和计算Hesse矩阵并求逆的缺点，共轭梯度法不仅是解决大型线性方程组最有用的方法之一，也是解大型非线性最优化最有效的算法之一。 在各种优化算法中，共轭梯度法是非常重要的一种。其优点是所需存储量小，具有步收敛性，稳定性高，而且不需要任何外来参数。”

---

二、基本思想及参数推导

三、示例

---