第十章 共轭方向法

10.1引言

从效率上，共轭方向法位于最速下降法和牛顿法之间，具有以下特性：
1、对于n维二次型问题，能够在n步之内得到结果。
2、作为共轭方向法的典型代表，共轭梯度法不需要黑塞矩阵。
3、不需要存储的矩阵，也不需要求逆。

10.2 基本的共轭方向算法

针对n维二次型函数的最小化：

其中，。
基本的共轭方向算法。给定初始点和一组关于共轭的方向,迭代公式为：

10.3 共轭梯度法

共轭梯度法不需要提前给定Q共轭方向，而是随着迭代不断产生Q共轭方向，在每次迭代中，利用上一个搜索方向和目标函数在当前迭代点的梯度向量之间的线性组合构造一个新方向，使其与前面已经产生的搜索方向组成Q共轭方向。这就是共轭梯度法这一名字的由来。