最优化学习笔记(八)——共轭方向法

     从这节开始,将学习共轭方向法的相关内容,本篇先做一个简短的开篇。共轭方向法的计算效率不如之前的牛顿法,但是也优于最速下降法。它有以下优势:

  1. 对于 n 维二次型问题,能够在 n 步之内得到结果;
  2. 作为共轭方向的典型代表,共轭梯度法不需要计算hessian矩阵;
  3. 不需要存储 n×n 矩阵,也不需要对其进行求逆运算。

     如果 Rn 中的两个方向 d(1) d(2) 满足 d(1)TQd(2)=0 ,则他们是关于 Q 共轭的。由此给出以下的定义:
定义1 Q n×n 的对称实矩阵,对于方向 d(0)d(1),d(m) ,如果对于所有 ij ,有 d(i)TQd(j)=0 ,则称他们是关于 Q 共轭的。

引理1 Q n×n 的对称正定矩阵,如果方向 d(0)d(1),d(k)Rn,kn1 非零,且是关于 Q 共轭的,那么它们是线性无关的。

你可能感兴趣的:(最优化)