共轭梯度法

1. 简介

共轭梯度法是一种迭代方法。

1.1 等价

（a）线性方程Ax=b

（b）优化问题

（1.1），并有（1.2）

从而（a）与（b）具有相同的解。

如果令（1.3），则当x=x_k时，有（1.4）。

2. 共轭梯度方法

2.1 什么是共轭？

给定一个对称正定矩阵A，存在一组非零向量 ,若满足下式（2.1），则称这些向量关于矩阵A共轭。

（2.1）

2.2 共轭梯度法

给定一个起始点x_0，以及一组非零向量,我们将按照公式（2.2）来生成序列{x_k}，

（2.2），其中 α是迭代步长。

将（2.2）式代入优化函数（1.1），可得如下表达式：

（2.3）

为了最小化（2.3）式，需要对上式关于参数α_k进行优化，即满足（2.4），因此通过求解（2.4）式可以得到最佳迭代步长α_k，具体如下：

（2.4）

结论：如何求出非零共轭向量组？一般来说，可以选择矩阵A的特征向量。

3. 线性共轭梯度算法伪代码

Given x_0;

Set  ;

while 

end（while）

4. 非线性共轭梯度算法伪代码

Given x_0;

Evaluate  ;

Set  ;

while 

  Compute  α_k and set ;

        Evaluate  ;

end (while)

5. 小结

适合那些目标函数的梯度信息难以获取的优化问题。

6. 参考文献

Numerical Optimization

http://www.codelast.com/?p=8095