共轭梯度法(CG法)

    数学上，共轭梯度法是求解特定线性系统的数值解的方法，其中那些矩阵为对称和正定。共轭梯度法是一个迭代方法，所以它适用于稀疏矩阵系统，因为这些系统对于象乔莱斯基分解这样的直接方法太大了。这种系统在数值求解偏微分方程时相当常见。 共轭梯度法也可以用于求解无约束的最优化问题。

    双共轭梯度法提供了一种处理非对称矩阵情况的推广。关于CG方法的详尽阐述，请参考胡家赣的《线性代数方程组的迭代解法》一书第五章。

 

方法的表述

设我们要求解下列线性系统

其中n-×-n矩阵A 是对称的(也即，A^T = A)，正定的(也即，x^TAx > 0 对于所有非0向量x属于Rⁿ)，并且是实系数的。

将系统的唯一解记作x_*。

算法

给了初始迭代值x_0，可得r_{0 = b - A*x0，取p1 = r0，即最速下降方向，然后对k = 1, 2.....}

经过一些简化，可以得到下列求解Ax = b的算法，其中A是实对称正定矩阵。

x ₀ := 0

k := 0

r ₀ :=  b

repeat until  r _k is "sufficiently small":

k :=  k + 1

if k = 1

p ₁ :=  r ₀

else

end if

x _k :=  x _k-1 + α _k  p _k

r _k :=  r _k-1 - α _k  A  p _k

end repeat

结果为 x _k