共轭梯度法

共轭梯度法

我们知道最速下降法和共轭梯度法的目的都是一致的，那就是通过变分法求解线性方程组。

大前提是该线性方程组的系数矩阵必须是对称正定矩阵

我们做用迭代法解线性方程组的时候只关注两件事情
1.方向
2.步长

方向是在求出梯度方向的前提下，添加正则项，使得前后两次方向互为共轭所得出的方向向量。

步长是使得该次下降达到最深位置的步长

代码如下

function [ X ] = conjugateGradient( A, b, X0, e )
%conjugateGradient: conjugate gradient method
%Input   -     A: coefficient matrix
%        -     b: constant term
%        -    X0: X0 is the initial value of item
%        -     e: e is the termination condition of iteration
%Output  -     X: the solution of equations
X = X0;
% r 为剩余向量
r = b-A*X;
% d 为下降方向
% 第0 步的下降方向为负的梯度方向
d = r;
%更新第0步的步长
alpha = (r.*d)/(d'*A*d);
%完成第一次迭代
X = X + alpha.*d;
%以后的搜索方向都是共轭的方向
while(norm(r)>e)
    %更新新的梯度方向
    r = b-A*X;
    %更新方向
    %更新上一次的方向在这一次方向的表达式上的系数
    beta = -(r'*A*d)/(d'*A*d);%这里的d是上一次的下降方向
    d = r + beta.*d;
    %方向上的更新完成
    %更新步长
    alpha = (r.*d)/(d'*A*d);
    X = X + alpha.*d;
end

end

测试

输入参数：
X0 = [0;0;0]
b = [1;1;1]
e = eps
挑一个对角占优的矩阵

结果如下：

验证一下：

测试成功！