最速下降法(Steepest descent)与共轭梯度法(Conjugate gradient)

目标问题：

初始化参数：

在第一步迭代时(k=0)，共轭梯度法等同于最速下降法：

采用牛顿迭代法搜寻k=0时适当的步长因子：

       

当k=1时，将带入原迭代方程，并采用最速下降法迭代：

再次采用牛顿迭代法搜寻k=1时适当的步长因子：

将带入原迭代方程，并采用最速下降法迭代：

     

。。。。。。利用最速下降法的迭代方法，重复多次的迭代。

---

当k=1时采用共轭梯度法迭代：

 

采用牛顿迭代法搜寻k=1时适当的步长因子：

         

将带入原迭代方程，并采用共轭梯度法迭代：

     

。。。。。。利用共轭梯度法的迭代方法，重复多次的迭代。