共轭梯度法学习笔记

共轭梯度法是介于最速下降法与牛顿法之间的一个方法,它仅需一阶导数信息,但克服了最速下降法收敛慢的缺点,又避免了牛顿法需要存储和计算Hesse矩阵并求逆的缺点。共轭梯度法的基本思想是把共轭性与最速下降法相结合,利用已知点处的梯度构造一组共轭方向,并沿这组方向进行搜索,求出目标函数的极小点。根据共轭方向的基本性质,这种方法具有二次终止性。

用共轭梯度法求解简单多元函数问题:

共轭梯度法学习笔记_第1张图片

共轭梯度法学习笔记_第2张图片

共轭梯度法学习笔记_第3张图片

引入泰勒展开式概念:

f(x)=f\left(x_{0}\right)+f^{\prime}\left(x_{0}\right)\left(x-x_{0}\right)+\frac{f^{(2)}\left(x_{0}\right)}{2 !}\left(x-x_{0}\right)^{2}+\cdots+\frac{f^{(n)}\left(x_{0}\right)}{n !}\left(x-x_{0}\right)^{n}

则对x_{1}x_{2}求一阶偏导得到在x^{(0)}点的梯度方向g_{0}=\nabla f\left(x^{(0)}\right)。那么$g_{0}$$p_{0}$是什么关系呢?注意这道题是求最小值问题,梯度方向是函数局部上升最快方向,则反方向为局部下降最快方向。

题目中\beta有以下几种常见形式

\beta_{j}=\frac{\left\|\nabla f\left(y^{(j+1)}\right)\right\|^{2}}{\left\|\nabla f\left(y^{(j)}\right)\right\|^{2}}

\beta_{j}=\frac{\boldsymbol{g}_{j+1}^{\mathrm{T}}\left(\boldsymbol{g}_{i+1}-\boldsymbol{g}_{j}\right)}{\boldsymbol{g}_{j}^{\mathrm{T}} \boldsymbol{g}_{j}}

\beta_{j}=\frac{\boldsymbol{g}_{i+1}^{\mathrm{T}}\left(\boldsymbol{g}_{i+1}-\boldsymbol{g}_{i}\right)}{\boldsymbol{d}^{(j) \mathrm{T}}\left(\boldsymbol{g}_{j+1}-\boldsymbol{g}_{j}\right)}

\beta_{j}=\frac{\boldsymbol{d}^{(j) T} \nabla^{2} f\left(\boldsymbol{x}^{(j+1)}\right) \boldsymbol{g}_{j+1}}{\boldsymbol{d}^{(j) T} \nabla^{2} f\left(\boldsymbol{x}^{(j+1)}\right) \boldsymbol{d}^{(j)}}

参考网址:

1、数学优化入门:梯度下降法、牛顿法、共轭梯度法

你可能感兴趣的:(共轭梯度法学习笔记)