漫步最优化三十九——Fletcher-Reeves法

你的目光像桥梁，
指引我通往你心路的捷径。
你的魅力像磁铁，
加快我靠向你身边的步伐。
想在你颈边轻轻呼吸，
想在你耳边吐露真言，
想成为你生命的韵律。
Pasito a pasito, suave suavecito
Nos vamos pegando, poquito a poquito
Y es que esa belleza es un rompecabezas
Pero pa montarlo aun tengo la pieza
——畅宝宝的傻逼哥哥
Fletcher-Reeves法是共轭梯度法的变种，它的主要特征是参数 αk,k=0,1,2,… 是用线搜索最小化 f(x+αdk) 确定的，这与最速下降或者牛顿法一样。而不同点在于 dk 是对 dk−1,dk−2,…,d0 共轭，而不是最速梯度方向或者牛顿方向。
如果所求的问题是凸的，二次的且方向按共轭梯度发选择，那么

df(xk+αdk)dα=gTk+1dk=0

其中 k=0,1,2,… ，更进一步，共轭的方向集合确保

df(xk+αdi)dα=gTk+1di=0for 0≤i≤k

或者

gTkdi=0for 0≤i<k

所以通过线搜索确定的 αk 等价于共轭梯度法。因为线搜索需要更多的计算量，所以Fletcher-Reeves的修正是退化的一步，但不管怎样，这样做得到两个非常明显的好处：

• 这个修正使得该方法更加适应非二次问题的最小化，这是因为对不在解邻域内的点， f(x) 沿着 dk 方向能够更大程度的减少，这是因为对于非二次问题，共轭梯度法得到的 α 沿着 dk 方向不会得到最小值。
• 这个修正避免了推导计算海森矩阵。

如果每 n 次迭代后重新初始化，那么Fletcher-Reeves算法能够收敛，该算法的具体实现如下：

算法1：共轭梯度算法步骤1输入x0并初始化容忍误差ε步骤2令k=0计算g0并令d0=−g0步骤3求αk,也就是最小化f(xk+αdk)的α令xk+1=xk+αkdk步骤4如果∥αkdk∥<ε,输出x∗=xk+1,f(x∗)=fk+1算法结束步骤5如果k=n−1,令x0=xk+1,然后回到步骤2步骤6计算gk+1计算βk=gTk+1gk+1gTkgk令dk+1=−gk+1+βkdk令k=k+1然后回到步骤3