共轭梯度法的推导与完整算法

共轭梯度法

学习自知乎：https://www.zhihu.com/question/27157047 and wikipedia and 非线性规划课

简介

在数值线性代数中，共轭梯度法是一种求解对称正定线性方程组Ax=b的迭代方法。

事实上，求解Ax=b等价于求解： $min||Ax-b|{|}_2^2$ ,将其展开后可以得到：$min{x}^T{A}^{T}Ax-b^{T}Ax+b^{T}b$ ,也就是等价于求解$min\frac{1}{2}{x}^T{A}^{T}Ax-b^{T}Ax$ 。于是解方程问题就转化为了求解二次规划问题(QP)。

共轭梯度法是介于梯度下降法与牛顿法之间的一个方法，是一个一阶方法。它克服了梯度下降法收敛慢的缺点，又避免了存储和计算牛顿法所需要的二阶导数信息。

在n维的优化问题中，共轭梯度法最多n次迭代就能找到最优解（是找到，不是接近），但是只针对二次规划问题。

共轭梯度法的思想就是找到n个两两共轭的共轭方向，每次沿着一个方向优化得到该方向上的极小值，后面再沿其它方向求极小值的时候，不会影响前面已经得到的沿哪些方向上的极小值，所以理论上对n个方向都求出极小值就得到了n维问题的极小值。

算法推导过程

目标函数的标准形式：

${\min }_{x\in R^n}\frac{1}{2}{x}^{T}Qx-b^{T}x$

Q-conjugate: 对于正定矩阵Q，如果非零向量x,y是Q-conjugate的，那么

$x^{T}Qy=0$

我们需要找到n个相互Q-conjugate的基向量$d_1,d_2,\dots ,d_n$，它们相互共轭且线性无关。

因此空间中任意向量x都可以用这组基向量表示：

$x={\sum }_{i=1}^n{a}_i{d}_i$

因此我们的目标函数可以改写为：
$$\begin{gathered} \underset{a_1,...,a_n\in R^n}{\min }\frac{1}{2}(\sum _{i=1}^n{a}_i{d}_i{)}^{T}Q(\sum _{j=1}^n{a}_j{d}_j)-b^T(\sum _{i=1}^n{a}_i{d}_i) \\ =\underset{a_1,...,a_n\in R^n}{\min }\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{a}_i{a}_j{d}_i^{T}Q{d}_j-\sum _{i=1}^n{a}_i{b}^T{d}_i \end{gathered}$$
因为$d_1,d_2,\dots d_n$是Q-conjugate，所以由于$d_{i}Q{d}_j=0,ifi\ne j$，上式可以继续简化为
$$\underset{a_1,...,a_n\in R^n}{\min }\frac{1}{2}\sum _{i=1}^n{a}_i^2{d}_i^{T}Q{d}_i-\sum _{i=1}^n{a}_i{b}^T{d}_i$$
将求和符号提出来后，可以得到
$$\underset{a_1,...,a_n\in R^n}{\min }\frac{1}{2}\sum _{i=1}^n(a_i^2{d}_i^{T}Q{d}_i-a_i{b}^T{d}_i)$$
原本我们的问题是寻找一个向量x，使得目标函数值最优。现在我们用$a_1,a_2,\dots a_n$来表示$x=(x_1,x_2,\dots .,x_n)$，也就是我们的任务变为优化$a_1,a_2,\dots ,a_n$了。

为了看的清楚点，我们把求和分开来写：
$$\underset{a_1,...,a_n\in R^n}{\min }\frac{1}{2}(a_1^2{d}_1^{T}Q{d}_1+a_1{b}^T{d}_1)+\frac{1}{2}(a_2^2{d}_2^{T}Q{d}_2+a_2{b}^T{d}_2)+...+\frac{1}{2}(a_n^2{d}_n^{T}Q{d}_n+a_n{b}^T{d}_n)$$
这样，我们分别求第一项$\frac{1}{2}(a_1^2{d}_1^{T}Q{d}_1+a_1{b}^T{d}_1)$的最小值，然后第二项，即可。

第一项是一个二次函数，求最小值我们直接求导即可：

$a_1=\frac{b^T{d}_1}{d_1^{T}Q{d}_1}$ ，同样可得：

$a_i=\frac{b^T{d}_i}{d_i^{T}Q{d}_i}$

所以最优解$x^{\ast }={\sum }_{i=1}^n{a}_i{d}_i$，将上式代入可得

$x^{\ast }={\sum }_{i=1}^n\frac{b^T{d}_i}{d_i^{T}Q{d}_i}{d}_i$

现在，我们只需要构建Q-conjugate向量组 $d_1,d_2,\dots ,d_n$。有一种称为Gram-Schmidt过程的算法可以用来找到这组向量。在实际算法实现中，我们往往是边求$a_i$,边求$d_i$。下面给出完整的共轭梯度算法。

完整算法

输入：正定矩阵Q（A），初始向量$x_0$，向量b

输出：最优解对应的向量$x_{k+1}$

$r_0:=b-Qx_0 $ (r_i为第i次迭代的误差)

$d_0:=r_0$ (d_i是我们要求的共轭向量)

$k:=0$ (k表示第几次迭代)

repeat

  ${\alpha }_k:=\frac{r_k^T{r}_k}{d_k^{T}Q{d}_k}$ (该项为学习率，是求出来的，对应的是之前说的a_i)

  $x_{k+1}:=x_k+{\alpha }_k{d}_k$

  $r_{k+1}:=r_k-{\alpha }_{k}Q{d}_k$

  如果$r_{k+1}$足够小，则提前退出循环 （也就是认为已经找到最优解了）

  ${\beta }_k:=\frac{r_{k+1}^T{r}_{k+1}}{r_k^T{r}_k}$

  $d_{k+1}:=r_{k+1}+{\beta }_k{d}_k$ （Gram-Schmidt过程求d_k）

  k:=k+1

end repeat

The result is $x_{k+1}$