共轭梯度（凸优化方法）

我们这里定义共轭梯度要解决的问题是一个**正定二次型**的最优化问题，

形式化为：

$$mi{n}_{x}f(X)=\frac{1}{2}{X}^{T}AX-b^{T}X$$

$X$是我们优化的参数向量，$A$是正定系数矩阵。

上面这个正定二次型导数（梯度）为：

$$g＝AX-b$$

因此此二次型取最小值时导数为0，即：$$A{X}^{\ast }=b$$

因此我们的目标就是通过共轭梯度求取$X^{\ast }$

残差：在梯度下降法中，某一个更新方向会被更新多次，说明在一次更新中这个方向并没有被更新完，这个方向还存在残差，所以未来还会对这个方向进行更新。而在最速梯度下下降中就没有这个问题，因为它是更新一个方向就会直接更新到底。共轭梯度是一种类似于最速下降的方法，所以也分为两步：求步长，求更新方向。

定义第t次迭代时当前参数向量与最优参数向量之间的误差：

$$e_t=X^{\ast }-X_t$$

定义第t次迭代的残差为迭代解在方程中的偏差(梯度反方向)：$$r_t=b-A{X}_t$$,残差和误差之间的关系是：$$r_t=b-A{X}_t=b-A(X^{\ast }-e_t)=A{e}_t$$由于残差的方向就是梯度的反方向，所以，梯度更新公式为：$$X_{t+1}=X_t+{\alpha }_t{r}_t$$

在共轭梯度中为了更新的方向明确，我们希望每次优化方向与误差方向正交，然后我们再控制每次更新的步长是使一次将一个方向更新完。这样我们需要更新的次数理论上就是向量空间的维数。

第一步我们来求一下步长：

同最速梯度下下降中一样，步长$\alpha$满足：
$${\alpha }_t=argmi{n}_{\alpha }f(X_t+{\alpha }_k{r}_t)$$
也就是把$X_t$和$d_t$看做长数，对$f(X_{t+1})$求$\alpha$的导数，也就是在当前$X_t$和更新方向$d_t$下，找到函数极值，这样就可以把$d_t$这个方向更新完全。 对$\alpha$求导可得:
$$\frac{df(X_t+{\alpha }_k{r}_t)}{d{\alpha }_t}=[A(X_t+{\alpha }_k{r}_t)-b{]}^T{r}_t]={\alpha }_k{r}_t^{T}A{r}_t-r_t^T{r}_t=0$$注意$A$是正定系数矩阵，其转置为其本身。所以可以得到步长为：
$${\alpha }_t=\frac{r_t^T{r}_t}{r_t^{T}A{r}_t}$$
由此我们也可以使用迭代法来求下一个更新使用的残差项$r_{t+1}$,$$r_{t+1}=b-A{X}_{t+1}=b-A{X}_t-\alpha A{r}_t=r_t-\alpha A{r}_t$$
上面是最速下降的步长的求法，也可以看最速下降法用于正定二次型。
在最速下降法中，相邻的更新方向是互相垂直，在共轭梯度中我们是希望找一组互相垂直的方向来更新，每一次更新，都是更新这组相互正交的方向中一个，这样就不会重复更新某一个方向。

一种很好的想法就是，我们让这些更新互相正交的方向和误差也正交，这样每一次更新，就可以在一个维度上消除该维度上的误差,这样只需要空间的维数次更新就可以达到目标值。也就是我们希望：
$$r_t^T{e}_{t+1}=0$$但是其中$e_{t+1}$是未知的，因为$X^{\ast }$是未知的。
为了避免求$e_{t+1}$，实际上我们是使用矩阵$A$将误差向量$e_{t+1}$，转化到A组成的列空间中，只要有优化方向与这个新向量正交就可以了，即：$$r_t^{T}A{e}_{t+1}=0$$此时$r_t$与$e_{t+1}$属于共轭正交。A就是轭。
我们来求共轭梯度的步长：
　　　　　　　　　　　　　　$r_t^T{e}_{t+1}=0$
　　　　　　　　　　　　　　$r_t^T{e}_{t+1}=r_t^{T}A[e_t+X_t-X_{t+1}]$
　　　　　　　　　　　　　　　　　$=r_t^{T}A[e_t+{\alpha }_t{r}_t]$
　　　　　　　　　　　　　　　　　$=r_t^{T}A{e}_t+{\alpha }_t{r}_t^{T}A{r}_t=0$
　　　　　　　　　　　　　　　　　解得：
　　　　　　　　　　　　　　${\alpha }_t=-\frac{r_t^{T}A{e}_t}{r_t^{T}A{r}_t}$
　　　　　　　　　　　　　　${\alpha }_t=-\frac{r_t^{T}A(X^{\ast }-X_t)}{r_t^{T}A{r}_t}$
由于梯度等于$g_t＝A{X}_t-b$，且$A{X}^{\ast }=b$，所以分子上的$A(X^{\ast }-X_t)$展开得到：$$b-(g_t+b)=g_t$$所以最终步长为：$${\alpha }_t=-\frac{r_t^T{g}_t}{r_t^{T}A{r}_t}$$，这样我们就把$e_t$消除了。

求方向：

下面我们来求更新方向：寻找一组关于A的正交基(因为更新方向为了消除$e_t$,已经与$e_t$关于$A$共轭正交，所这组正交基也是关于$A$正交的)，首先，假设我们有一组关于解空间的线性无关的基，记为$u_1,u_2,...u_n$，那么我们可以根据这一组基，通过Gram-Schmidt正交变化求得一组关于A的正交基$d_1,d_2...d_n$。过程如下，首先，令$d_1=u_1$,然后对于$d_2$,我们去掉和第一个向量共线的部分，去掉的比例是${\beta }_{21}$$$d_2=u_2+{\beta }_{21}{d}_1$$,然后对于$d_3$,我们去掉和第一、第二个向量共线的部分，去掉的比例是${\beta }_{31}，{\beta }_{32}$$$d_3=u_3+{\beta }_{31}{d}_1+{\beta }_{32}{d}_2$$….对于$d_n$,我们去掉和第一、第二 … 个向量共线的部分，去掉的比例是${\beta }_{n1}，{\beta }_{n2}......$所以有$$d_n=u_n+{\beta }_{n1}{d}_1+{\beta }_{n2}{d}_2$$
即$$d_n=u_n+\sum _{k=1}^{n-1}{\beta }_{n,k}{d}_k$$咋么求这些系数呢，由于关于正交，所以有：$$d_n^{T}A{d}_j=u_n^{T}A{d}_j+\sum _{k=1}^{n-1}{\beta }_{n,k}{d}_k^{T}A{d}_j=u_n^{T}A{d}_j+{\beta }_{nj}{d}_j^{T}A{d}_j=0(这里由于正交消除很多项)$$解出$${\beta }_{nj}=-\frac{u_n^{T}A{d}_j}{d_j^{T}A{d}_j}$$
注意这里只求出$d_n$中对于$d_j$的系数，还有n-3个系数。所以求系数要用很多计算资源。算法复杂度为$O(N^2)$。
在共轭梯度中我们将残差作为Gram-Schmidt正交变化的输入，也就是$d_1=r_1$，然后计算步长${\alpha }_1$更新$X$得到$X_2$，再计算$r_2$，和$d_2$,${\alpha }_2$…就这样不断进行下去，直至收敛，这就是整个共轭梯度算法。

1.https://blog.csdn.net/yucong96/article/details/82256392
2.强化学习精要 冯超