共轭梯度法详细推导分析
共轭梯度法是一种经典的优化算法。算法求解速度较快，虽然比梯度下降法复杂，但是比二阶方法简单。
一、引入
1. 优化模型建立
假定待优化的问题如下所示：
min x f ( x ) = 1 2 x T A x − b T x \min_{x} f(x)=\frac{1}{2}x^TAx - b^Tx xminf(x)=21xTAx−bTx
其中 x x x为待优化变量， A A A为半正定矩阵（在线性代数中，正定矩阵为对称矩阵）， b b b为已知变量。下标k表示优化步数，负梯度为
r k = − ( A x k − b ) r_k =-( Ax_k -b) rk=−(Axk−b)
假设最优变量为 x ∗ x^* x∗，则优化问题可变为求方程 A x ∗ = b Ax^*=b Ax∗=b的解。梯度 r r r也可以称作每一步的残差。误差定义为 x x x与最优变量的差值
e k = x ∗ − x k e_k = x^* - x_k ek=x∗−xk
2. 算法思想简述
虽然梯度下降法的每一步都是朝着局部最优的方向前进的，但是它在不同的迭代轮数中会选择非常近似的方向，说明这个方向的误差并没通过一次更新方向和步长更新完，在这个方向上还存在误差，因此参数更新的轨迹是锯齿状。共轭梯度法的思想是，选择一个优化方向后，本次选择的步长能够将这个方向的误差更新完，在以后的优化更新过程中不再需要朝这个方向更新了。由于每次将一个方向优化到了极小，后面的优化过程将不再影响之前优化方向上的极小值，所以理论上对N维问题求极小只用对N个方向都求出极小就行了。为了不影响之前优化方向上的更新量，需要每次优化方向共轭正交。假定每一步的优化方向用 p k p_k pk表示，可得共轭正交
p i A p j = 0 i ≠ j p_iAp_j = 0 \qquad i\ne j piApj=0i̸=j
由此可得，每一步优化后，当前的误差和刚才的优化方向共轭正交。
p k A e k + 1 = 0 p_kAe_{k+1}=0 pkAek+1=0
若为N维空间优化问题，则每次优化方向可以组成这个空间中的一组基底。 P = { p 1 , p 2 , … , p N } P=\{p_1,p_2,\dots,p_N\} P={p1,p2,…,pN}
二、算法推导
算法只需要解决两个问题：
- 优化方向
- 优化步长
1.优化方向确定
假定第一次优化方向为初始负梯度方向
p 1 = r 1 = b − A x 1 p_1 = r_1 = b-Ax_1 p1=r1=b−Ax1
每一次优化方向与之前的优化方向正交，采用Gram-Schmidt方法进行向量正交化，每次优化方向根据当前步的梯度得出
p k = r k − ∑ i < k p i T A r k p i T A p i p i p_k = r_k-\sum_{i<k}\frac{p_i^TAr_k}{p_i^TAp_i}p_i pk=rk−i<k∑piTApipiTArkpi
便于后面证明，令 β i = p i T A r k p i T A p i \beta_i=\frac{p_i^TAr_k}{p_i^TAp_i} βi=piTApipiTArk
上式在后面还会进一步优化，省去求和符号。
2.优化步长的选取
假定第k步的优化步长为 α k \alpha_k αk。
方法一：
f ( x k + 1 ) = f ( x k + α k p k ) = g ( α k ) f(x_{k+1})=f(x_k+\alpha_kp_k)=g(\alpha_k) f(xk+1)=f(xk+αkpk)=g(αk)，对 α k \alpha_k αk求导令导数为0可得 α k = p k T r k p k T A p k \alpha_k=\frac{p_k^Tr_k}{p_k^TAp_k} αk=pkTApkpkTrk。
方法二：
p k T A e k + 1 = p k T A ( x ∗ − x k + 1 ) = p k T A ( x ∗ − x k + x k − x k + 1 ) = p k T A ( e k − α k p k ) = p k T A e k − α k p k T A p k = 0 \begin{aligned} p_k^TAe_{k+1}&=p_k^TA(x^*-x_{k+1})\\ &=p_k^TA(x^*-x_k+x_k-x_{k+1})\\ &=p_k^TA(e_k-\alpha_kp_k)\\ &=p_k^TAe_k-\alpha_kp_k^TAp_k=0 \end{aligned} pkTAek+1=pkTA(x∗−xk+1)=pkTA(x∗−xk+xk−xk+1)=pkTA(ek−αkpk)=pkTAek−αkpkTApk=0
可得
α k = p k T A e k p k T A p k = p k T A ( x ∗ − x k ) p k T A p k = p k T ( A x ∗ − A x k ) p k T A p k = p k T ( b − A x k ) p k T A p k = p k T r k p k T A p k \begin{aligned} \alpha_k&=\frac{p_k^TAe_k}{p_k^TAp_k}\\ &=\frac{p_k^TA(x^*-x_k)}{p_k^TAp_k}\\ &=\frac{p_k^T(Ax^*-Ax_k)}{p_k^TAp_k}\\ &=\frac{p_k^T(b-Ax_k)}{p_k^TAp_k}\\ &=\frac{p_k^Tr_k}{p_k^TAp_k}\\ \end{aligned} αk=pkTApkpkTAek=pkTApkpkTA(x∗−xk)=pkTApkpkT(Ax∗−Axk)=pkTApkpkT(b−Axk)=pkTApkpkTrk
上式在后文还会进一步化简。
三、三个推论
1.推论一
第k步计算的梯度 r k r_k rk和前k-1步的优化向量 { p i } i = 1 k − 1 \{p_i\}_{i=1}^{k-1} {pi}i=1k−1正交。
证明：
当 i < j i<j i<j
p i T r j = p i T ( A x j − b ) = p i T ( A x j − A x ∗ ) = p i T A e j = p i T A ( e i + 1 − ∑ k = 1 j − 1 β k p k ) = 0 \begin{aligned} p_i^Tr_j &=p_i^T(Ax_j-b) \\ &=p_i^T(Ax_j-Ax^*)\\ &=p_i^TAe_j\\ &=p_i^TA(e_{i+1}-\sum_{k=1}^{j-1}\beta_kp_k)\\ &=0 \end{aligned} piTrj=piT(Axj−b)=piT(Axj−Ax∗)=piTAej=piTA(ei+1−k=1∑j−1βkpk)=0
2.推论二
第k步计算的梯度 r k r_k rk和前k-1步的梯度 { r i } i = 1 k − 1 \{r_i\}_{i=1}^{k-1} {ri}i=1k−1正交。
证明：
当 i < j i<j i<j
r i T r j = ( p i + ∑ k = 1 i − 1 β k p k ) r j = 0 \begin{aligned} r_i^Tr_j=(p_i+\sum_{k=1}^{i-1}\beta_kp_k)r_j=0 \end{aligned} riTrj=(pi+k=1∑i−1βkpk)rj=0
3.推论三
第k步计算的梯度 r k r_k rk和前k-2步的优化向量 { p i } i = 1 k − 2 \{p_i\}_{i=1}^{k-2} {pi}i=1k−2共轭正交。
证明：
r j + 1 T r i = ( b − A x j + 1 ) T r i = ( b − A ( x j + α j p j ) ) T r i = ( b − A x j − α j A p j ) T r i = ( r j − α j A p j ) T r i = r j T r i − α j p j T A r i \begin{aligned} r_{j+1}^Tr_i&=(b-Ax_{j+1})^Tr_i\\ &=(b-A(x_j+\alpha_jp_j))^Tr_i\\ &=(b-Ax_j-\alpha_j Ap_j)^Tr_i\\ &=(r_j-\alpha_jAp_j)^Tr_i\\ &=r_j^Tr_i-\alpha_jp_j^TAr_i \end{aligned} rj+1Tri=(b−Axj+1)Tri=(b−A(xj+αjpj))Tri=(b−Axj−αjApj)Tri=(rj−αjApj)Tri=rjTri−αjpjTAri
当 j = i − 1 j=i-1 j=i−1时， p j T A r i ≠ 0 p_j^TAr_i\ne 0 pjTAri̸=0。
当 j + 1 < i j+1<i j+1<i时， p j T A r i = 0 p_j^TAr_i= 0 pjTAri=0。
四、最终简化
算法在三中基本推导完毕，但是在工程应用中如果每次进行 p k p_k pk的正交化需要对之前所有的优化向量求解 β \beta β，现简化如下：
1. 优化方向简化
由推论三可得
p k + 1 = r k + 1 − p k T A r k + 1 p k T A k k p k = r k + 1 − ( A p k ) T r k + 1 ( A p k ) T p k p k = r k + 1 − ( r k − r k + 1 α ) T r k + 1 ( r k − r k + 1 α ) T p k p k = r k + 1 − ( r k − r k + 1 α ) T r k + 1 ( r k − r k + 1 α ) T ( r k − β k − 1 p k − 1 ) p k = r t + 1 + r k + 1 T r k + 1 r k T r k p k \begin{aligned} p_{k+1}&=r_{k+1}-\frac{p_k^TAr_{k+1}}{p_k^TAk_k}p_k\\ &=r_{k+1}-\frac{(Ap_k)^Tr_{k+1}}{(Ap_k)^Tp_k}p_k\\ &=r_{k+1}-\frac{(\frac{r_{k}-r_{k+1}}{\alpha})^Tr_{k+1}}{(\frac{r_{k}-r_{k+1}}{\alpha})^Tp_k}p_k\\ &=r_{k+1}-\frac{(\frac{r_{k}-r_{k+1}}{\alpha})^Tr_{k+1}}{(\frac{r_{k}-r_{k+1}}{\alpha})^T(r_k-\beta_{k-1}p_{k-1})}p_k\\ &=r_{t+1}+\frac{r_{k+1}^Tr_{k+1}}{r_k^Tr_k}p_k \end{aligned} pk+1=rk+1−pkTAkkpkTArk+1pk=rk+1−(Apk)Tpk(Apk)Trk+1pk=rk+1−(αrk−rk+1)Tpk(αrk−rk+1)Trk+1pk=rk+1−(αrk−rk+1)T(rk−βk−1pk−1)(αrk−rk+1)Trk+1pk=rt+1+rkTrkrk+1Trk+1pk
2. 步长简化
第三个等式引用推论一
α k = p k T r k p k t A p k = ( r k − β k − 1 p k − 1 ) T r k p k t A p k = r k T r k p k T A p k T \begin{aligned} \alpha_k &= \frac{p_k^Tr_k}{p_k^tAp_k}\\ &=\frac{(r_k-\beta_{k-1}p_{k-1})^Tr_k}{p_k^tAp_k}\\ &=\frac{r_k^Tr_k}{p_k^TAp_k^T} \end{aligned} αk=pktApkpkTrk=pktApk(rk−βk−1pk−1)Trk=pkTApkTrkTrk
3. 梯度计算简化
r k + 1 = b − A x k + 1 = b − A ( x k + α k p k ) = b − A x k − α k A p k = r k − α k A p k \begin{aligned} r_{k+1}&=b-Ax_{k+1}\\ &=b-A(x_k+\alpha_kp_k)\\ &=b-Ax_k-\alpha_kAp_k\\ &=r_k-\alpha_kAp_k \end{aligned} rk+1=b−Axk+1=b−A(xk+αkpk)=b−Axk−αkApk=rk−αkApk
最终的推导结束。整理为如下的伪代码
五、伪代码
r 0 = b − A x 0 r_0=b-Ax_0 r0=b−Ax0
p 0 = r 0 p_0=r_0 p0=r0
k=0
while
α k = r k T r k p k T A p k \alpha_k=\frac{r_k^Tr_k}{p_k^TAp_k} αk=pkTApkrkTrk
x k + 1 = x k + α k p k x_{k+1}=x_k+\alpha_kp_k xk+1=xk+αkpk
r k + 1 = r k − α k A p k r_{k+1}=r_k-\alpha_kAp_k rk+1=rk−αkApk
if r k + 1 r_{k+1} rk+1 < ϵ \epsilon ϵ: break
β k + 1 = r k + 1 T r k + 1 r k T r k \beta_{k+1}= \frac{r_{k+1}^Tr_{k+1}}{r_k^Tr_k} βk+1=rkTrkrk+1Trk+1
p k + 1 = r k + 1 + β k p k p_{k+1}=r_{k+1}+\beta_kp_k pk+1=rk+1+βkpk
k = k + 1 k=k+1 k=k+1
return x k + 1 x_{k+1} xk+1