漫谈：Chebyshev多项式，Krylov子空间，Chebyshev迭代，共轭梯度方法

Chebyshev迭代和共轭梯度方法的收敛速度（后者或称误差分析）都与Chebyshev多项式有着紧密联系，因此做一些整理，以期把其中的逻辑理清，推导理顺。只覆盖关键要点，不求面面俱到。

Chebyshev 多项式

标准Chebyshev多项式

与权函数$\rho (y)=\frac{1}{\sqrt{1-y^2}}$对应的正交多项式为Chebyshev多项式。标准的Chebyshev多项式分两段定义：
$$T_n(y)=\{\begin{array}{rlr}& \mathrm{c}\mathrm{o}\mathrm{s}(n\arccos (y))& ,y\in [-1,1]\\ & \frac{1}{2}\left[{\left(y+\sqrt{y^2-1}\right)}^n+{\left(y-\sqrt{y^2-1}\right)}^n\right]& ,y\in \mathbf{R}\setminus [-1,1]\end{array}$$

概述一些基本性质。$n$次的Chebyshev多项式在开区间$(-1,1)$内有$n$个零点，在$[-1,1]$内有$n+1$个符号交错的极值点（$-1$和$+1$交替）。Chebyshev多项式不是奇函数就是偶函数，且随$n$交替变化。

对于任意位置区间$[a,b]$的Chebyshev多项式，都可以通过平移和缩放来化为标准区间$[-1,1]$上的标准Chebyshev多项式。对于$x\in [a,b]$，做变换$y=\frac{x-\frac{1}{2}(b+a)}{\frac{1}{2}(b-a)}$，即有$y\in [-1,1]$：
$$T_n(x)=T_n\left(y=\frac{x-\frac{1}{2}(b+a)}{\frac{1}{2}(b-a)}\right)$$
相应地，权函数也做变换：
$$\rho (x)=\rho \left(y=\frac{x-\frac{1}{2}(b+a)}{\frac{1}{2}(b-a)}\right)=\frac{1}{\sqrt{1-{\left(\frac{x-\frac{1}{2}(b+a)}{\frac{1}{2}(b-a)}\right)}^2}}$$

三项递推关系

记$\theta =\mathrm{a}\mathrm{r}\mathrm{c}\mathrm{c}\mathrm{o}\mathrm{s}y$，利用和差化积公式有
$$\cos ((n+1)\theta )+\cos ((n-1)\theta )=2\cos (n\theta )\cos (\theta )$$
故有
$$T_{n+1}(y)=2y{T}_n(y)-T_{n-1}(y)$$

逼近性质

对之前提到的定义在$x\in [a,b]$上的Chebyshev多项式，按照区间外一点$c\notin [a,b]$来做归一化：
$$T_n(x)=\frac{T_n(x)}{T_n(c)}$$
显然有$T_n(x)\in {\Phi }_{n,c}=\{f\in \mathbf{P}|f(c)=1\}$。后者表示所有在$c$这一点值为1的$n$次多项式的集合。Chebyshev多项式具有如下的逼近性质。
$$||T_n(x)|{|}_{C[a,b]}=\underset{f\in {\Phi }_{n,c}}{\inf }||f|{|}_{C[a,b]}$$
即所有在$c$这一点值为1的多项式里，Chebyshev多项式是取到最小范数的那一个。由有限维空间内范数的等价性，从无穷范数入手证明。

首先说明$T_n(x)$是well-defined的。因为$T_n(y)$的零点都在开区间$(-1,1)$内，因此平移和缩放后$T_n(x)$的零点都在$[a,b]$内，$T_n(c)\ne 0$。

反证法。假设$Y_n\in {\Phi }_{n,c}$，且满足$||Y_n|{|}_{C[a,b]}<||T_n|{|}_{C[a,b]}$。则对于$z_n(x)=T_n(x)-Y_n(x)$，它有一个零点是$c$。

对于标准Chebyshev多项式$T_{n}y$，在$[-1,1]$上的（交错）极值点为$\cos (\frac{k\pi }{n}),k=0,1,...,n$。所以$T_n(x)$在$[a,b]$上的（交错）极值点为$x_k=\frac{b+a}{2}+\frac{b-a}{2}\cos (\frac{k\pi }{n}),k=0,1,...,n$。因为$||Y_n(x)|{|}_{C[a,b]}<||T_n(x)|{|}_{C[a,b]}$，那么自然有
$$|Y_n(x_k)|\le ||Y_n(x)|{|}_{C[a,b]}<||T_n(x)|{|}_{C[a,b]}=|T_n(x_k)|,k=0,1,...,n$$
所以$T_n(x_k)$与$T_n(x_k)-Y_n(x_k)$同号！而$\{x_k\}$是$T_n(x)$的一组符号交错点，那么也是$T_n(x)-Y_n(x)$的一组符号交错点。所以在开区间$(x_k,x_{k+1})$中必至少有$z_n(x)$的一个零点，则$(a,b)$内至少有$z_n(x)$的$n$个不同零点。

加上前述的$c\notin [a,b]$也是$z_n(x)$的一个零点，故它至少有$n+1$个零点，这与它是$n$次多项式矛盾。证毕。

再来估计$||T_n(x)|{|}_{C[a,b]}=\underset{f\in {\Phi }_{n,c}}{\inf }||f|{|}_{C[a,b]}$的大小。
$$||T_n(x)|{|}_{C[a,b]}={\left|\left|\frac{T_n(x)}{T_n(c)}\right|\right|}_{C[a,b]}=\frac{||T_n(x)|{|}_{C[a,b]}}{|T_n(c)|}=\frac{1}{|T_n(c)|}$$
而
$$T_n(c)=T_n\left(\frac{c-\frac{b+a}{2}}{\frac{b-a}{2}}\right)=T_n\left(\frac{-\frac{(b-c)+(a-c)}{2}}{\frac{(b-c)-(a-c)}{2}}\right)=(-1{)}^n{T}_n\left(\frac{(b-c)+(a-c)}{(b-c)-(a-c)}\right)$$
所以
$$|T_n(c)|=T_n\left(\left|\frac{(b-c)+(a-c)}{(b-c)-(a-c)}\right|\right)=T_n\left(\frac{\lambda +1}{\lambda -1}\right)$$
其中$\lambda =\max (\frac{|a-c|}{|b-c|},\frac{|b-c|}{|a-c|})>1$。所以根据标准Chebyshev多项式在$[-1,1]$区间外的表达式，有
$$T_n\left(\frac{\lambda +1}{\lambda -1}\right)\ge \frac{1}{2}{\left[\frac{\lambda +1}{\lambda -1}+\sqrt{{\left(\frac{\lambda +1}{\lambda -1}\right)}^2-1}\right]}^n=\frac{1}{2}{\left(\frac{\sqrt{\lambda }+1}{\sqrt{\lambda }-1}\right)}^n$$
所以最后得到的估计是
$$||T_n(x)|{|}_{C[a,b]}=\frac{1}{|T_n(c)|}=\frac{1}{T_n\left(\frac{\lambda +1}{\lambda -1}\right)}\le 2{\left(\frac{\sqrt{\lambda }-1}{\sqrt{\lambda }+1}\right)}^n$$
并且这个估计是较紧凑的。将会在Chebyshev迭代和共轭梯度的收敛速度分析中用到这个结论。

Chebyshev迭代

Chebyshev迭代是线性非定常迭代，其迭代使用的矩阵/系数在每个迭代步都会发生变化。而任意的单步线性定常迭代都可以表述为最简单的Richardson迭代+预处理的组合。因此从Richardson迭代出发，引入Krylov子空间的概念，然后加以适当改造得到Chebyshev迭代。

Richardson迭代和Krylov子空间

Richardson迭代是最简单的迭代格式，它在每一步都加上一个修正量，此修正量就简单地取为当前迭代结果的残差：
$${\mathbf{x}}^{(i+1)}={\mathbf{x}}^{(i)}+{\mathbf{r}}^{(i)}={\mathbf{x}}^{(i)}+\mathbf{b}-\mathbf{A}{\mathbf{x}}^{(i)}=(\mathbf{I}-\mathbf{A}){\mathbf{x}}^{(i)}+\mathbf{b}$$
$${\mathbf{r}}^{(i+1)}=\mathbf{b}-\mathbf{A}{\mathbf{x}}^{(i+1)}=\mathbf{b}-\mathbf{A}{\mathbf{x}}^{(i)}-\mathbf{A}{\mathbf{r}}^{(i)}=(\mathbf{I}-\mathbf{A}){\mathbf{r}}^{(i)}=...=(\mathbf{I}-\mathbf{A}{)}^{i+1}{\mathbf{r}}^{(0)}$$
由残差与误差的关系有${\mathbf{e}}^{(i)}={\mathbf{A}}^{-1}{\mathbf{r}}^{(i)}$，可知相应有${\mathbf{e}}^{(i+1)}=(\mathbf{I}-\mathbf{A}){\mathbf{e}}^{(i)}$。于是在第$m$步得到的迭代结果为
$${\mathbf{x}}^{(m)}={\mathbf{x}}^{(0)}+\sum _{i=0}^{m-1}{\mathbf{r}}^{(i)}={\mathbf{x}}^{(0)}+\sum _{i=0}^{m-1}(\mathbf{I}-\mathbf{A}{)}^i{\mathbf{r}}^{(0)}\in {\mathbf{x}}^{(0)}+{\mathbf{K}}_{\mathbf{m}}({\mathbf{r}}^{(0)})$$
其中${\mathbf{K}}_{\mathbf{m}}({\mathbf{r}}^{(0)})$是由${\mathbf{r}}^{(0)}$生成的Krylov子空间，其中的元素是用$\mathbf{A}$反复作用于${\mathbf{r}}^{(0)}$得到的${\mathbf{r}}^{(0)},{\mathbf{A}\mathbf{r}}^{(0)},{{\mathbf{A}}^2\mathbf{r}}^{(0)},...$等的线性组合。

任何的单步定常迭代格式，比如给定$\mathbf{A}=\mathbf{M}-\mathbf{N}$，其中$\mathbf{M}$为预处理矩阵，则迭代可以写成
$${\mathbf{x}}^{(i+1)}={\mathbf{M}}^{-1}\mathbf{N}{\mathbf{x}}^{(i)}+{\mathbf{M}}^{-1}\mathbf{b}={\mathbf{M}}^{-1}(\mathbf{M}-\mathbf{A}){\mathbf{x}}^{(i)}+{\mathbf{M}}^{-1}\mathbf{b}$$
而对$\mathbf{A}\mathbf{x}=\mathbf{b}$做预处理后得到的${\mathbf{M}}^{-1}\mathbf{A}\mathbf{x}={\mathbf{M}}^{-1}\mathbf{b}$，再进行Richardson迭代，可以得到
$${\mathbf{x}}^{(i+1)}={\mathbf{x}}^{(i)}+{\mathbf{r}}^{(i)}={\mathbf{x}}^{(i)}+{\mathbf{M}}^{-1}\mathbf{b}-{\mathbf{M}}^{-1}\mathbf{A}{\mathbf{x}}^{(i)}$$
可见是等价的，所以任何的单步定常迭代形式都可以写成预处理后的Richardson迭代（即当前迭代值+修正量）的形式。

单步迭代格式

原始的Richardson迭代是最简单地取了$\mathbf{M}=\mathbf{I}$（最好计算，但最不好近似）来做预处理。现在采用非定常，即考虑每步迭代不那么naive，而是选用一个与当前步$i$有关地矩阵${\mathbf{M}}_{\mathbf{i}}$做预处理，假设${\mathbf{M}}_{\mathbf{i}}={\tau }_i\mathbf{M}$由同一个矩阵$\mathbf{M}$生成。同样类似Richardson迭代的好计算的想法，取$\mathbf{M}=\mathbf{I}$，故有${\mathbf{M}}_{\mathbf{i}}={\tau }_i\mathbf{I}$。所以残量的递推关系成为
$${\mathbf{r}}^{(i+1)}=(\mathbf{I}-{\tau }_i\mathbf{A}){\mathbf{r}}^{(i)}=(\mathbf{I}-{\tau }_i\mathbf{A})(\mathbf{I}-{\tau }_{i-1}\mathbf{A})...(\mathbf{I}-{\tau }_0\mathbf{A}){\mathbf{r}}^{(0)}$$
对于误差${\mathbf{e}}^{(i)}$也同样有此关系，所以有
$$\frac{||{\mathbf{e}}^{(i)}||}{||{\mathbf{e}}^{(0)}||}\le ||(\mathbf{I}-{\tau }_{i-1}\mathbf{A})...(\mathbf{I}-{\tau }_0\mathbf{A})||$$
我们希望构造出来的结果（即${\tau }_0,{\tau }_1,...$等的取值）能使残量（误差）收缩得最小，即求解如下的优化问题：
$$\underset{{\tau }_0,...,{\tau }_{i-1}}{\inf }||(\mathbf{I}-{\tau }_{i-1}\mathbf{A})...(\mathbf{I}-{\tau }_0\mathbf{A})||$$
假设$\mathbf{A}$是对称阵（这些强加的适用条件后面汇总来看），那么存在正交阵$\mathbf{P}$（如果$\mathbf{A}$是Hermite矩阵，则$\mathbf{P}$为酉矩阵）使得$\mathbf{A}$能相似对角化，且取2-范数时有$||\mathbf{P}|{|}_2=1$。
$$\mathbf{A}=\mathbf{P}\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}({\lambda }_1,{\lambda }_2,...,{\lambda }_n){\mathbf{P}}^T=\mathbf{P}\mathbf{\Lambda }{\mathbf{P}}^T$$
那么有
$$\begin{array}{rl}||(\mathbf{I}-{\tau }_{i-1}\mathbf{A})...(\mathbf{I}-{\tau }_0\mathbf{A})|{|}_2=& ||\mathbf{P}(\mathbf{I}-{\tau }_{i-1}\mathbf{\Lambda })...(\mathbf{I}-{\tau }_0\mathbf{\Lambda }){\mathbf{P}}^T|{|}_2\\ =& ||(\mathbf{I}-{\tau }_{i-1}\mathbf{\Lambda })...(\mathbf{I}-{\tau }_0\mathbf{\Lambda })|{|}_2\\ =& \underset{\lambda \in \sigma (\mathbf{A})}{\max }|(1-{\tau }_{i-1}\lambda )...(1-{\tau }_0\lambda )|\end{array}$$
而$\mathbf{A}$的谱是可以估计的，假设已算出$\sigma (\mathbf{A})\in [\underline{\lambda },\bar{\lambda }]$。那么上式可以写成：
$$\begin{array}{rlr}\underset{\lambda \in \sigma (\mathbf{A})}{\max }|(1-{\tau }_{i-1}\lambda )...(1-{\tau }_0\lambda )|& \le & ||(1-{\tau }_{i-1}\lambda )...(1-{\tau }_0\lambda )|{|}_{\infty ,[\underline{\lambda },\bar{\lambda }]}\\ & =& ||f(\lambda )|{|}_{\infty ,[\underline{\lambda },\bar{\lambda }]}\end{array}$$
左边的原式是一个绝对值，现在右边看成是一个关于$\lambda$的多项式函数$f(\lambda )=(1-{\tau }_{i-1}\lambda )...(1-{\tau }_0\lambda )$的无穷范数。该多项式函数有$i$个实单根：$\frac{1}{{\tau }_0},...,\frac{1}{{\tau }_{i-1}}$。

而由之前的结论，定义在$[\underline{\lambda },\bar{\lambda }]$上的Chebyshev多项式$T_i(\lambda )$在开区间$(\underline{\lambda },\bar{\lambda })$内有$i$个实单根，且$T_i(\lambda )=\underset{P_i\in {\mathbf{P}}_{\mathbf{i}},P_i(0)=1}{\inf }||P_i|{|}_{\infty ,[\underline{\lambda },\bar{\lambda }]}$.

注意当$\mathbf{A}$为对称正定阵时，$0\notin [\underline{\lambda },\bar{\lambda }]$，所以$\underset{P_i\in {\mathbf{P}}_{\mathbf{i}},P_i(0)=1}{\inf }||P_i|{|}_{\infty ,[\underline{\lambda },\bar{\lambda }]}$的下界恰好能被原问题的$f(\lambda )$取到。此时
$$P_i^{\ast }(\lambda )=T_i(\lambda )=\frac{T_i(\lambda )}{T_i(0)}=\frac{T_i\left(\frac{\lambda -\frac{1}{2}(\bar{\lambda }+\underline{\lambda })}{\frac{1}{2}(\bar{\lambda }-\underline{\lambda })}\right)}{T_i\left(\frac{0-\frac{1}{2}(\bar{\lambda }+\underline{\lambda })}{\frac{1}{2}(\bar{\lambda }-\underline{\lambda })}\right)}=(1-{\tau }_{i-1}^{(i)}\lambda )...(1-{\tau }_0^{(i)}\lambda )$$
其中${\tau }_j^{(i)}$的上标表示与迭代次数$i$有关。所以原问题的$i$个实单根就是定义在$[\underline{\lambda },\bar{\lambda }]$上的Chebyshev多项式的根。单步的迭代格式写成
$$\begin{array}{rlr}{\mathbf{x}}^{(1)}& =& {\mathbf{x}}^{(0)}+{\tau }_0^{(i)}{\mathbf{r}}^{(0)}\\ & ...& \\ {\mathbf{x}}^{(j)}& =& {\mathbf{x}}^{(j-1)}+{\tau }_{j-1}^{(i)}{\mathbf{r}}^{(j-1)}\\ & ...& \\ {\mathbf{x}}^{(i)}& =& {\mathbf{x}}^{(i-1)}+{\tau }_{i-1}^{(i)}{\mathbf{r}}^{(i-1)}\end{array}$$

收敛速度

Chebyshev迭代的收敛速度优势，应当通过进行一次$i$步的Chebyshev迭代，和进行$i$次的单步定常迭代来比较。

由Chebyshev的逼近性质，可以得到Chebyshev的迭代收敛速度为
$$\begin{array}{rlr}\frac{||{\mathbf{e}}^{(i)}||}{||{\mathbf{e}}^{(0)||}}& \le & ||(1-{\tau }_{i-1}\lambda )...(1-{\tau }_0\lambda )|{|}_{\infty ,[\underline{\lambda },\bar{\lambda }]}\\ & =& \frac{1}{|T_i(0)|}=\frac{1}{\left|T_i\left(\frac{0-\frac{\bar{\lambda }+\underline{\lambda }}{2}}{\frac{\bar{\lambda }-\underline{\lambda }}{2}}\right)\right|}\\ & =& \frac{1}{\left|T_i\left(\frac{\frac{\bar{\lambda }}{\underline{\lambda }}+1}{\frac{\bar{\lambda }}{\underline{\lambda }}-1}\right)\right|}=\frac{1}{\left|T_i\left(\frac{\alpha +1}{\alpha -1}\right)\right|}\\ & & \le \approx 2{\left(\frac{\sqrt{\alpha }-1}{\sqrt{\alpha }+1}\right)}^i\end{array}$$
其中$\alpha =\frac{\bar{\lambda }}{\underline{\lambda }}>1$。

而如果做$i$次单步的定常迭代，每次单步的收敛速度为
$$P_1^{\ast }(\lambda )=\frac{1}{\left|T_1\left(\frac{\alpha +1}{\alpha -1}\right)\right|}=\frac{1}{\left|\frac{\alpha +1}{\alpha -1}\right|}=\frac{\alpha -1}{\alpha +1}$$
连续做$i$次以后的收敛速度为$\frac{||{\mathbf{e}}^{(i)}||}{||{\mathbf{e}}^{(0)||}}\le {\left(\frac{\alpha -1}{\alpha +1}\right)}^i$。这显然要比Chebyshev迭代的收敛速度慢。

两步迭代格式

单步的Chebyshev迭代格式的缺点是${\tau }_j^{(i)}$依赖于迭代次数$i$的取值。自然地想，能不能不依赖于后者的确定？这就可以用上Chebyshev多项式的三项递推关系来解决！

对标准的Chebyshev多项式，$T_{n+1}(y)=2y{T}_n(y)-T_{n-1}(y),...,T_1(y)=y,T_0(y)=1$。但需要的是定义在$[\underline{\lambda },\bar{\lambda }]$上的Chebyshev多项式，做变换：
$$T_i(x)=T_i\left(y=\frac{x-\frac{1}{2}(\bar{\lambda }+\underline{\lambda })}{\frac{1}{2}(\bar{\lambda }-\underline{\lambda })}\right)=T_i(y=ax-y_0)$$
其中记$y_0=\frac{\bar{\lambda }+\underline{\lambda }}{\bar{\lambda }-\underline{\lambda }},a=\frac{2}{\bar{\lambda }-\underline{\lambda }}$。按照$x=0$这一点的$T_i$值做归一化：$T_i(x)=\frac{T_i(x)}{T_i(0)}=\frac{T_i(ax-y_0)}{T_i(-y_0)}=\frac{T_i(y_0-ax)}{T_i(y_0)}$，因此三项递推关系为
$$\begin{gathered} T_0(x)=\frac{T_0(y_0-ax)}{T_0(y_0)}=1 \\ {T}_1(x)=\frac{T_1(y_0-ax)}{T_1(y_0)}=\frac{y_0-ax}{y_0}=T_0(x)-\frac{a}{y_0}x{T}_0(x) \\ ...... \\ \begin{array}{rl}{T}_{i+1}(x)& =\frac{T_{i+1}(y_0-ax)}{T_{i+1}(y_0)}=\frac{2(y_0-ax)T_i(y_0-ax)-T_{i-1}(y_0-ax)}{T_{i+1}(y_0)}\\ & =\frac{2(y_0-ax)T_i(y_0)}{T_{i+1}(y_0)}\frac{T_i(y_0-ax)}{T_i(y_0)}-\frac{T_{i-1}(y_0)}{T_{i+1}(y_0)}\frac{T_{i-1}(y_0-ax)}{T_{i-1}(y_0)}\\ & =\frac{2(y_0-ax)T_i(y_0)}{T_{i+1}(y_0)}{T}_i(x)-\frac{T_{i-1}(y_0)}{T_{i+1}(y_0)}{T}_{i-1}(x)\\ & =\frac{2y_0{T}_i(y_0)}{T_{i+1}(y_0)}{T}_i(x)-\frac{T_{i-1}(y_0)}{T_{i+1}(y_0)}{T}_{i-1}(x)-2a\frac{T_i(y_0)}{T_{i+1}(y_0)}x{T}_i(x)\\ & =\left(1+\frac{T_{i-1}(y_0)}{T_{i+1}(y_0)}\right)T_i(x)-\frac{T_{i-1}(y_0)}{T_{i+1}(y_0)}{T}_{i-1}(x)-2a\frac{T_i(y_0)}{T_{i+1}(y_0)}x{T}_i(x)\\ & ={\alpha }_i{T}_i(x)+(1-{\alpha }_i)T_{i-1}(x)-{\beta }_{i}x{T}_i(x)\end{array} \end{gathered}$$
其中系数${\alpha }_i$和${\beta }_i$的递归计算方式为
$$\begin{gathered} {\beta }_0=2a\frac{T_0(y_0)}{T_1(y_0)}=\frac{2a}{y_0}=\frac{4}{\bar{\lambda }+\underline{\lambda }} \\ \begin{array}{rl}\frac{1}{{\beta }_i}& =\frac{1}{2a}\frac{T_{i+1}(y_0)}{T_i(y_0)}=\frac{\bar{\lambda }-\underline{\lambda }}{4}\frac{2y_0{T}_i(y_0)-T_{i-1}(y_0)}{T_i(y_0)}=\frac{\bar{\lambda }-\underline{\lambda }}{2}{y}_0-\frac{\bar{\lambda }-\underline{\lambda }}{4}\frac{T_{i-1}(y_0)}{T_i(y_0)}\\ & =\frac{\bar{\lambda }+\underline{\lambda }}{2}-\frac{\bar{\lambda }-\underline{\lambda }}{4}\frac{1}{2a}{\beta }_{i-1}=\frac{\bar{\lambda }+\underline{\lambda }}{2}-{\left(\frac{\bar{\lambda }-\underline{\lambda }}{4}\right)}^2{\beta }_{i-1}\end{array} \\ {\alpha }_i=2y_0\frac{T_i(y_0)}{T_{i+1}(y_0)}=\frac{2y_0}{2a}{\beta }_i=\frac{\bar{\lambda }+\underline{\lambda }}{2}{\beta }_i \end{gathered}$$

由此对应的两步Chebyshev迭代格式（具体的导出步骤，笔者也不确定）为：
$${\mathbf{x}}^{(i+1)}={\alpha }_i{\mathbf{x}}^{(i)}+(1-{\alpha }_i){\mathbf{x}}^{(i-1)}+{\beta }_i{\mathbf{r}}^{(i)}$$

共轭梯度（Conjugate Gradient）方法

将原来的代数方程组求解问题$\mathbf{A}\mathbf{x}=\mathbf{b}$转化为全空间无约束的优化问题，目标函数为
$$\phi =\frac{1}{2}(\mathbf{A}\mathbf{x},\mathbf{x})-(\mathbf{b},\mathbf{x})$$
它的驻点${\mathbf{x}}^{\ast }$满足$\delta \phi ({\mathbf{x}}^{\ast })=\mathbf{A}{\mathbf{x}}^{\ast }-\mathbf{b}=0$，即为原方程组的解。目标函数有下界
$$\begin{gathered} \phi ({\mathbf{x}}^{\ast })=\phi ({\mathbf{A}}^{-1}\mathbf{b})=-\frac{1}{2}(\mathbf{b},{\mathbf{A}}^{-1}\mathbf{b})=-\frac{1}{2}(\mathbf{A}{\mathbf{x}}^{\ast },{\mathbf{x}}^{\ast }) \\ \phi (\mathbf{x})-\phi ({\mathbf{x}}^{\ast })=\frac{1}{2}\left(\mathbf{A}(\mathbf{x}-{\mathbf{x}}^{\ast }),\mathbf{x}-{\mathbf{x}}^{\ast }\right)=\frac{1}{2}||\mathbf{x}-{\mathbf{x}}^{\ast }|{|}_{\mathbf{A}}\ge 0 \end{gathered}$$
其中由$\mathbf{A}$内积诱导的$\mathbf{A}$范数$||\mathbf{x}|{|}_{\mathbf{A}}^2=(\mathbf{A}\mathbf{x},\mathbf{x})=(\mathbf{x},\mathbf{x}{)}_{\mathbf{A}}$

CG和最速下降都属于子空间搜索方法。如果给定搜索方向${\mathbf{p}}^{(k)}$，对此做一维极小搜索，则可以得到该方向的步长${\alpha }_k$：
$${\alpha }_k=\underset{\alpha }{\mathrm{argmin}}\phi ({\mathbf{x}}^{(k)}+\alpha {\mathbf{p}}^{(k)})$$

同之前的迭代法，误差和残量之间关系为${\mathbf{e}}^{(k)}={\mathbf{x}}^{(k)}-{\mathbf{x}}^{\ast }=-{\mathbf{A}}^{-1}{\mathbf{r}}^{(k)}$。

最速下降法的收敛速度

简单地取${\mathbf{p}}^{(k)}={\mathbf{r}}^{(k)}$，即当前的残量方向。
$$\begin{array}{rl}||{\mathbf{e}}^{(k+1)}|{|}_{\mathbf{A}}^2& =||{\mathbf{e}}^{(k)}+{\alpha }_k{\mathbf{r}}^{(k)}|{|}_{\mathbf{A}}^2=\left(\mathbf{A}{\mathbf{e}}^{(\mathbf{k})}+{\alpha }_k\mathbf{A}{\mathbf{r}}^{(k)},{\mathbf{e}}^{(k)}+{\alpha }_k{\mathbf{r}}^{(k)}\right)\\ & =||{\mathbf{e}}^{(k)}|{|}_{\mathbf{A}}^2+||{\alpha }_k{\mathbf{r}}^{(k)}|{|}_{\mathbf{A}}^2-2({\mathbf{r}}^{(k)},{\mathbf{r}}^{(k)})\\ & =||{\mathbf{e}}^{(k)}|{|}_{\mathbf{A}}^2-{\alpha }_k({\mathbf{r}}^{(k)},{\mathbf{r}}^{(k)})=||{\mathbf{e}}^{(k)}|{|}_{\mathbf{A}}^2-\frac{({\mathbf{r}}^{(k)},{\mathbf{r}}^{(k)})({\mathbf{r}}^{(k)},{\mathbf{r}}^{(k)})}{{({\mathbf{r}}^{(k)},{\mathbf{r}}^{(k)})}_{\mathbf{A}}}\\ & =||{\mathbf{e}}^{(k)}|{|}_{\mathbf{A}}^2\left(1-\frac{1}{\frac{({\mathbf{r}}^{(k)},{\mathbf{r}}^{(k)}{)}_{\mathbf{A}}}{({\mathbf{r}}^{(k)},{\mathbf{r}}^{(k)})}\frac{({\mathbf{r}}^{(k)},{\mathbf{r}}^{(k)}{)}_{{\mathbf{A}}^{-1}}}{({\mathbf{r}}^{(k)},{\mathbf{r}}^{(k)})}}\right)\\ & \le ||{\mathbf{e}}^{(k)}|{|}_{\mathbf{A}}^2\left(1-\frac{1}{\frac{({\lambda }_1+{\lambda }_n{)}^2}{4{\lambda }_1{\lambda }_n}}\right)=||{\mathbf{e}}^{(k)}|{|}_{\mathbf{A}}^2\frac{({\lambda }_1-{\lambda }_n{)}^2}{({\lambda }_1+{\lambda }_n{)}^2}\end{array}$$

其中${\lambda }_1$为最大的特征值，${\lambda }_n$为最小的特征值。所以收敛速度为
$$\frac{||{\mathbf{e}}^{(k)}|{|}_{\mathbf{A}}}{||{\mathbf{e}}^{(0)}|{|}_{\mathbf{A}}}$$