共轭梯度法（Conjugate Gradients）（2）

最近在看ATOM，作者在线训练了一个分类器，用的方法是高斯牛顿法和共轭梯度法。看不懂，于是恶补了一波。学习这些东西并不难，只是难找到学习资料。简单地搜索了一下，许多文章都是一堆公式，这谁看得懂啊。

后来找到一篇《An Introduction to the Conjugate Gradient Method Without the Agonizing Pain》，解惑了。
为什么中文没有这么良心的资料呢？英文看着费劲，于是翻译过来搬到自己的博客，以便回顾。

由于原文比较长，一共 $66$ 页的PDF，所以这里分成几个部分来写。

目录
共轭梯度法（Conjugate Gradients）（1）
共轭梯度法（Conjugate Gradients）（2）
共轭梯度法（Conjugate Gradients）（3）
共轭梯度法（Conjugate Gradients）（4）
共轭梯度法（Conjugate Gradients）（5）

---

6. Convergence Analysis of Steepest Descent
（最陡下降的收敛性分析）

6.1 Instant Results（实例结果）

为了理解最速下降的收敛性，先考虑这一种情况：
$e_{(i)}$ 是一个特征向量 ，特征值是 ${\lambda }_e$
于是，残差 $r_{(i)}$ 也是是一个特征向量， $r_{(i)}=-A{e}_{(i)}=-{\lambda }_e{e}_{(i)}$

由误差的定义： $e_{(i)}=x_{(i)}-x$ ，以及 公式(12)：$x_{(i+1)}=x_{(i)}+{\alpha }_{(i)}{r}_{(i)}$，有：
$$\begin{array}{rl}{e}_{(i+1)}& =e_{(i)}+\frac{r_{(i)}^T{r}_{(i)}}{r_{(i)}^{T}A{r}_{(i)}}{r}_{(i)}\\ & =e_{(i)}+\frac{r_{(i)}^T{r}_{(i)}}{{\lambda }_e{r}_{(i)}^T{r}_{(i)}}(-{\lambda }_e{e}_{(i)})\\ & =0\end{array}$$

(图14)

图(14) 展示了为什么走一步就能收敛到精确解。
点 $x_{(i)}$ 处于椭圆的其中一个轴上，而残差直接指向椭圆的中心，令 ${\alpha }_{(i)}={\lambda }_e^{-1}$ 可以立刻收敛。

对于更一般的分析，我们需要把 $e_{(i)}$ 表示为特征向量的线性组合，并且，要进一步地要求它们是正交的。

我们知道，如果 $A$ 是对称的，则它存在 $n$ 个正交的特征向量。（证明见附录C2）
又由于我们可以任意缩放特征向量，因此这里我们选择的特征向量具有单位长度。
于是得到以下有用的性质：
$$v_j^T{v}_k=\{\begin{array}{rl}1,& j=k,\\ 0,& j\ne k.\end{array}\text{\hspace{1em}(17)}$$

把误差项表示为特征向量的线性组合：$$e_{(i)}=\sum _{j=1}^n{\xi }_j{v}_j\text{\hspace{1em}(18)}$$

其中 ${\xi }_j$ 是 $e_{(i)}$ 的第 $j$ 个特征向量的长度。

由 公式(17) 和 公式(18)，有如下定义：
$$r_{(i)}=-A{e}_{(i)}=-\sum _j{\xi }_j{\lambda }_j{v}_j\text{\hspace{1em}(19)}$$ $$\Vert e_{(i)}{\Vert }^2=e_{(i)}^T{e}_{(i)}=\sum _j{\xi }_j^2\text{\hspace{1em}(20)}$$ $$e_{(i)}^{T}A{e}_{(i)}=(\sum _j{\xi }_j{v}_j^T)(\sum _j{\xi }_j{\lambda }_j{v}_j)=\sum _j{\xi }_j^2{\lambda }_j\text{\hspace{1em}(21)}$$ $$\Vert r_{(i)}{\Vert }^2=r_{(i)}^T{r}_{(i)}=\sum _j{\xi }_j^2{\lambda }_j^2\text{\hspace{1em}(22)}$$ $$r_{(i)}^{T}A{r}_{(i)}=\sum _j{\xi }_j^2{\lambda }_j^3\text{\hspace{1em}(23)}$$

式子(19) 表明，$r_{(i)}$ 也能表示为特征向量的和。每个特征向量的长度为 $-{\xi }_j{\lambda }_j$。
式子(20) 和 式子(22) 是毕达哥拉斯法则（Pythagoras’ Law）。

下面继续进行分析，由 公式(12) 有：
$$\begin{array}{rl}{e}_{(i+1)}& =e_{(i)}+\frac{r_{(i)}^T{r}_{(i)}}{r_{(i)}^{T}A{r}_{(i)}}{r}_{(i)}\\ & =e_{(i)}+\frac{{\sum }_j{\xi }_j^2{\lambda }_j^2}{{\sum }_j{\xi }_j^2{\lambda }_j^3}{r}_{(i)}\end{array}\text{\hspace{1em}(24)}$$

我们在6.1节开头的例子里看到。如果 $e_{(i)}$ 仅由 $1$ 个特征向量组成，那只要选 ${\alpha }_{(i)}={\lambda }_e^{-1}$，一次就能收敛。

现在假定 $e_{(i)}$ 是任意的，但所有特征向量的特征值都是 $\lambda$，则 公式(24) 变成：$$\begin{array}{rl}{e}_{(i+1)}& =e_{(i)}+\frac{{\lambda }^2{\sum }_j{\xi }_j^2}{{\lambda }^3{\sum }_j{\xi }_j^2}(-\lambda e_{(i)})\\ & =0\end{array}\text{\hspace{1em}(24)}$$

(图15)

图(15) 再次展示了为什么可以立即收敛。因为所有特征值都相等，那椭圆就变成了圆形，因此，无论从哪一点开始，残差必定指向圆心。和之前一样，设置 ${\alpha }_{(i)}={\lambda }^{-1}$。

然而，如果几个特征值是不相等的、非零的，那就无法选择合适的 ${\alpha }_{(i)}$ 来把每一个特征向量都抵消掉，我们的选择就变成了一种妥协。

实际上， 公式(24) 里的分数部分 最好是被看做 特征值 ${\lambda }_j^{-1}$ 的加权平均。权重 ${\xi }_j^2$ 保证了 $e_{(i)}$ 中较长的成分（那个特征向量）优先级低。结果就是，在某一次迭代中，$e_{(i)}$ 中较短的成分（特征向量）可能会增加长度（较长的从来不会被考虑）。因此，最陡下降和共轭梯度被称为粗糙的（roughers）。相比之下，雅克比方法是平滑的（smoother）。最速下降和共轭梯度不是平滑的，尽管大多数数学教材认为平滑。

6.2 General Convergence（一般收敛性）

为了约束最速下降在一般情况下的收敛性，我们定义能量范数（energy norm）$$\Vert e{\Vert }_A=(e^{T}Ae{)}^{1/2}$$
如 图(16) 所示

(图16)

这个范数比欧几里得范数（Euclidean norm）更好用，某种情况下更自然。公式(8) 表明最小化 $\Vert e_{(i)}{\Vert }_A$ 和最小化 $f(x_{(i)})$ 是等价的。对于这个范数我们有：
$$\begin{array}{rl}\Vert e_{(i+1)}{\Vert }_A^2& =e_{(i+1)}^{T}A{e}_{(i+1)}\\ & =(e_{(i)}^T+{\alpha }_{(i)}{r}_{(i)}^T)A(e_{(i)}+{\alpha }_{(i)}{r}_{(i)})\text{(by Equation 12)}\\ & =e_{(i)}^{T}A{e}_{(i)}+2{\alpha }_{(i)}{r}_{(i)}^{T}A{e}_{(i)}+{\alpha }_{(i)}^2{r}_{(i)}^{T}A{r}_{(i)}\text{(by symmetry of A)}\\ & =\Vert e_{(i)}{\Vert }_A^2+2\frac{r_{(i)}^T{r}_{(i)}}{r_{(i)}^{T}A{r}_{(i)}}\left(-r_{(i)}^T{r}_{(i)}\right)+{\left(\frac{r_{(i)}^T{r}_{(i)}}{r_{(i)}^{T}A{r}_{(i)}}\right)}^2{r}_{(i)}^{T}A{r}_{(i)}\\ & =\Vert e_{(i)}{\Vert }_A^2-\frac{(r_{(i)}^T{r}_{(i)}{)}^2}{r_{(i)}^{T}A{r}_{(i)}}\\ & =\Vert e_{(i)}{\Vert }_A^2\left(1-\frac{(r_{(i)}^T{r}_{(i)}{)}^2}{(r_{(i)}^{T}A{r}_{(i)})(e_{(i)}^{T}A{e}_{(i)})}\right)\\ & =\Vert e_{(i)}{\Vert }_A^2\left(1-\frac{({\sum }_j{\xi }_j^2{\lambda }_j^2{)}^2}{({\sum }_j{\xi }_j^2{\lambda }_j^3)({\sum }_j{\xi }_j^2{\lambda }_j)}\right)\text{(by Identities 21, 22, 23)}\\ & =\Vert e_{(i)}{\Vert }_A^2{\omega }^2，{\omega }^2=1-\frac{({\sum }_j{\xi }_j^2{\lambda }_j^2{)}^2}{({\sum }_j{\xi }_j^2{\lambda }_j^3)({\sum }_j{\xi }_j^2{\lambda }_j)}\end{array}\text{\hspace{1em}(25)}$$

这个分析依赖于找到 $\omega$ 的一个上界。为了说明权值和特征值是如何影响收敛性的，我来推导一个 $n=2$ 时的结果。（就是有$2$个特征向量）。

假设 ${\lambda }_1>{\lambda }_2$，$A$ 的光谱条件数（spectral condition number） 定义为 $\kappa =\frac{{\lambda }_1}{{\lambda }_2}\ge 1$。

$e_{(i)}$ 的斜坡（slope）（它与“由特征向量定义的坐标系统”相关）依赖于起始点。斜坡用 $\mu =\frac{{\xi }_2}{{\xi }_1}$ 表示。

我们有：$$\begin{array}{rl}{\omega }^2& =1-\frac{({\xi }_1^2{\lambda }_1^2+{\xi }_2^2{\lambda }_2^2{)}^2}{({\xi }_1^2{\lambda }_1+{\xi }_2^2{\lambda }_2)({\xi }_1^2{\lambda }_1^3+{\xi }_2^2{\lambda }_2^3)}\\ & =1-\frac{({\kappa }^2+{\mu }^2{)}^2}{(\kappa +{\mu }^2)({\kappa }^3+{\mu }^2)}\end{array}\text{\hspace{1em}(26)}$$

$\omega$ 的值决定了最陡下降的收敛速度，图(17) 展示的是它关于 $\mu$ 和 $\kappa$ 的函数。

(图17)

这张图和我的两个例子相符合。

$\bullet$ 如果 $e_{(0)}$ 是一个特征向量，然后斜坡 $\mu$ 是 $0$（或者无穷）；可已从图中看到，这时 $\omega$ 为 $0$，可以立即收敛。

$\bullet$ 如果特征值都相等，则条件数（condition number） $\kappa$ 为 $1$，于是 $\omega$ 也是 $0$。

如果处于 图(17) 的 $4$ 个角落附近，那收敛情况就如 图(18) 所示。

(图18)

这些二次型的坐标系统由它们的特征向量决定，都画在 图(18) 上了。

图(18)a 和 图(18)b 是条件数较大的情况。
如果你幸运地在 图(18)a 那里开始（ $\kappa$ 大，$\mu$ 小），那最陡下降可以很快收敛。
然而，当 $\kappa$ 很大的时候，通常你会出现在比较糟糕的地方（$\mu$ 也很大），见 图(18)b 。

解释一下：从 图(12) 可以看到，特征值越大的那个方向，越陡峭，梯度越大。
所以 图(18)a 和 图(18)b 两张中， $v_1$ 的特征值都是大于 $v_2$，即 ${\lambda }_1$ > ${\lambda }_2$，所以 $\kappa$ 大。

$\mu$ 方面：
图(18)a 中 $v1$ 的长度大于 $v_2$，即 ${\xi }_1$ > ${\xi }_2$，所以 $\mu$ 小。
图(18)b 中 $v1$ 的长度小于 $v_2$，即 ${\xi }_1$ < ${\xi }_2$，所以 $\mu$ 大。

图(18)c 和 图(18)d 中，$\kappa$ 相对较小（俩特征值差不多），所以二次型接近圆形，无论起点在哪里都能快速收敛。

由于 $A$ 是固定的，那 $\kappa$ 就是常量，经过简单的推导可知，当 $\mu =\pm \kappa$ 时，使得 式子(26) 最大。
在 图(17) 中你可以看到一条微弱的山脊，那就是 $\mu =\pm \kappa$ 时的情况。

(图19)

对于本教程的例子里的 $A$，如果选择了一个最糟糕的起点，那就如 图(19) 所示。这样的起点不止一个，这条直线上都是： $\frac{{\xi }_2}{{\xi }_1}=\pm \kappa$ 。

所以令 ${\mu }^2={\kappa }^2$，你就能找到 $\omega$ 的上边界（对应于最糟糕的起点）：$$\begin{array}{rl}{\omega }^2& \le 1-\frac{4{\kappa }^4}{{\kappa }^5+2{\kappa }^4+{\kappa }^3}\\ & =1-\frac{{\kappa }^5-2{\kappa }^4+{\kappa }^3}{{\kappa }^5+2{\kappa }^4+{\kappa }^3}\\ & =\frac{(\kappa -1{)}^2}{(\kappa +1{)}^2}\\ {\omega }^2& \le \frac{\kappa -1}{\kappa +1}\end{array}\text{\hspace{1em}(27)}$$

(图20)

式(27) 的不等式如 图(20) 所示，如果矩阵越病态（ill-conditioned）（即条件数 $\kappa$ 越大），则最陡下降的收敛越慢。
在 9.2节 中证明了当 $n>2$ 时 式子(27) 依然成立。

如果对称且正定的矩阵的条件数被定义为：$$\kappa =\frac{{\lambda }_{max}}{{\lambda }_{min}}$$即最大的特征值比最小的特征值，则最速下降的收敛结果为：$$\Vert e_{(i)}{\Vert }_A\le {\left(\frac{\kappa -1}{\kappa +1}\right)}^i\Vert e_{(0)}{\Vert }_A\text{\hspace{1em}(28)}$$
$$\begin{array}{rl}\frac{f(x_{(i)})-f(x)}{f(x_{(0)})-f(x)}& =\frac{\frac{1}{2}{e}_{(i)}^{T}A{e}_{(i)}}{\frac{1}{2}{e}_{(0)}^{T}A{e}_{(0)}}\text{(by equation 8)}\\ & ={\left(\frac{\kappa -1}{\kappa +1}\right)}^{2i}\end{array}$$

7. The Method of Conjugate Directions（共轭方向）

7.1 Conjugacy（共轭性）

最陡下降经常发现它自己走的方向和先前几步的方向相同（见 图(8)）。
（最速下降每一步的方向是当前位置的导数的反方向）

那这样会不会好点呢：我们选择其它的方向，并且每次我们迈出步伐时，在该方向上一步到位。
这里有一个想法：我们取一组正交的搜索方向（search directions）：$d_{(0)},d_{(1)},\dots ,d_{(n-1)}$。在每个搜索方向上，我们只需要走 $1$ 步，这一步的长度正好与 $x$ 成一条直线。迭代 $n$ 步之后就搞定了。

(图21)

图(21) 展示了这一思想，这个例子把 $2$ 个坐标轴当作搜索方向。
第一步（水平方向）在 $x_1$ 的坐标轴上走到了正确的地方；
第二步（竖直方向，$x_2$ 的轴）直接到达终点。
每个方向只需 $1$ 步。

值得注意的是，误差 $e_{(1)}$ 的方向与搜索方向 $d_{(0)}$ 是正交的。

总的来说，每一步我们走到的点就是： $$x_{(i+1)}=x_{(i)}+{\alpha }_{(i)}{d}_{(i)}\text{\hspace{1em}(29)}$$

为了找到 ${\alpha }_{(i)}$ 的值，利用条件 “$e_{(i+1)}$ 应当与 $d_{(i)}$ 正交” ，于是走完这一步后，再也不需要在 $d_{(i)}$ 的方向上前进了。利用这个条件，有：$$\begin{array}{rl}{d}_{(i)}^T{e}_{(i+1)}& =0\\ d_{(i)}^T(e_{(i)}+{\alpha }_{(i)}{d}_{(i)})& =0\text{(by Equation 29)}\\ {\alpha }_{(i)}& =-\frac{d_{(i)}^T{e}_{(i)}}{d_{(i)}^T{d}_{(i)}}\end{array}\text{\hspace{1em}(30)}$$

很遗憾，我们还有一些东西没有完成。
如果不知道 $e_{(i)}$，就没办法算 ${\alpha }_{(i)}$。
然而，要是知道了 $e_{(i)}$，那这个问题都已经有解了。

所以，现在的做法是，使搜索方向 $A$-正交（A-orthogonal）。

如果满足： $$d_{(i)}^{T}A{d}_{(j)}=0$$ 则称向量 $d_{(i)}$ 和向量 $d_{(j)}$ 是$A$-正交的。或者叫 共轭（conjugate）。

(图22)

图(22)a 展示了$A$-正交的向量是什么样子。想象这张图片是打印在一个泡泡球上，然后你拽着两端拉它，直到椭圆变成圆形。然后这些向量就成了正交的了，如 图(22)b。

我们现在的要求是，要 $e_{(i+1)}$ $A$-正交于 $d_{(i)}$。见图(23)a。

(图23)

翻译一下 图(23) 的说明：
共轭方向法用 $n$ 步就收敛。
图(a)：第1步沿着 $d_0$ 的方向走，走到最小值点 $x_{(1)}$。$x_{(1)}$ 怎么选？在那一点要满足 $e_{(1)}$ 与 $d_{(0)}$ $A$-正交。也就是 $e_{(1)}^{T}A{d}_{(0)}=0$。
图(b)：初始误差 $e_{(0)}$ 可以表示为一组 $A$-正交 的向量（或者叫做组件，components）的和，如图中灰色的线。在共轭方向法中，每走一步，就能消掉其中一个组件。

这个正交性条件恰好等价于，沿着搜索方向 $d_{(i)}$ 寻找最小点，就像最陡下降那样。

为了看到这一结论，把方向导数设为 $0$：
$$\begin{array}{rl}\frac{d}{d\alpha }f\left(x_{(i+1)}\right)& =0\\ f^{\prime }{\left(x_{(i+1)}\right)}^T\frac{d}{d\alpha }{x}_{(i+1)}& =0\\ -r_{(i+1)}^T{d}_{(i)}& =0\\ d_{(i)}^{T}A{e}_{(i+1)}& =0\end{array}$$

可以看到 $e_{(i+1)}$ 和 $d_{(i)}$ 是 $A$-正交的。

按照公式(30)的推导过程，再把 $e_{(i+1)}=e_{(i)}+{\alpha }_{(i)}{d}_{(i)}$ 代到 $d_{(i)}^{T}A{e}_{(i+1)}=0$ 得：
$$\begin{array}{rl}{\alpha }_{(i)}& =-\frac{d_{(i)}^{T}A{e}_{(i)}}{d_{(i)}^{T}A{d}_{(i)}}(31)\\ & =-\frac{d_{(i)}^T{r}_{(i)}}{d_{(i)}^{T}A{d}_{(i)}}(32)\end{array}$$

不像 公式(30)，上面的式子是可以算的。

值得注意的是，要是搜索向量（即搜索方向，$d$）刚好是残差，那这个公式就和最陡下降的公式（见式子(11)）一样了。

为了证明确实只需要 $n$ 步，我们把误差项 $e$ 表示为搜索方向 $d$ 的线性组合，即：$$e_{(0)}=\sum _{j=0}^{n-1}{\delta }_j{d}_{(j)}\text{\hspace{1em}(33)}$$

${\delta }_j$ 的值可以利用一个数学的技巧来找到。
由于搜索方向是 $A$-正交的，可以对 式(33) 左乘 $d_{(k)}^{T}A$ 来消掉 ${\delta }_j$：
$$\begin{array}{rl}{d}_{(k)}^{T}A{e}_{(0)}& =\sum _j{\delta }_{(j)}{d}_{(k)}^{T}A{d}_{(j)}\\ d_{(k)}^{T}A{e}_{(0)}& ={\delta }_{(k)}{d}_{(k)}^{T}A{d}_{(k)}\text{(by A-orthogonality of d vectors) }\\ {\delta }_{(k)}& =\frac{d_{(k)}^{T}A{e}_{(0)}}{d_{(k)}^{T}A{d}_{(k)}}\\ & =\frac{d_{(k)}^{T}A{e}_{(0)}+d_{(k)}^{T}A\left({\sum }_{i=0}^{k-1}{\alpha }_{(i)}{d}_{(i)}\right)}{d_{(k)}^{T}A{d}_{(k)}}\text{(by A-orthogonality of d vectors) }\\ & =\frac{d_{(k)}^{T}A\left(e_{(0)}+{\sum }_{i=0}^{k-1}{\alpha }_{(i)}{d}_{(i)}\right)}{d_{(k)}^{T}A{d}_{(k)}}\\ & =\frac{d_{(k)}^{T}A{e}_{(k)}}{d_{(k)}^{T}A{d}_{(k)}}\text{(by Equation 29) }\end{array}\text{\hspace{1em}(34)}$$

通过 式(31) 和 式(34)，我们发现 ${\alpha }_{(i)}=-{\delta }_{(i)}$。
这一现象让我们有一种新的方式看待误差项。

如下面的公式所示，一个组件一个组件地构建 $x$ 的过程也可以看作是一个组件一个组件地减少误差项的过程（见 图(23)b）。
$$\begin{array}{rl}{e}_{(i)}& =e_{(0)}+\sum _{j=0}^{i-1}{\alpha }_{(j)}{d}_{(j)}\text{(by Equation 33 and}{\alpha }_{(i)}=-{\delta }_{(i)}\text{)}\\ & =\sum _{j=0}^{n-1}{\delta }_{(j)}{d}_{(j)}-\sum _{j=0}^{i-1}{\delta }_{(j)}{d}_{(j)}\\ & =\sum _{j=i}^{n-1}{\delta }_{(j)}{d}_{(j)}\end{array}\text{\hspace{1em}(35)}$$

经过 $n$ 步迭代，每一个组件都被干掉了，最后 $e_{(n)}=0$，证明完毕。

7.2 Gram-Schmidt Conjugation（格拉姆-施密特共轭）

我们现在所需要的是，找到一组 $A$-正交的搜索方向 $\{d_{(i)}\}$。
幸运的是，有一种简单的方法可以生成它们，叫做 共轭格拉姆-施密特过程（conjugate Gram-Schmidt process）。

假设我们有一组 $n$ 个线性无关的向量 $u_0,u_1,\dots ,u_{n-1}$。
假设 (2维的情况) 其中某个 $u_i$ 由 $2$ 个组件线性组合而成，一部分是 $u^{\ast }$，另一部分是 $u^{+}$。

为了构建 $d_{(i)}$，令 $u_i$ 减掉自己 【与 $d_{(i-1)}$ 非 $A$-正交 】的那个组件（即 图(24) 中的 $u^{+}$）。

(图24)

翻译一下 图(24) 的说明：
俩向量的格拉姆-施密特共轭。
首先，从两个线性无关的向量（$u_0$ 和 $u_1$）开始。令第一个方向向量 $d_{(0)}=u_0$。
然后，$u_1$ 由两个组件组成：① $u^{\ast }$，它与 $d_{(0)}$ 是$A$-正交的（或者称 ‘共轭’ ）。② $u^{+}$，它与 $d_{(0)}$ 是平行的。
共轭完成之后，只保留$A$-正交部分，$d_{(1)}=u^{\ast }$。

用公式表达就是，先令 $d_{(0)}=u_0$，然后对于 $i>0$，令：$$d_{(i)}=u_i+\sum _{k=0}^{i-1}{\beta }_{ik}{d}_{(k)}$$ 其中， $i>k$ 的情况才有 ${\beta }_{ik}$。

这个式子看着很绕，这个 $\beta$ 有 $2$ 个下标，可以试着展开看来理解。假设 $i$ 为 $4$，也就是 $4$ 维：
$$\begin{array}{rl}{d}_{(0)}& =u_{(0)}\\ d_{(1)}& =u_{(1)}+\left({\beta }_{10}{d}_{(0)}\right)\\ d_{(2)}& =u_{(2)}+\left({\beta }_{20}{d}_{(0)}+{\beta }_{21}{d}_{(1)}\right)\\ d_{(3)}& =u_{(3)}+\left({\beta }_{30}{d}_{(0)}+{\beta }_{31}{d}_{(1)}+{\beta }_{32}{d}_{(2)}\right)\end{array}$$

为了找到这些值，用回之前求 ${\xi }_j$ 的技巧：
$$\begin{array}{rl}{d}_{(i)}^{T}A{d}_{(j)}& =u_i^{T}A{d}_{(j)}+\sum _{k=0}^{i-1}{\beta }_{ik}{d}_{(k)}^{T}A{d}_{(j)}\\ 0& =u_i^{T}A{d}_{(j)}+{\beta }_{ij}{d}_{(j)}^{T}A{d}_{(j)},i>j\text{(by A-orthogonality of}d\text{vectors)}\\ {\beta }_{ij}& =-\frac{u_i^{T}A{d}_{(j)}}{d_{(j)}^{T}A{d}_{(j)}}\end{array}\text{\hspace{1em}(37)}$$

在共轭方向法 （Conjugate Directions）中应用格拉姆-施密特共轭 （Gram-Schmidt conjugation）的难点在于，之前所有的搜索向量都要保存在内存里，用于生成新的搜索向量。生成全部搜索向量的复杂度是 $\mathcal{O}(n^3)$

事实上，如果搜索向量是由轴向单位向量（axial unit vectors）的共轭来构造的，那么共轭方向（Conjugate Directions）就等价于执行高斯消元（Gaussian elimination），见 图(25)。

(图25)

因此，在共轭梯度法（CG，Conjugate Gradient）被发现之前，共轭方向法（Conjugate Directions）很少被使用。CG 作为共轭方向法的一种，解决了这一问题。

理解共轭方向（以及共轭梯度）法的关键点是：图(25) 是 图(21) 的拉伸版！请记住，当你在执行共轭方向的方法时（或者共轭梯度法），此时你也是在一个拉伸了的空间上执行正交方向法（Orthogonal Directions）。

7.3 Optimality of the Error Term（误差项的最优性）

共轭方向法有一个有趣的特性：它在每一步都能在允许探索的范围内找到最优解。它能在哪里找呢？

令 $D_i$ 为 $i$ 维子空间张成的空间 $\{d_{(0)},d_{(1)},\dots ,d_{(i-1)}\}$。
$e_{(i)}$ 的值是从 $e_{(0)}+{\mathcal{D}}_i$ 里选出来的。

我说的“最优解”是什么意思呢，意思是共轭方向法从 $e_{(0)}+{\mathcal{D}}_i$ 选得一个值，使得 $\Vert e_{(i)}{\Vert }_A$ 最小。 见 图(26)。实际上，有一些作者是通过在 $e_{(0)}+{\mathcal{D}}_i$ 中最小化 $\Vert e_{(i)}{\Vert }_A$ 来推导出共轭梯度法。

(图26)

同样，误差项 $e$ 可以表示为搜索方向 $d$ 的线性组合。（公式(35) ） 它的能量范数可以表示为求和。
$$\begin{array}{rl}\Vert e_{(i)}{\Vert }_A& =?\\ & ={\left(\sum _{j=i}^{n-1}{\delta }_{(j)}{d}_{(j)}\right)}^{T}A\left(\sum _{k=i}^{n-1}{\delta }_{(k)}{d}_{(k)}\right)\\ & =\sum _{j=i}^{n-1}\sum _{k=i}^{n-1}{\delta }_{(j)}{\delta }_{(k)}{d}_{(j)}^{T}A{d}_{(k)}\text{(by Equation 35)}\\ & =\sum _{j=i}^{n-1}{\delta }_{(j)}^2{d}_{(j)}^{T}A{d}_{(j)}\text{(by A-orthogonality of }d\text{vectors)}\end{array}$$

这个求和公式的每一项都是关于没有被遍历过的搜索方向。
在 $e_{(0)}+{\mathcal{D}}_i$ 空间中选择任意其它的 $e$，其展开式中，也会有与上面求和公式中相同的项，因此 $e_{(i)}$ 的能量范数一定是最小的。
（因为由于$A$-正交，很多项被消掉了。其它的 $e$ 还有很多项没有消掉，所以 $e_{(i)}$ 比他们小。）

上面用公式证明了最优性，现在我们从直觉上来看看是怎么回事。想要把共轭方向的工作原理和过程可视化，也许最好的方法是对两个空间进行比较，一个是我们正在用的空间，另一个是 “拉伸了” 的空间，就像 图(22) 里那样。

(图27)

图(27)a 和 图(27)c 展示了共轭方向法在 ${\mathbb{R}}^2$ 和 ${\mathbb{R}}^3$ 上的特性，图示里垂直出现的线是正交的。
另外一方面，图(27)b 和 图(27)d 展示同样的画，但是它所在的空间是被拉伸过的（沿着特征向量的轴），因此等高线变成了圆形。
图里画的相互垂直的线都是 $A$-正交的。

在 图(27)a 里，共轭方向法从 $x_{(0)}$ 开始，在 $d_{(0)}$ 的方向上走一步，然后停在了 $x_{(1)}$ 上，在那里的误差向量 $e_{(1)}$ 与 $d_{(0)}$ 是$A$-正交的。为什么我们预期这里是 $x_{(0)}+{\mathcal{D}}_1$ 的最小值点呢？答案在 图(27)b 里：在这个拉伸的空间里，$e_{(1)}$ 与 $d_{(0)}$ 垂直，因为他们是$A$-正交的。
误差向量 $e_{(1)}$ 是一组同心圆的半径，这个 同心圆的轮廓由常量的 $\Vert e{\Vert }_A$ 形成。
因此，$x_{(0)}+{\mathcal{D}}_1$ 必定在 $x_{(1)}$ 处与 $x_{(1)}$ 所在的圆相切。
因此，$x_{(1)}$ 就是在 $x_{(0)}+{\mathcal{D}}_1$ 空间上的能最小化 $\Vert e_{(1)}{\Vert }_A$ 的那个点。

个人理解：
对于 图(27)a，$x_{(0)}+{\mathcal{D}}_1$ 这个空间是一条直线，第 $1$ 步只能在这个空间上移动。
那么，$x_{(1)}$ 降落在哪里，才能使 $\Vert e{\Vert }_A$ 最小呢？显然，是与同心圆相切的地方。

这并不奇怪，我们已经在 7.1 节见过，$A$-共轭（$A$-conjugacy）的搜索方向和误差项，等价于沿着搜索方向最小化 $f$（同样也是最小化 $\Vert e{\Vert }_A$）。然而，在共轭方向法走了第 $2$ 步之后，沿着第 $2$ 个搜索方向 $d_{(1)}$ 最小化 $\Vert e{\Vert }_A$，为什么我们会预计 $\Vert e{\Vert }_A$ 在方向 $d_{(0)}$ 上仍然是被最小化的呢？走完 $i$ 步之后，为什么经过所有 $x_{(0)}+{\mathcal{D}}_i$ 之后 $f(x_{(i)})$ 就是最小的呢？

在 图(27)b 里，$d_{(0)}$ 和 $d_{(1)}$ 表现为相互垂直，因为它们是$A$-正交的。很明显 $d_{(1)}$ 指向解 $x$，因为 $d_{(0)}$ 在 $x_{(1)}$ 处与圆心为 $x$ 的圆正切。然而，$3$ 维的例子更有启发性。图(27)c 和 图(27)d 都各自展示了两个同心椭球体。$x_{(1)}$ 位于外面一层的球体上，$x_{(2)}$ 位于里面那层的球体上。仔细观察这些图：$x_{(0)}+{\mathcal{D}}_2$ 这个平面切片穿过较大的椭球体，并在 $x_{(2)}$ 处于小椭球体相切。$x$ 是球体的中心，在平面下面。

看着 图(27)c ，我们重新表述我们的问题。假设你和我都站在 $x_{(1)}$ 处，想在 $x_{(0)}+{\mathcal{D}}_2$ 这个空间上走到某个位置，使得 $\Vert e\Vert$ 最小。但我们只能沿着搜索方向 $d_{(1)}$ 前进。如果 $d_{(1)}$ 指向最小的点，那我们就成功了。有没有什么理由期望 $d_{(1)}$ 会指向正确的方向呢？

图(27)d 给出了答案。由于 $d_{(1)}$ 和 $d_{(0)}$ 是$A$-正交的，它们在这个图中是垂直的。现在，假设你盯着平面 $x_{(0)}+{\mathcal{D}}_2$，就像它是一张纸一样；你所看到的景象将与 图(27)b 完全相同。点 $x_{(2)}$ 将会在纸的中心，点 $x$ 将会处于纸的正下方，直接就在点 $x_{(2)}$ 正下面。因为 $d_{(1)}$ 和 $d_{(0)}$ 是垂直的， $d_{(1)}$ 直接指向 $x_{(2)}$，是在空间 $x_{(0)}+{\mathcal{D}}_2$ 里最靠近 $x$ 的点。平面 $x_{(0)}+{\mathcal{D}}_2$ 与 $x_{(2)}$ 所在的球面相切。如果你走第 $3$ 步，就会直接从 $x_{(2)}$ 下降到 $x$，在那个与 ${\mathcal{D}}_2$ “$A$-正交” 的方向上。

要用另外一种方式理解 图(27)d 发生了什么，你可以想像你正站在解那里（解就是 $x$），拉动一条连着珠子的绳子，这个珠子被限定在平面 $x_{(0)}+{\mathcal{D}}_i$ 上。每当扩展子空间（expanding subspace） $\mathcal{D}$ 被放大一个维度，珠子就可以自由地靠近你一点。如果你把这个空间拉成 图(27)c 那样，你就有了共轭方向法。

这个珠子的例子怎么解释呢？我是这样想的，$x_{(0)}+{\mathcal{D}}_1$ 这个空间是一条线，$1$ 维的。一开始珠子只能在这上面移动，所以就算把牵着珠子的线拉直了，珠子还是很远（在 $x_{(1)}$ 的地方）。然后珠子的活动空间扩展了一个维度，可以在 $x_{(0)}+{\mathcal{D}}_2$ 这个空间上活动，这个空间是一个面，$2$ 维的。继续拉珠子上的线，拉直后珠子来到了 $x_{(2)}$，离我们的 $x$ 又更近了。最后，再扩展一个维度，珠子能够在整个 $3$ 维空间上活动，这次再拉就把珠子拉到自己身边了，就到达了 $x$。

在这些插图中可以看到共轭方向的另一个重要性质，我们已经看到，在每一步中，超平面 $x_{(0)}+{\mathcal{D}}_i$ 与 $x_{(i)}$ 所处的椭球体正切。回想第4章，任意一点的残差与该点的椭球面正交，因此，$r_{(i)}$ 也与 ${\mathcal{D}}_i$ 正交。要用数学方法来证明这个现象，用 $-d_{(i)}^{T}A$ 左乘 式子(35) 得：$$\begin{array}{rl}-d_{(i)}^{T}A{e}_{(j)}& =-\sum _{j=i}^{n-1}{\delta }_{(j)}{d}_{(i)}^{T}A{d}_{(j)}(38)\\ d_{(i)}^T{r}_{(j)}& =0,i<j\text{( by A-orthogonality of}d\text{-vectors)}(39)\end{array}$$

我们本可以通过另一种方法来推导出这个等式。回想一下，一旦我们朝着搜索方向迈出了一步，我们再也不需要朝着这个方向走了。误差项总是与所有旧的搜索方向$A$-正交。由于 $r_{(i)}=-A{e}_{(i)}$，残差永远与所有旧的搜索方向正交。

由于搜索方向都是从向量 $u$ 构建而来的，$u_0,\dots ,u_{i-1}$ 跨越的子空间是 ${\mathcal{D}}_i$，残差 $r_{(i)}$ 同样与前面这些 $u$ 向量正交（见 图(28)）。通过计算 式子(36) 与 $r_{(j)}$ 的内积可以证明。$$\begin{array}{rl}{d}_{(i)}^T{r}_{(j)}& =u_i^T{r}_{(j)}+\sum _{k=0}^{i-1}{\beta }_{ik}{d}_{(k)}^T{r}_{(j)}(40)\\ 0& =u_{(i)}^T{r}_{(j)},i<j\text{( by Equation 39 )}(41)\end{array}$$

还有一个等式我们稍后会用到。从 式子(40) 和 图(28) 有：
$$d_{(i)}^T{r}_{(i)}=u_i^T{r}_{(i)}\text{\hspace{1em}(42)}$$

(图28)

最后，注意到，与最陡下降法一样，通过使用递推求残差，可以将每次迭代的矩阵-向量乘法的数量减少为 $1$：$$\begin{array}{rl}{r}_{(i+1)}& =-A{e}_{(i+1)}\\ & =-A(e_{(i)}+{\alpha }_{(i)}{d}_{(i)})\\ & =r_{(i)}-{\alpha }_{(i)}A{d}_{(i)}\end{array}\text{\hspace{1em}(43)}$$