共轭梯度法（Conjugate Gradients）（5）

最近在看ATOM，作者在线训练了一个分类器，用的方法是高斯牛顿法和共轭梯度法。看不懂，于是恶补了一波。学习这些东西并不难，只是难找到学习资料。简单地搜索了一下，许多文章都是一堆公式，这谁看得懂啊。

后来找到一篇《An Introduction to the Conjugate Gradient Method Without the Agonizing Pain》，解惑了。
为什么中文没有这么良心的资料呢？英文看着费劲，于是翻译过来搬到自己的博客，以便回顾。

由于原文比较长，一共 $66$ 页的PDF，所以这里分成几个部分来写。

目录
共轭梯度法（Conjugate Gradients）（1）
共轭梯度法（Conjugate Gradients）（2）
共轭梯度法（Conjugate Gradients）（3）
共轭梯度法（Conjugate Gradients）（4）
共轭梯度法（Conjugate Gradients）（5）

---

B 总结

B1. Steepest Descent

给定输入 $A$，$b$，起始值 $x$，最大迭代次数 $i_{max}$，容忍误差（error tolerance）$\epsilon <1$：

$$\begin{array}{rl}& i\Leftarrow 0\\ & r\Leftarrow b-Ax\\ & \delta \Leftarrow r^{T}r\\ & {\delta }_0\Leftarrow \delta \\ & \text{While}i<i_{max}\text{and}\delta >{\epsilon }^2{\delta }_0\text{do}\\ & q\Leftarrow Ar\\ & \alpha \Leftarrow \frac{\delta }{r^{T}q}\\ & x\Leftarrow x+\alpha r\\ & \text{If}i\text{is divisible by 50}\\ & r\Leftarrow b-Ax\\ & \text{else}\\ & r\Leftarrow r-\alpha q\\ & \delta \Leftarrow r^{T}r\\ & i\Leftarrow i+1\end{array}$$

当迭代次数达到 $i_{max}$ ，或者 $\Vert r_{(i)}\Vert \le \epsilon \Vert r_{(0)}\Vert$ 的时候停止迭代。

通常我们用的是残差的快速递归公式，但是每进行 $50$ 次迭代，就会重新计算精确的残差，以消除累积的浮点误差。当然，这个 $50$ 是可以任意设置的，对于比较大的 $n$，采用 $\sqrt{n}$ 比较合适。

如果 $\epsilon$ 很大，那就不需要修正残差（实际中也很少用到修正）。如果 tolerance 接近你的机器的浮点数精度的极限，那在计算了 $\delta$ 之后，就要检查一下是否 $\delta \le {\epsilon }^2{\delta }_0$，如果是，那就得重新计算精确的残差值，再重新计算 $\delta$。这能够预防浮点数舍入误差造成的早停。

B2. Conjugate Gradients

给定输入 $A$，$b$，起始值 $x$，最大迭代次数 $i_{max}$，容忍误差（error tolerance）$\epsilon <1$：

$$\begin{array}{rl}& i\Leftarrow 0\\ & r\Leftarrow b-Ax\\ & d\Leftarrow r\\ & {\delta }_{new}\Leftarrow r^{T}r\\ & {\delta }_0\Leftarrow {\delta }_{new}\\ & \text{While}i<i_{max}\text{and}\delta >{\epsilon }^2{\delta }_0\text{do}\\ & q\Leftarrow Ad\\ & \alpha \Leftarrow \frac{{\delta }_{new}}{d^{T}q}\\ & x\Leftarrow x+\alpha d\\ & \text{If}i\text{is divisible by 50}\\ & r\Leftarrow b-Ax\\ & \text{else}\\ & r\Leftarrow r-\alpha q\\ & {\delta }_{old}\Leftarrow {\delta }_{new}\\ & {\delta }_{new}\Leftarrow r^{T}r\\ & \beta \Leftarrow \frac{{\delta }_{new}}{{\delta }_{(old)}}\\ & d\Leftarrow r+\beta d\\ & i\Leftarrow i+1\end{array}$$

[见 B1. 小节的说明]

B3. Preconditioned Conjugate Gradients

给定输入 $A$，$b$，起始值 $x$， preconditioner $M$（可能是隐式定义的）， 最大迭代次数 $i_{max}$，容忍误差（error tolerance）$\epsilon <1$：

$$\begin{array}{rl}& i\Leftarrow 0\\ & r\Leftarrow b-Ax\\ & d\Leftarrow M^{-1}r\\ & {\delta }_{new}\Leftarrow r^{T}d\\ & {\delta }_0\Leftarrow {\delta }_{new}\\ & \text{While}i<i_{max}\text{and}\delta >{\epsilon }^2{\delta }_0\text{do}\\ & q\Leftarrow Ad\\ & \alpha \Leftarrow \frac{{\delta }_{new}}{d^{T}q}\\ & x\Leftarrow x+\alpha d\\ & \text{If}i\text{is divisible by 50}\\ & r\Leftarrow b-Ax\\ & \text{else}\\ & r\Leftarrow r-\alpha q\\ & s\Leftarrow M^{-1}r\\ & {\delta }_{old}\Leftarrow {\delta }_{new}\\ & {\delta }_{new}\Leftarrow r^{T}s\\ & \beta \Leftarrow \frac{{\delta }_{new}}{{\delta }_{old}}\\ & d\Leftarrow s+\beta d\\ & i\Leftarrow i+1\end{array}$$

$“s\Leftarrow M^{-1}r”$ 这一条声明意味着你应该应用 preconditioner，不一定要以矩阵的形式。

剩下的，同样 [见 B1. 小节的说明]。

B4. Nonlinear Conjugate Gradients with Newton-Raphson and Fletcher-Reeves

给定一个函数 $f$，起始值 $x$，CG 的最大迭代次数 $i_{max}$，CG 的容忍误差（error tolerance）$\epsilon <1$，牛顿-拉夫森（Newton-Raphson） 的最大迭代次数 $j_{max}$，牛顿-拉夫森的容忍误差 $ϵ<1$ 有：

$$\begin{array}{rl}& i\Leftarrow 0\\ & k\Leftarrow 0\\ & r\Leftarrow -f^{\prime }(x)\\ & d\Leftarrow r\\ & {\delta }_{new}\Leftarrow r^{T}r\\ & {\delta }_0\Leftarrow {\delta }_{new}\\ & \text{While}i<i_{max}\text{and}{\delta }_{new}>{\epsilon }^2{\delta }_0\text{do}\\ & j\Leftarrow 0\\ & {\delta }_d\Leftarrow d^{T}d\\ & \text{Do}\\ & \alpha \Leftarrow =\frac{[f^{\prime }(x){]}^{T}d}{d^T{f}^{\prime \prime }(x)d}\\ & x\Leftarrow x+\alpha d\\ & j\Leftarrow j+1\\ & \text{while}j<j_{max}\text{and}{\alpha }^2{\delta }_d>{ϵ}^2\\ & \\ & r\Leftarrow -f^{\prime }(x)\\ & {\delta }_{old}\Leftarrow {\delta }_{new}\\ & {\delta }_{new}\Leftarrow r^{T}r\\ & \beta \Leftarrow \frac{{\delta }_{new}}{{\delta }_{old}}\\ & d\Leftarrow r+\beta d\\ & k\Leftarrow k+1\\ & \text{If}k=n\text{or}{r}^{T}d\le 0\\ & d\Leftarrow r\\ & k\Leftarrow 0\\ & i\Leftarrow i+1\end{array}$$

当迭代次数达到 $i_{max}$ ，或者 $\Vert r_{(i)}\Vert \le \epsilon \Vert r_{(0)}\Vert$ 的时候停止迭代。

每次 Newton-Raphson 迭代都对 $x$ 加上 $\alpha d$，它的迭代结束条件是：更新值 $\alpha d$ 小于给定的容忍度（$\Vert \alpha d\Vert <ϵ$），或者迭代次数达到了 $j_{max}$。

可以通过使用较小的 $j_{max}$ ，同时/或者 用它的对角元素来近似海森矩阵 $f^{\prime \prime }(x)$ 来完成快速精确的线搜索。

一旦算出来的搜索方向不是一个下降方向，那就要重启非线性 CG（通过令 $d\Leftarrow r$）。每迭代 $n$ 次也会重启一次，以提高收敛性（当 $n$ 很小的时候）。

计算 $\alpha$ 的时候，可能会出现 “除以 $0$” 的错误，因为起始点 $x_{(}0)$ 可能距离期望的最小值不够近，或者 $f$ 不是二阶连续可导。
前一种情况的解决办法是，选择一个更好的起点，或者用更复杂的线搜索。对于后一种情况， CG 也许不是最合适的最小化算法。

B5. Preconditioned Nonlinear Conjugate Gradients with Secant and Polak-Ribière

给定一个函数 $f$，起始值 $x$，CG 的最大迭代次数 $i_{max}$，CG 的容忍误差（error tolerance）$\epsilon <1$。
弦截法（Secant） 的步长 ${\sigma }_0$，最大迭代次数 $j_{max}$，Secant 的容忍误差 $ϵ<1$ ，有：

$$\begin{array}{rl}& i\Leftarrow 0\\ & k\Leftarrow 0\\ & r\Leftarrow -f^{\prime }(x)\\ & \text{Calculate a preconditioner}M\approx f^{\prime \prime }(x)\\ & s\Leftarrow M^{-1}r\\ & d\Leftarrow s\\ & {\delta }_{new}\Leftarrow r^{T}d\\ & {\delta }_0\Leftarrow {\delta }_{new}\\ & \text{While}i<i_{max}\text{and}{\delta }_{new}>{\epsilon }^2{\delta }_0\text{do}\\ & j\Leftarrow 0\\ & {\delta }_d\Leftarrow d^{T}d\\ & \alpha \Leftarrow -{\sigma }_0\\ & {\eta }_{prev}\Leftarrow [f^{\prime }(x+{\sigma }_{0}d){]}^{T}d\\ & \text{Do}\\ & \eta \Leftarrow [f^{\prime }(x){]}^{T}d\\ & \alpha \Leftarrow \alpha \frac{\eta }{{\eta }_{prev}-\eta }\\ & x\Leftarrow x+\alpha d\\ & {\eta }_{prev}\Leftarrow \eta \\ & j\Leftarrow j+1\\ & \text{while}j<j_{max}\text{and}{\alpha }^2{\delta }_d>{ϵ}^2\\ & \\ & r\Leftarrow -f^{\prime }(x)\\ & {\delta }_{old}\Leftarrow {\delta }_{new}\\ & {\delta }_{mid}\Leftarrow r^{T}s\\ & \text{Calculate a preconditioner}M\approx f^{\prime \prime }(x)\\ & s\Leftarrow M^{-1}r\\ & {\delta }_{new}\Leftarrow r^{T}s\\ & \beta \Leftarrow \frac{{\delta }_{new}-{\delta }_{mid}}{{\delta }_{old}}\\ & k\Leftarrow k+1\\ & \text{If}k=n\text{or}\beta \le 0\\ & d\Leftarrow s\\ & k\Leftarrow 0\\ & \text{else}\\ & d\Leftarrow s+\beta d\\ & i\Leftarrow i+1\end{array}$$

当迭代次数达到 $i_{max}$ ，或者 $\Vert r_{(i)}\Vert \le \epsilon \Vert r_{(0)}\Vert$ 的时候停止迭代。

每次 Secant 迭代都对 $x$ 加上 $\alpha d$，它的迭代结束条件是：更新值 $\alpha d$ 小于给定的容忍度（$\Vert \alpha d\Vert <ϵ$），或者迭代次数达到了 $j_{max}$。使用较小的 $j_{max}$ 可以完成快速精确线搜索。参数 ${\sigma }_0$ 决定了 式子(59) 中的 $\sigma$ 值，用于每次 Secant 法最小化过程中的第 $1$ 个迭代。为了能收敛，这个参数可能需要调节。

Polak-Ribière 法的参数 $\beta$ 是：

$\frac{{\delta }_{new}-{\delta }_{mid}}{{\delta }_{old}}=\frac{r_{(i+1)}^T{s}_{(i+1)}-r_{(i+1)}^T{s}_{(i)}}{r_{(i)}^T{s}_{(i)}}=\frac{r_{(i+1)}^T{M}^{-1}(r_{(i+1)}-r_{(i)})}{r_{(i)}^T{M}^{-1}{r}_{(i)}}$

需要注意的是， preconditioner $M$ 总是正定的。它不一定要是矩阵的形式。

一旦 Polak-Ribière 的参数 $\beta$ 变成负数，就要重启非线性 CG（令 $d\Leftarrow r$）。每迭代 $n$ 次也会重启一次，以提高收敛性（当 $n$ 很小的时候）。

非线性 CG 有几种选择：
是否 Preconditioned；
用牛顿-拉夫森（Newton-Raphson）法或者弦截（Secant）法或者别的；
Fletcher-Reeves 或者 Polak-Ribière。

还可以从上面提到的方法中构造各种变体。（ Polak-Ribière 几乎总是首选的。）