【高等数值分析】Krylov子空间方法

1. 预备理论

现在需要求解一个大规模稀疏方程组 $Ax=b$，可以用迭代法比如 Jacobi 迭代法、Gauss-Seidel 迭代法等，不过这一节要讨论的是 Krylov 子空间方法，核心部分是 Arnoldi 迭代。

1.1 Krylov 子空间

定理（Cayley-Hamilton）：设 $A\in {\mathbb{C}}^{n\times n}$，则 $A$ 的特征多项式 $\chi (z)$ 是 $A$ 的零化多项式，也即 $\chi (A)=0$。

假设特征多项式 $\chi (z)=z^n+c_{n-1}{z}^{n-1}+\cdots +c_{1}z+c_0=(-1{)}^n\det (A)$，那么根据 $\chi (A)=0$ 可以得到
$$A^{-1}=-\frac{1}{c_0}{A}^{n-1}-\frac{c_{n-1}}{c_0}{A}^{n-2}+\cdots -\frac{c_1}{c_0}I=q_{n-1}(A)$$
利用这个等式，在求解线性方程组的时候，给定任意初值 $x_0$，都有 $A{x}^{\ast }-A{x}_0=b-A{x}_0\equiv r_0$，于是 $x^{\ast }=x_0+q_{n-1}(A)r_0$，因此理论上可以在空间
$$\mathcal{K}=\left\{{\mathbf{r}}_0,A{\mathbf{r}}_0,\cdots ,A^m{\mathbf{r}}_0,\cdots ,A^{n-1}{\mathbf{r}}_0\right\}$$
中找到方程组的准确解，但是科学与工程计算问题中 $n$ 可以达到 $10^6$ 量级，直接求解代价太高。因此希望在其一个低维子空间中搜索近似解。

定义 $m$ 维 Krylov 子空间为
$${\mathcal{K}}_m=\mathrm{span}\left({\mathbf{r}}_0,A{\mathbf{r}}_0,A^2{\mathbf{r}}_0,\cdots ,A^{m-1}{\mathbf{r}}_0\right)$$
方程组求解问题转化为
$$\underset{x\in x_0+{\mathcal{K}}_m}{\min }\Vert x^{\ast }-x\Vert .$$

1.2 最佳逼近

现在的问题就是在何种范数意义下求解问题 ${\min }_{x\in x_0+{\mathcal{K}}_m}\Vert x^{\ast }-x\Vert$。假设 ${\mathcal{K}}_m$ 的一组基作为列向量构成矩阵 $V_m$，最优解为 $x_m=x_0+V_m{y}^{\ast }\in x_0+{\mathcal{K}}_m,y^{\ast }\in {\mathbb{R}}^m$。

1.2.1 方法一：最佳平方逼近

取 $2$ 范数 ${\min }_{x\in x_0+{\mathcal{K}}_m}\Vert x^{\ast }-x{\Vert }_2$，那么根据最佳平方逼近条件（对$x$求导，取零点），或者 Galerkin 正交条件，可以推出法方程为
$$\begin{array}{rl}& ⟨x^{\ast }-x_m,y⟩=0,\forall y\in {\mathcal{K}}_m\\ ⟺& V_m^{\mathrm{T}}(x^{\ast }-x_m)=0\end{array}$$
但是这个方法不可行！因为要求 $x_m$ 就需要知道 $x^{\ast }$。

1.2.2 方法二：假设 $A$ 对称正定

若 $A$ 对称正定，那么可以改求解问题 ${\min }_{x\in x_0+{\mathcal{K}}_m}⟨A(x-x^{\ast }),x-x^{\ast }⟩$，根据Galerkin 正交条件有法方程
$$\begin{array}{rl}& ⟨A(x^{\ast }-x_m),y⟩=0,\forall y\in {\mathcal{K}}_m\\ ⟺& r_m=A(x^{\ast }-x_m)\perp {\mathcal{K}}_m\\ ⟺& V_m^{\mathrm{T}}(r_0-A{x}_m)=0\end{array}$$
这个方法可行！后面需要做两件事情：1）求出一组基 $V_m$；2）解法方程。

Note：这里为了得到法方程，需要假设 $A$ 对称正定。但是在后面的 FOM 方法中，不论 $A$ 是否正定，都基于 Galerkin 条件直接采用了这一法方程来求解线性方程组。至于这么做是否有理论支持我也不太清楚，就姑且相信它是合理的。

1.2.3 方法三：残差2范数

当 $A$ 非奇异，不去求解 $\min \Vert x^{\ast }-x\Vert$，而是求解 ${\min }_{x\in x_0+{\mathcal{K}}_m}\Vert A(x^{\ast }-x){\Vert }_2$，那么再次根据 Galerkin 条件，可以导出法方程
$$\begin{array}{rl}& ⟨A(x^{\ast }-x_m),Ay⟩=0,\forall y\in {\mathcal{K}}_m\\ ⟺& r_m=A(x^{\ast }-x_m)\perp A{\mathcal{K}}_m\\ ⟺& V_m^{\mathrm{T}}{A}^{\mathrm{T}}(r_0-A{x}_m)=0\end{array}$$
这个方法也是可行的。

不论如何，上面几种方法最后都归结为两个问题：

1. 获得 ${\mathcal{K}}_m$ 的基底 $V_m$：Gram-Schmidt 正交化方法；
2. 求解法方程，并且计算残差：低维线性方程组求解。

2. 基底正交化

获得正交基底的方法主要有 Arnoldi 过程（CGS）、改进 Arnoldi 过程（MGS）、以及 Lanczos 过程。名字起的很 fancy，别被吓到，其实他们都只是 Gram-Schmidt 正交化方法。

2.1 Arnoldi 过程（CGS）

迭代过程可以归结为
$$\begin{array}{rl}{\mathbf{v}}_1& ={\mathbf{r}}_0/\Vert {\mathbf{r}}_0\Vert \\ {\mathbf{w}}_j& =A{\mathbf{v}}_j-⟨A{\mathbf{v}}_j,{\mathbf{v}}_1⟩{\mathbf{v}}_1-⟨A{\mathbf{v}}_j,{\mathbf{v}}_2⟩{\mathbf{v}}_2-\cdots -⟨A{\mathbf{v}}_j,{\mathbf{v}}_j⟩{\mathbf{v}}_j\\ {\mathbf{v}}_{j+1}& =\frac{{\mathbf{w}}_j}{{\Vert {\mathbf{w}}_j\Vert }_2},j=1,2,\cdots \\ h_{i,j}& =⟨A{\mathbf{v}}_j,{\mathbf{v}}_i⟩\end{array}$$
得到的 $\{v_1,v_2,...,v_m,...,v_n\}$ 是单位正交基。由 $h_{i,j}$ 作为元素构成矩阵 $H_m\in {\mathbb{R}}^{m\times m}$，可以验证 $H_m$ 为 Hessenberg 阵，并且 $h_{i+1,i}=\Vert {\mathbf{w}}_i{\Vert }_2$。在 $H_m$ 的基础上可以定义 ${\bar{H}}_m\in {\mathbb{R}}^{(m+1)\times m}$，也就是在最后一行下面再加一行 $[0,...,0,h_{m+1,m}]$。

可以验证他们满足如下等式，这三个式子在后面会频繁用到，极其重要！
$$\begin{array}{rl}A{V}_m& =V_m{H}_m+{\mathbf{w}}_m{\mathbf{e}}_m^{\mathrm{T}}\\ & =V_{m+1}{\bar{H}}_m\\ V_m^{\mathrm{T}}A{V}_m& =H_m\end{array}$$

2.2 改进 Arnoldi 过程（MGS）

前面的 Arnoldi 过程在计算 ${\mathbf{w}}_j$ 的时候，相当于把 $A{\mathbf{v}}_j$ 分别计算了 $j$ 次投影，每次都是向一个一维的子空间 $\mathrm{span}\{{\mathbf{v}}_i\}$ 投影，可能会有计算不稳定的问题。对其进行改进的方法如下，交换顺序之后，每次都是向一个 $n-1$ 维子空间投影。

2.3 Lanczos过程

是 Arnoldi 过程的特殊情况，当 $A=A^{\mathrm{T}}$，那么 $H_m$ 为三对角矩阵，那么 ${\mathbf{w}}_j$ 的计算简化为
$${\mathbf{w}}_j=A{\mathbf{v}}_j-⟨A{\mathbf{v}}_j,{\mathbf{v}}_{j-1}⟩{\mathbf{v}}_{j-1}-⟨A{\mathbf{v}}_j,{\mathbf{v}}_j⟩{\mathbf{v}}_j$$

3. 方程组求解

针对上面几种不同的迭代过程，可以有不同的求解方法。

3.1 全正交方法 (FOM)

FOM (Full orthogonalization method) 根据 Galerkin 条件，$r_m\perp {\mathcal{K}}_m$，根据法方程 $V_m^{\mathrm{T}}(r_0-A{V}_{m}y)=0$，因此有
$$\begin{array}{rl}& r_m\perp {\mathcal{K}}_m⟺V_m^{\mathrm{T}}(r_0-A{V}_{m}y)=0⟹H_{m}y=\Vert r_0\Vert {\mathbf{e}}_1\end{array}$$
伪代码为

根据 $x_m=x_0+V_{m}y$，残差有 $r_m=r_0-A{V}_{m}y=r_0-(V_m{H}_m+{\mathbf{w}}_m{\mathbf{e}}_m^{\mathrm{T}})y=-{\mathbf{w}}_m{\mathbf{e}}_m^{\mathrm{T}}y$。

3.2 D-Lanczos方法

若 $A$ 对称，那么 $H_m$ 为三对角阵，特别地记为 $T_m$
$$T_m=\left(\begin{array}{ccccc}{\alpha }_1& {\beta }_2& & & \\ {\beta }_2& {\alpha }_2& {\beta }_3& & \\ & \ddots & \ddots & \ddots & \\ & & {\beta }_{m-1}& {\alpha }_{m-1}& {\beta }_m\\ & & & {\beta }_m& {\alpha }_m\end{array}\right)\in {\mathbb{R}}^{m\times m}$$
记 $T_m$ 的 LU 分解为
$$T_m=L_m{U}_m=\left(\begin{array}{ccccc}1& & & & \\ {\lambda }_2& 1& & & \\ & \ddots & \ddots & & \\ & & {\lambda }_{m-1}& 1& \\ & & & {\lambda }_m& 1\end{array}\right)\left(\begin{array}{ccccc}{\eta }_1& {\omega }_2& & & \\ & {\eta }_2& {\omega }_3& & \\ & & \ddots & \ddots & \\ & & & {\eta }_{m-1}& {\omega }_m\\ & & & & {\eta }_m\end{array}\right)$$
其中 ${\omega }_m={\beta }_m$, ${\lambda }_m=\frac{{\beta }_m}{{\eta }_{m-1}}$, ${\eta }_m={\alpha }_m-{\lambda }_m{\omega }_m$。那么根据下面这一性质，Lanczos过程可以迭代进行
$$\begin{array}{rl}{L}_m=\left(\begin{array}{cc}{L}_{m-1}& 0\\ {\mathbf{l}}_{m-1}^T& 1\end{array}\right),& U_m=\left(\begin{array}{cc}{U}_{m-1}& {\mathbf{y}}_{m-1}\\ 0^T& {\eta }_m\end{array}\right)\\ L_m^{-1}=\left(\begin{array}{cc}{L}_{m-1}^{-1}& 0\\ -{\mathbf{l}}_{m-1}^T{L}_{m-1}^{-1}& 1\end{array}\right),& U_m^{-1}=\left(\begin{array}{cc}{U}_{m-1}^{-1}& -\frac{1}{{\eta }_m}{U}_{m-1}^{-1}{\mathbf{y}}_{m-1}\\ 0^T& 1/{\eta }_m\end{array}\right)\end{array}$$
根据这个方法，还可以到处CG（共轭梯度）法的形式。

3.3 广义极小残量法（GMRES）

Generalized minimal residual method (GMRES) 实际上就是最小化参量的二范数，即 $\min \Vert r_m{\Vert }_2={\min }_{x\in x_0+{\mathcal{K}}_m}\Vert A(x^{\ast }-x){\Vert }_2$，根据 Galerkin 条件，应有 $r_m\perp A{\mathcal{K}}_m⟺V_m^{\mathrm{T}}{A}^{\mathrm{T}}A{V}_{m}y=V_m^{\mathrm{T}}{A}^{\mathrm{T}}{r}_0,y\in {\mathbb{R}}^m$。

另个一思路是 $\min \Vert r_0-A{V}_{m}y\Vert =\min \Vert V_{m+1}(\Vert r_0\Vert e_1-{\bar{H}}_{m}y)\Vert =\min \Vert \Vert r_0\Vert e_1-{\bar{H}}_{m}y\Vert$，最小二乘解 ${\bar{H}}_m^{\mathrm{T}}({\bar{H}}_{m}y-\Vert r_0\Vert e_1)=0$。

3.4 MINRES 方法

是 GMRES 的特殊情况，当 $A=A^{\mathrm{T}}$ 的时候，$H_m$ 为三对角阵 $T_m$，$\min \Vert r_m{\Vert }_2=\min \Vert \Vert r_0\Vert e_1-T_{m}y\Vert$。

最后给我的博客打个广告，欢迎光临
https://glooow1024.github.io/
https://glooow.gitee.io/

前面的一些博客链接如下
泛函分析专栏
高等数值分析专栏
【高等数值分析】多项式插值
【高等数值分析】函数逼近
【高等数值分析】数值积分和数值微分
【高等数值分析】常微分方程数值解
【高等数值分析】Krylov子空间方法