学习笔记十六——线性方程组的数值解法

本章主要讲的是求解方程组
$$AX=b(\ast )$$
其中 $A\in R^{n\times n}$ 为非奇异矩阵

Gauss消元法

前提条件

消元过程的所有主元素 $a_{kk}^{(k)}̸=0\Leftarrow \Rightarrow$ 系数矩阵 $A$ 的 $k$ 阶顺序主子阵 $det(A_k)(k=1,2,\cdots ,m)$ 均非奇异

列选主元

我们从子块（如果是构造上三角矩阵，它的左边全是零）
$$\left(\begin{array}{c}{a}_{k+1,k+1}^{(k+1)}\\ a_{k+2,k+1}^{(k+1)}\\ ⋮\\ a_{n,k+1}^{(k+1)}\end{array}\right)$$
中找到绝对值最大的元素 $a_{p,k+1}^{(k+1)}$ ,将整个矩阵的第 $k+1$ 行与第 $p$ 行互换，从而使每次做消元时，主元素最大。

前推过程

构造形式如下：
$$A^{(n)}=\left(\begin{array}{cccc}{a}_{11}^{(1)}& a_{12}^{(1)}& \cdots & a_{1n}^{(1)}\\ & & & a_{2n}^{(2)}\\ & a_{22}^{(2)}& \cdots & \\ & & & ⋮\\ & & & \\ & & & a_{nn}^{(n)}\\ & & & \end{array}\right),b^{(n)}=\left(\begin{array}{c}{b}_1^{(1)}\\ b_1^{(2)}\\ ⋮\\ b_1^{(n)}\end{array}\right)$$

回代过程

我们从第 $n$ 个方程开始，自下而上依次解出 $x_n,x_{n-1},\cdots ,x_1$ 。

Doolittle分解法

我们记
$$A=LU$$
定理： 若矩阵 $A\in R^{n\times n}$ 的顺序主子式 $det(A_i)̸=0(i=1,2,\cdots ,n),$ 则存在唯一的下三角矩阵 $L$ 及上三角矩阵 $U$ 使得上式成立。
求解过程可以分为下列子过程：
$$LY=b\Rightarrow Y=(y_1,y_2,\cdots ,y_n{)}^T\Rightarrow UX=Y\Rightarrow X.$$
步骤：

1. $L$ 的第一列与 $A$ 的第一列相同；
2. 求 $U$ 的第一行；
3. 求 $L$ 的第二列；
4. 求 $U$ 的第二行；
5. $\cdots \cdots$

最后可得到 $L$ 与 $U$ ，在得到解 $X$ 。

改进的Cholesky分解法

没看懂，建议直接看《计算方法（第二版）》的P60 。

追赶法

也就是Gauss消元法的特殊应用，没什么难，《计算方法（第二版）》的P62。

扰动分析

条件数 $Cond(A):||A^{-1}||||A||$。当 $Cond(A)>>1$ 时，方程组 $(\ast )$ 视为病态的。常用的条件数有：
$$\begin{gathered} Con{d}_1(A)=||A^{-1}|{|}_1||A|{|}_1, \\ Con{d}_{\infty }(A)=||A^{-1}|{|}_{\infty }||A|{|}_{\infty }. \end{gathered}$$
上述方式就是一般的直接法，而迭代法比直接法更适合于现代大规模科学工程计算。

一般单步迭代法

设线性方程 $(\ast )$ 有如下迭代格式：
$$X^{(k+1)}=B{K}^{(k)}+F,k=0,1,2,\cdots ,(\ast \ast )$$
定理（重要）： 当给定初始向量 $X^{(0)}$ 时，迭代格式 $(\ast \ast )$ 收敛的充要条件是其迭代矩阵 $B$ 的谱半径 $\rho (B)<1$。

Jacobi迭代法

将线性方程组 $(\ast )$ 的系数矩阵 $A$ 分解为
$$A=L+D+U,$$
其中 $D=diag(a_{11},a_{22},\cdots ,a_{nn}),$
$$L=\left(\begin{array}{ccccc}0& 0& \cdots & 0& 0\\ a_{21}& 0& \cdots & 0& 0\\ a_{31}& a_{32}& \cdots & 0& 0\\ ⋮& ⋮& & ⋮& ⋮\\ a_{n1}& a_{n2}& \cdots & a_{n,n-1}& 0\end{array}\right),$$
$$U=\left(\begin{array}{ccccc}0& a_{12}& a_{13}& \cdots & a_{1n}\\ 0& 0& a_{23}& \cdots & a_{2n}\\ ⋮& ⋮& ⋮& & ⋮\\ 0& 0& 0& \cdots & a_{n-1,n}\\ 0& 0& 0& \cdots & 0\end{array}\right).$$
于是有
$$\begin{gathered} (L+D+U)X=b \\ \Rightarrow DX=-(L+U)X+b \\ \Rightarrow X=-D^{-1}(L+D)X+D^{-1}b \end{gathered}$$
Jacobi迭代公式：
$$X^{(k+1)}=-D^{-1}(L+D)X^{(k)}+D^{-1}b,k=0,1,\cdots ,$$
定理（重要）： 若线性方程组 $(\ast )$ 的系数矩阵 $A$ 严格对角占优，则Jacobi迭代法是收敛的。

Gauss-Seidel迭代法

方程组 $(\ast )$ 也可以等价地写为
$$(D+L)X=-UX+b$$
类似Jacobi迭代法可以得到Gauss-Seidel迭代法：
$$X^{(k+1)}=-(D+L{)}^{-1}U{X}^{(k)}+(D+L{)}^{-1}b$$
定理（重要）： 若线性方程组 $(\ast )$ 的系数矩阵 $A$ 严格对角占优，则Gauss-Seidel迭代法是收敛的。

JOR迭代法

JOR迭代法是由Jacobi迭代法加入松弛因子 $w$ 得到。
由：
$$X^{(k+1)}=X^{(k)}+w步长$$
可以得到JOR迭代法：
$$X^{(k+1)}=X^{(k)}-w{D}^{-1}(A{X}^{(k)}-b).$$
JOR迭代法有最佳松弛因子
$$w_{opt}=\frac{2}{2-{\lambda }_{max}^{B_J}-{\lambda }_{min}^{B_J}},$$
其中 ${\lambda }_{max}^{B_J},{\lambda }_{min}^{B_J}$ 分别表示Jacobi迭代矩阵 $B_J=-D^{-1}(L+U)$ 的最大和最小特征值。此外，当 ${\lambda }_{max}^{B_J}̸={\lambda }_{min}^{B_J}$ 时，JOR迭代法的收敛速度相较于对应的Jacobi迭代法的收敛速度快。
定理（重要）： 若线性方程组 $(\ast )$ 的系数矩阵 $A$ 严格对角占优，则松弛因子 $w\in (0,1]$ 的JOR迭代法是收敛的。

SOR迭代法

SOR迭代法是由Gauss-Seidel迭代法加入松弛因子 $w$ 得到。
由：
$$D{X}^{(k+1)}=D{X}^{(k)}+w步长$$
得到SOR迭代法：
$$X^{(k+1)}=(D+wL{)}^{-1}\{[(1-w)D-wU]X^{(k)}+wb\}.$$
SOR迭代法的最佳松弛因子
$$w_{opt}=\frac{2}{1+\sqrt{1-{\rho }^2(B_J)}}$$
定理（重要）： 若线性方程组 $(\ast )$ 的系数矩阵 $A$ 严格对角占优，则松弛因子 $w\in (0,1]$ 的SOR迭代法是收敛的。

下面是自己推导Jacobi,Gauss-Seidel,JOR,SOR的过程：