数值计算方法第三章—线性方程组的数值解法知识点总结

线性方程组的数值解法

本文参考书为马东升著《数值计算方法》

高斯消去法

• 顺序高斯消去法

  通过初等变换消去方程组系数矩阵主对角线以下的元素，而使方程组化为等价的上三角形方程组

  ---

• 列主元高斯消去法

  在每一次消元之前，将绝对值大的元素交换到主对角线的位置上

  ---

• 高斯—若尔当消去法

  每次消元时利用主元将所在列其余元素全部消为0

矩阵三角分解法

• 杜利特尔分解

  $$u_{ri}=a_{ri}-\sum _{k=1}^{r-1}{l}_{rk}{u}_{ki},i=r,r+1,\cdots ,n$$

  $$l_{ir}=(a_{ir}-\sum _{k=1}^{r-1}{l}_{ik}{u}_{kr})/u_{rr},i=r+1,r+2,\cdots ,n$$

  然后求解两个三角方程组
  $$Ly=b,Ux=y$$

  例：
  $$\left(\begin{array}{cccc}2& 2& 3& 4\\ 2& 4& 9& 16\\ 4& 8& 24& 64\\ 6& 16& 51& 100\end{array}\right)\left(\begin{array}{c}{x}_1\\ x_2\\ x_3\\ x_4\end{array}\right)=\left(\begin{array}{c}1\\ 1\\ 3\\ -29\end{array}\right)$$

  解：
  $$L=\left(\begin{array}{cccc}1& & & \\ 1& 1& & \\ 2& 2& 1& \\ 3& 5& 2& 1\end{array}\right),U=\left(\begin{array}{cccc}2& 2& 3& 4\\ & 2& 6& 12\\ & & 6& 31\\ & & & -34\end{array}\right),y=\left(\begin{array}{c}1\\ 0\\ 1\\ -34\end{array}\right),x=\left(\begin{array}{c}-3\\ 9\\ -5\\ 1\end{array}\right)$$

  ---

• 追赶法

  $$\{\begin{array}{l}{l}_1=b_1\\ u_i=c_i/l_i\\ l_{i+1}=b_{i+1}-a_{i+1}{u}_i\end{array}i=1,2,\cdots ,n-1$$

  追：
  $$\{\begin{array}{l}{y}_1=f_1/l_1\\ y_i=(f_i-a_i{y}_{i-1})/l_i,i=2,3,\cdots ,n\end{array}$$
  赶：
  $$\{\begin{array}{l}{x}_n=y_n\\ x_i=y_i-u_i{x}_{i+1},i=n-1,\cdots ,2,1\end{array}$$

平方根法（不用记）

• 对称正定矩阵

  • A对称正定，则A的对角元素$a_{ii}>0,i=1,2,\cdots ,n$

  • A的顺序主子阵$A_k,k=1,2,\cdots ,n$也是对称正定矩阵，其中
    $$A_k=\left(\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1k}\\ a_{21}& a_{22}& \cdots & a_{2k}\\ \cdots & \cdots & \cdots & \cdots \\ a_{k1}& a_{k2}& \cdots & a_{kk}\end{array}\right),k=1,2,\cdots ,n$$

  • A的特征值${\lambda }_i>0,i=1,2,\cdots ,n$

  • A的顺序主子式都大于零，即$det{A}_k>0,k=1,2,\cdots ,n$

  • A非奇异，且$A^{-1}$为对称正定矩阵

  例：判断矩阵$A=\left(\begin{array}{ccc}4& -1& 0\\ -1& 4& -1\\ 0& -1& 4\end{array}\right)$的正定性

  解：$A$为对称矩阵，且$\left|A_1\right|=4>0,\left|A_2\right|=15>0,\left|A_3\right|=56>0$,即$A$为对称正定矩阵

  ---

• 对称正定矩阵的乔累斯基分解

  $$\{\begin{array}{l}{l}_{ii}=\sqrt{a_{ii}-\sum _{k=1}^{r-1}{l}_{ik}^2}\\ l_{ji}=(a_{ji}-\sum _{k=1}^{i-1}{l}_{jk}{l}_{ik})/l_{ii},j=i+1,i+1,\cdots ,n\end{array}$$

  例：对矩阵$A=\left(\begin{array}{ccc}1& 1& 2\\ 1& 2& 0\\ 2& 0& 11\end{array}\right)$进行乔累斯基分解

  解：$A$为对称矩阵，且$\left|A_1\right|=1>0,\left|A_2\right|=1>0,\left|A_3\right|>0$

  ​ 即$A$为对称正定矩阵。可进行乔累斯基分解

  ​ 解得$L=\left(\begin{array}{ccc}1& & \\ 1& 1& \\ 2& -2& \sqrt{3}\end{array}\right)$

  ---

• 平方根法

  对对称正定矩阵进行乔累斯基分解后，求解两个三角方程组
  $$Ly=b,L^{T}x=y$$

  ---

• 改进平方根法

  为避免重复计算，作如下变换
  $$A=LD{L}^T=T{L}^T$$
  其中$T=LD$，即引进辅助变量$t_{ij}=l_{ij}\cdot d_j$

  对于$i=1,2,\cdots ,n$
  $$\{\begin{array}{l}{t}_{ij}=a_{ij}-\sum _{k=1}^{j-1}{t}_{ik}{l}_{jk},j=1,2,\cdots ,i-1\\ l_{ij}=t_{ij}/d_j,j=1,2,\cdots ,i-1\\ d_i=a_{ii}-\sum _{k=1}^{i-1}{t}_{ik}{l}_{ik}\end{array}$$
  计算顺序为$d_1\to l_{21}\to d_2\to l_{31}\to l_{32}\to d_3\to l_{41}\to l_{42}\to l_{43}$

  故等价求解$L(D{L}^{T}x)=b$，可分解为$Ly=b,D{L}^{T}x=y$，其计算公式为
  $$\{\begin{array}{l}{y}_i=b_i-\sum _{k=1}^{i-1}{l}_{ik}{y}_k,1,2,\cdots ,n\\ x_i=y_i/d_i-\sum _{k=i+1}^n{l}_{ki}{x}_k,i=n,n-1,\cdots ,1\end{array}$$

  例：用改进平方根法解方程组
  $$\left(\begin{array}{ccc}3& 3& 5\\ 3& 5& 9\\ 5& 9& 17\end{array}\right)\left(\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right)=\left(\begin{array}{c}0\\ -2\\ -4\end{array}\right)$$

  解：$A$为对称矩阵，且$\left|A_1\right|=3>0,\left|A_2\right|=6>0,\left|A_3\right|=4>0$，方程组为对称正定方程组

  ​ 解得$L=\left(\begin{array}{ccc}1& & \\ 1& 1& \\ \frac{5}{3}& 2& 1\end{array}\right)D=\left(\begin{array}{ccc}3& & \\ & 2& \\ & & \frac{2}{3}\end{array}\right)$

  ​ 故有
  $$\{\begin{array}{l}{y}_1=b_1=0\\ y_2=b_2-l_{21}{y}_1=-2\\ y_3=b_3-l_{31}{y}_1-l_{32}{y}_2=0\end{array}\{\begin{array}{l}{x}_3=y_3/d_3=0\\ x_2=y_2/d_2-l_{32}{x}_3=-1\\ x_1=y_1/d_1-l_{21}{x}_2-l_{31}{x}_3=1\end{array}$$

向量与矩阵的范数

• 向量范数

  向量$\forall x\in R^n$的范数$\Vert x\Vert$是一个实数，且满足

  • $\Vert x\Vert \ge 0$，当且仅当$x=0$时，$\Vert x\Vert =0$ 非负性
  • $\forall a\in R\ast ，有$$\Vert ax\Vert =\left|a\right|\cdot \Vert x\Vert$ 齐次性
  • $\forall x,y\in R^n$，有$\Vert x+y\Vert \le \Vert x\Vert +\Vert y\Vert$ 三角不等式

  范数的性质：$x={\left(x_1,x_2,\cdots ,x_n\right)}^T$

  • $\Vert x\Vert \ne 0,\Vert \frac{x}{\Vert x\Vert }\Vert =1$
  • $\Vert -x\Vert =\Vert x\Vert$
  • $\Vert x\Vert -\Vert y\Vert \le \Vert x-y\Vert$

  三种范数：给定$R^n$中的$x={\left(x_1,x_2,\cdots ,x_n\right)}^T$

  • ${\Vert x\Vert }_1=\left|x_1\right|+\left|x_2\right|+\cdots +\left|x_n\right|=\sum _{i=1}^n\left|x_i\right|$
  • ${\Vert x\Vert }_2=\sqrt{x_1^2+x_2^2+\cdots +x_n^2}={\left(\sum _{i=1}^n{x}_i^2\right)}^{\frac{1}{2}}$
  • ${\Vert x\Vert }_{\infty }=\max \{\left|x_1\right|,\left|x_2\right|,\cdots ,\left|x_n\right|\}=\underset{1\le i\le n}{\max }\{\left|x_i\right|\}$

  ---

  p-范数： 对向量$x$，有${\Vert x\Vert }_p={\left(\sum _{i=1}^n{\left|x_i\right|}^p\right)}^{\frac{1}{p}},1\le p\le +\infty$

  ---

• 矩阵范数

  • ${\Vert A\Vert }_{\infty }=\underset{1\le i\le n}{\max }\sum _{j=1}^n\left|a_{ij}\right|$ 行范数

  • ${\Vert A\Vert }_1=\underset{1\le j\le n}{\max }\sum _{i=1}^n\left|a_{ij}\right|$ 列范数

  • ${\Vert A\Vert }_2=\sqrt{{\lambda }_{max}(A^{T}A)}$ 谱范数

    其中${\lambda }_{max}(A^{T}A)$表示$(A^{T}A)$的最大特征值

    特征值

    设$A\in R^{m\times n}$，如果存在$\lambda \in R$使
    $$Ax=\lambda x$$
    则称$\lambda$为$A$的一个特征值。$x$就是特征值$\lambda$对应的特征向量

  求特征值，也可转化为求 $\lambda E-A=0$ 的解

  ---

  谱半径

  对于$R^{n\times n}$上的矩阵$A$，设$A$的特征值为${\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_n$，称
  $$\rho (A)=\max \{{\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_n\}$$
  为矩阵$A$的谱半径

  性质： 对于$R^{n\times n}$上的矩阵$A$，有$\rho (A)\le \Vert A\Vert$

  例：已知向量$x=(2,-3,4{)}^T$，矩阵$A=\left(\begin{array}{ccc}1& 0& 0\\ 0& 2& 4\\ 0& -2& 4\end{array}\right)$，求向量 $x$ 和 $A$ 的三种常用范数

  解：${\Vert x\Vert }_{\infty }=max\{2,3,4\}=4$

  ​ ${\Vert x\Vert }_1=2+3+4=9$

  ​ ${\Vert x\Vert }_2=\sqrt{2^2+(-3{)}^2=4^2}=\sqrt{29}$

  ​ 矩阵 $A$ 的范数

  ​ ${\Vert A\Vert }_{\infty }=max\{1,6,6\}=6$

  ​ ${\Vert A\Vert }_1=max\{1,4,8\}=8$

  ​ $A^{T}A=\left(\begin{array}{ccc}1& 0& 0\\ 0& 2& -2\\ 0& 4& 4\end{array}\right)\left(\begin{array}{ccc}1& 0& 0\\ 0& 2& 4\\ 0& -2& 4\end{array}\right)=\left(\begin{array}{ccc}1& 0& 0\\ 0& 8& 0\\ 0& 0& 32\end{array}\right)$

  ​ 由$\lambda E-A^{T}A=0$ 解得${\lambda }_1=1,{\lambda }_2=8,{\lambda }_3=32$

  ​ 故${\Vert A\Vert }_2=\sqrt{{\lambda }_{max}(A^{T}A)}=\sqrt{max\{1,8,32\}}=4\sqrt{2}$

方程组的性态和误差分析（不用记）

• 方程组的性态和矩阵的条件数

  对于线性方程组$Ax=b$，若$A$或$b$的微小变化（又称扰动或摄动）引起$Ax=b$的解有巨大变化，则称方程组为病态方程组，系数矩阵$A$为病态矩阵；否则二者均为良态

  ---

  设矩阵$A$非奇异，定义$cond(A)=\Vert A^{-1}\Vert \Vert A\Vert$为矩阵$A$的条件数

  条件数有以下性质：

  • $cond(A)\ge 1,cond(A)=cond(A^{-1})$
  • $cond(\alpha A)=cond(A)$，其中$\alpha$为非零常数
  • $cond(AB)\le cond(A)cond(B)$

  当$cond(A)\ge 1$时，$Ax=b$是病态方程组，$A$是病态的；当$cond(A)$相对较小时，$Ax=b$是良态方程组，$A$是良态的。至于条件数多大才算病态范围，一般来说没有具体标准，只是相对而言

  ---

  解的相对误差上界:
  $$\frac{\Vert \delta x\Vert }{\Vert x\Vert }\le cond(A)\frac{\Vert \delta b\Vert }{\Vert b\Vert }$$

  例：已知方程组
  $$\left(\begin{array}{ccc}1& 0& -1\\ 2& 2& 1\\ 0& 2& 2\end{array}\right)\left(\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right)=\left(\begin{array}{c}\frac{1}{2}\\ \frac{1}{3}\\ -\frac{2}{3}\end{array}\right)$$
  的解$x=(\frac{1}{2},-\frac{1}{3},0{)}^T$，如果右端有小扰动${\Vert \delta b\Vert }_{\infty }=\frac{1}{2}\times 10^{-6}$，估计由此引起的解的相对误差

  解：$A^{-1}=\left(\begin{array}{ccc}-1& 1& -1\\ 2& -1& 1.5\\ -2& 1& -1\end{array}\right)$，所以有$$con{d}_{\infty }(A)={\Vert A\Vert }_{\infty }{\Vert A^{-1}\Vert }_{\infty }=5\times 4.5=22.5$$
  $$\frac{{\Vert \delta x\Vert }_{\infty }}{{\Vert x\Vert }_{\infty }}\le con{d}_{\infty }(A)\frac{{\Vert \delta b\Vert }_{\infty }}{{\Vert b\Vert }_{\infty }}=22.5\times \frac{\frac{1}{2}\times 10^{-6}}{\frac{2}{3}}=1.6875\times 10^{-5}$$
  故解的相对误差为$1.6875\times 10^{-5}$

  ---

• 误差分析

  求得$Ax=b$的一个近似解$x$后，回代求其余量
  $$r=b-Ax$$
  如果$r$很小，就认为解$x$是相当准确的

迭代法

• 迭代原理

  给定方程组$Ax=b$，其中$A\in R^{n\times n},b\in R^n,A$非奇异

  设找到等价方程组$x=Bx+f$

  从而建立迭代格式$x^{(k+1)}=B{x}^{(k)}+f,k=0,1,\cdots$

  若$\underset{k\to +\infty }{\lim }{x}^{(k)}=x^{\ast }$，则称迭代法收敛，$x^{\ast }$即方程组的解

  否则，称此迭代法发散

  ---

• 雅可比迭代

  设线性方程组
  $$\{\begin{array}{l}{a}_{11}{x}_1+a_{12}{x}_2+\cdots +a_{1n}{x}_n=b_1\\ a_{21}{x}_1+a_{22}{x}_2+\cdots +a_{2n}{x}_n=b_2\\ \cdots \cdots \cdots \\ a_{n1}{x}_1+a_{n2}{x}_2+\cdots +a_{nn}{x}_n=b_n\end{array}$$
  其中系数矩阵非奇异，且主对角元$a_{ii}\ne 0$，则可由第$i$个方程解出$x_i$，有
  $$x_i^{(k+1)}=\frac{1}{a_{ii}}(b_i-\sum _{j=1}^{i-1}{a}_{ij}{x}_j^{(k)}-\sum _{j=i+1}^n{a}_{ij}{x}_j^{(k)}),i=1,2,\cdots ,n$$

  ---

• 高斯—赛德尔迭代

  雅可比迭代时，每次迭代都只用到前一次的迭代值，而在高斯—赛德尔迭代时，每次迭代充分利用当前最新的迭代值。因为在迭代收敛时，新值$x_i^{(k+1)}$比老值$x_i^{(k)}$更准确些

  设线性方程组
  $$\{\begin{array}{l}{a}_{11}{x}_1+a_{12}{x}_2+\cdots +a_{1n}{x}_n=b_1\\ a_{21}{x}_1+a_{22}{x}_2+\cdots +a_{2n}{x}_n=b_2\\ \cdots \cdots \cdots \\ a_{n1}{x}_1+a_{n2}{x}_2+\cdots +a_{nn}{x}_n=b_n\end{array}$$
  其中系数矩阵非奇异，且主对角元$a_{ii}\ne 0$，则可由第$i$个方程解出$x_i$，有
  $$x_i^{(k+1)}=\frac{1}{a_{ii}}(b_i-\sum _{j=1}^{i-1}{a}_{ij}{x}_j^{(k+1)}-\sum _{j=i+1}^n{a}_{ij}{x}_j^{(k)}),i=1,2,\cdots ,n$$
  与雅可比迭代的区别在于第二项$x_j$的指数变为了$k+1$

  一般来说，高斯—赛德尔迭代法比雅可比迭代法好。但情况并不总是这样，甚至有雅可比迭代收敛但高斯—赛德尔迭代不收敛的情况

  ---

• 松弛法

  松弛法是对高斯—赛德尔迭代法的一种加速方法

  设高斯—赛德尔迭代
  $${\tilde{x}}_i^{(k+1)}=\frac{1}{a_{ii}}(b_i-\sum _{j=1}^{i-1}{a}_{ij}{x}_j^{(k+1)}-\sum _{j=i+1}^n{a}_{ij}{x}_j^{(k)}),i=1,2,\cdots ,n$$
  加速
  $$x_i^{(k+1)}=\omega {\tilde{x}}_i^{(k+1)}+(1-\omega )x_i^{(k)}$$
  上二式即松弛法，合并表为
  $$x_i^{(k+1)}=(1-\omega )x_i^{(k)}+\frac{\omega }{a_{ii}}(b_i-\sum _{j=1}^{i-1}{a}_{ij}{x}_j^{(k+1)}-\sum _{j=i+1}^n{a}_{ij}{x}_j^{(k)}),i=1,2,\cdots ,n$$
  式中系数$\omega$为松弛因子。高斯—赛德尔迭代法是取$\omega =1$的特殊情形

  为了保证迭代过程收敛，必须要求$0<\omega <2$

  由于${\tilde{x}}_i^{(k+1)}$通常比$x_i^{(k)}$精确，故为了加大${\tilde{x}}_i^{(k+1)}$比重，取$1<\omega <2$，即超松弛法（SOR方法）

  实际计算时，根据系数矩阵性质或实践经验选取最佳的松弛因子

  ---

• 迭代公式的矩阵表示

  系数矩阵可以分解为：
  $$A=-L+D-U$$
  注： $L$ ，$D$ 为负

  雅可比迭代矩阵：
  $$J=I-D^{-1}A$$
  高斯—赛德尔迭代矩阵：
  $$G=(D-L{)}^{-1}U$$

迭代的收敛性

• 收敛的基本定理

  迭代过程 $x^{(k+1)}=B{x}^{(k)}+f$ 对任意给定初始向量 $x^{(0)}$ 收敛的充分必要条件是迭代矩阵的谱半径 $\rho (B)<1$ ，且当 $\rho (B)<1$ 时，迭代矩阵谱半径越小，收敛速度越快

  引理：

  • 对一种矩阵范数 $\Vert A\Vert <1$ ，则 $\underset{k\to \infty }{\lim }{A}^k=0$ ，即矩阵收敛

  • 对于 $R^{n\times n}$ 上的矩阵$A$，有 $\rho (A)\le \Vert A\Vert$

  • 对任意 $\epsilon >0$ ，存在算子范数，使得 $\Vert A\Vert \le \rho (A)+\epsilon$

  因为需求特征值，所以基本定理的理论价值大于实用价值

  例：方程组 $Ax=b$ ，其中 $A=\left(\begin{array}{ccc}1& -\frac{1}{3}& 0\\ -\frac{1}{3}& 1& -\frac{1}{3}\\ 0& -\frac{1}{3}& 1\end{array}\right)$ ，$x,b\in R^3$

  ​ 1）分别写出雅可比迭代法和高斯—赛德尔迭代法的计算公式（分量形式）

  ​ 2）分别写出雅可比迭代法的迭代矩阵和高斯—赛德尔迭代法的迭代矩阵的谱半径，并用它们判别这两种迭代方法的收敛性

​ 解：1）雅可比迭代法的计算公式
$$\{\begin{array}{l}{x}_1^{(k+1)}=\frac{1}{3}{x}_2^{(k)}+b_1\\ x_2^{(k+1)}=\frac{1}{3}{x}_1^{(k)}+\frac{1}{3}{x}_3^{(k)}+b_2\\ x_3^{(k+1)}=\frac{1}{3}{x}_2^{(k)}+b_3\end{array}$$
​ 高斯—赛德尔迭代法的计算公式
$$\{\begin{array}{l}{x}_1^{(k+1)}=\frac{1}{3}{x}_2^{(k)}+b_1\\ x_2^{(k+1)}=\frac{1}{3}{x}_1^{(k+1)}+\frac{1}{3}{x}_3^{(k)}+b_2\\ x_3^{(k+1)}=\frac{1}{3}{x}_2^{(k+1)}+b_3\end{array}$$
​ 2）系数矩阵分解为
$$L=\left(\begin{array}{ccc}0& 0& 0\\ \frac{1}{3}& 0& 0\\ 0& \frac{1}{3}& 0\end{array}\right),D=\left(\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right),U=\left(\begin{array}{ccc}0& \frac{1}{3}& 0\\ 0& 0& \frac{1}{3}\\ 0& 0& 0\end{array}\right)$$
​ 故雅可比迭代矩阵为
$$J=I-D^{-1}A=\left(\begin{array}{ccc}0& \frac{1}{3}& 0\\ \frac{1}{3}& 0& \frac{1}{3}\\ 0& \frac{1}{3}& 0\end{array}\right)$$
​ 再求出雅可比矩阵的特征值
$$|\lambda I-J|=\left|\begin{array}{ccc}\lambda & -\frac{1}{3}& 0\\ -\frac{1}{3}& \lambda & -\frac{1}{3}\\ 0& -\frac{1}{3}& \lambda \end{array}\right|={\lambda }^3-\frac{2}{9}\lambda =0$$
​ 解得 ${\lambda }_1=0,{\lambda }_2=\frac{\sqrt{2}}{3},{\lambda }_3=-\frac{\sqrt{2}}{3}$，故 $\rho (J)=\frac{\sqrt{2}}{3}<1$，雅可比迭代收敛

​ 高斯—赛德尔迭代矩阵
$$D-L=\left(\begin{array}{ccc}1& 0& 0\\ -\frac{1}{3}& 1& 0\\ 0& -\frac{1}{3}& 1\end{array}\right),(D-L{)}^{-1}=\left(\begin{array}{ccc}1& 0& 0\\ \frac{1}{3}& 1& 0\\ \frac{1}{9}& \frac{1}{3}& 1\end{array}\right)$$

$$G=(D-L{)}^{-1}U=\left(\begin{array}{ccc}1& 0& 0\\ \frac{1}{3}& 1& 0\\ \frac{1}{9}& \frac{1}{3}& 1\end{array}\right)\left(\begin{array}{ccc}0& \frac{1}{3}& 0\\ 0& 0& \frac{1}{3}\\ 0& 0& 0\end{array}\right)=\left(\begin{array}{ccc}0& \frac{1}{3}& 0\\ 0& \frac{1}{9}& \frac{1}{3}\\ 0& \frac{1}{27}& \frac{1}{9}\end{array}\right)$$

​ 再求出高斯—赛德尔矩阵的特征值
$$|\lambda I-G|=\left|\begin{array}{ccc}\lambda & -\frac{1}{3}& 0\\ 0& \lambda -\frac{1}{9}& -\frac{1}{3}\\ 0& -\frac{1}{27}& \lambda -\frac{1}{9}\end{array}\right|=\lambda (\lambda -\frac{1}{9}{)}^2-\frac{1}{81}\lambda =0$$
​ 解得${\lambda }_1=0,{\lambda }_2=0,{\lambda }_3=\frac{2}{9}$，故 $\rho (G)=\frac{2}{9}<1$ ，高斯—赛德尔迭代收敛

• 迭代矩阵法

  引理：

  若方阵 $B$ 满足 $\Vert B\Vert <1$ ，则 $I-B$ 为非奇异矩阵，且
  $$\Vert (I\pm B{)}^{-1}\Vert \le \frac{1}{1-\Vert B\Vert }$$

  定理：

  • 若迭代矩阵 $B$ 满足 $\Vert B\Vert <1$ ，则迭代过程 $x^{(k+1)}=B{x}^{(k)}+f$ 对任意给定初始向量 $x^{(0)}$ 收敛于 $x=Bx+f$ 的根 $x^{\ast }$

    注：充分条件 若满足，则收敛；若不满足，不一定不收敛

  • 若雅可比迭代矩阵满足 $\Vert J\Vert <1$ ，则其对应的高斯—赛德尔迭代也收敛

    注：充分条件 若满足，则收敛；若不满足，不一定不收敛

• 系数矩阵法

  严格对角占优矩阵：
  $$|a_{ii}|>\sum _{j=1,i\ne j}^n|a_{ij}|,i=1,2,\cdots ,n$$

  定理：

  • 严格对角占优方程组的雅可比迭代公式和高斯—赛德尔迭代公式均收敛

  • 若系数矩阵 $A$ 对称正定，则解方程组 $Ax=b$ 的高斯—赛德尔迭代收敛

  • 若 $2D-A$ 对称正定，则雅可比迭代收敛

  例：判断线性方程组
  $$\left(\begin{array}{ccc}-1& -5& 8\\ 4& 1& -2\\ -2& 9& 3\end{array}\right)\left(\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right)=\left(\begin{array}{c}9\\ -6\\ 5\end{array}\right)$$
  高斯—赛德尔迭代的收敛性

  解：将方程组进行行行交换后为
  $$\left(\begin{array}{ccc}4& 1& -2\\ -2& 9& 3\\ -1& -5& 8\end{array}\right)\left(\begin{array}{c}{x}_2\\ x_3\\ x_1\end{array}\right)=\left(\begin{array}{c}-6\\ 5\\ 9\end{array}\right)$$
  因为方程组系数阵为严格对角占优矩阵，故高斯—赛德尔迭代收敛

• 松弛法的收敛性

  定理：

  • 解方程组 $Ax=b$ 的松弛法收敛的必要条件是 $0<\omega <2$
  • 设 $A$ 对称正定，且 $0<\omega <2$ ，则解方程组 $Ax=b$ 的松弛法收敛