数值分析（2）——线性方程组的求解

承接数值分析（1）——非线性方程方程的求解

范数

向量的范数

$$X=(x_1,x_2...x_n)$$
$1-范数：\sum |x_i|$
$2-范数：(\sum x_i^2{)}^{\frac{1}{2}}$
$\infty -范数：max|x_i|$
$p-范数：(\sum |x_i{|}^p{)}^{\frac{1}{p}}$

矩阵的范数

$$A=(a_{ij}{)}_{n\times n}$$
$1-范数：{\max }_{1\le j\le n}{\sum }_{i=1}^n|x_{ij}|(列范数)$
$2-范数：\sqrt{\rho (A^{H}A)},A^H为共轭转置阵，\rho (M)为矩阵M的最大特征根$
$\infty -范数：{\max }_{1\le i\le n}{\sum }_{j=1}^n|x_{ij}|(行范数)$
$F-范数：(\sum \sum |a_{ij}{|}^2{)}^{\frac{1}{2}}$

Guass消元法

Guass消元法

$$AX=b\to BX=d$$
$$其中，B为上三角矩阵$$

列选主元Guass消元法

$$AX=b\to BX=d$$
$$其中，B为上三角矩阵$$
第k次消元时将第k列中绝对值最大的元所在行l交换至第k行，然后运用Guass消元

全选主元Guass消元法

类似列选主元的方法，与之不同的是选择范围扩大到$k\times k$的矩阵

三角分解法

$$A=LU，其中L为单位下三角，U为上三角阵$$
求解$AX=b$等价于求解
$$LUX=b<=>Ly=b;UX=y$$

Doolittle分解

先行后列交替进行计算

Crout分解

先列后行交替进行计算

Cholesky分解

矩阵A必须为对称正定阵

改进Cholesky分解

矩阵A必须为对称正定阵
将矩阵D乘入$L^T$计算会方便许多

矩阵的条件数

条件数刻画了方程A的病态程度

求解方程的迭代法

$$AX=b\to X^{i+1}=B{X}^i+g$$
一般来说，将A化为A=L+D+U的形式：

迭代法收敛的条件

1. 充要条件
   $$\rho (B)<1$$
2. 充分条件
   $$||B||<1$$

Jacobi迭代

建议记忆矩阵形式

$$X^{i+1}=-D^{-1}(L+U)X^i+D^{-1}b$$

Guass-Seidel迭代

$$X^{i+1}=-(D+L{)}^{-1}(U)X^i+(D+L{)}^{-1}b$$

注意迭代公式求解时，次数的填写满足：已求过的为i+1，未求过的为i

SOR迭代

将Guass-Seidel方法展开写成迭代格式：

然后基于此，SOR化为：

这个公式不要觉得可怕，事实上
只需关注变化点即可：

显然，当$\omega =1$时，SOR方法就是Gauss-Seidel迭代法

关于迭代法收敛的重要定理

Jacobi收敛的判定

1. 若线性方程组$Ax=b$的系数方阵$A=(a_{ij}{)}_{n\times n}$是按行(或按列)严格**对角占优(对角是行/列中最大的)**的，则Jacobi迭代法是收敛的.
2. 设A是具有正对角线元素的对称矩阵，则解线性方程组Ax=b的Jacobi迭代法收敛的充分必要条件是A和2D-A都为对称正定阵.

Guass-Seidel收敛的判定

1. 若$AX=b$中，$A$为对称正定阵，则Guass-Seidel方法收敛；
2. 若线性方程组$Ax=b$的系数方阵$A=(a_{ij}{)}_{n\times n}$是按行(或按列)严格**对角占优(对角是行/列中最大的)**的，则Gauss-Seidel迭代法是收敛的.

SOR收敛的判定

1. SOR收敛的必要条件为
   $$0<\omega <2$$
2. 若$AX=b$中，$A$为对称正定阵，且$0<\omega <2$，则SOR方法收敛
3. 若线性方程组$Ax=b$的系数方阵$A=(a_{ij}{)}_{n\times n}$是按行(或按列)严格**对角占优(对角是行/列中最大的)**的，则当$0<\omega \le 1$时，SOR迭代法是收敛的.

迭代误差与次数的关系

其中$$||B||<1，为任意范数$$