数值计算之第三期：直接法解线性方程组

上一期链接：https://blog.csdn.net/axehead/article/details/105626675

参考资料：
数值分析教程 刘长安 西北工业大学出版社
数值计算方法 黄云清 科学出版社
数值分析简明教程 王能超 高等教育出版社 第二版

高斯消元

高斯消元的思想其实 我们在中小学的时候就已经接触过，比如给出一个二元一次方程组，我们先将某一个方程乘以一个数，使得这个方程与剩下的方程相加后能消去某一个元，从而得解。
对于一般的方阵而言（我们下面只讨论方阵，对于其它类型的系数矩阵以后讨论），设有n阶方阵$A=(a_{ij})$,和n维列向量$b=(b_k),x=(x_k)$组成线性方程组$Ax=b$(x是未知量).下面进行消元，总共分为n-1个步骤，但每一步都是类似的，即第k（$1\le k\le$ n-1）步就是将第k行的$\frac{-a_{jk}^k}{a_{kk}}$倍加到第j（$k+1\le j\le n$）行,其中$a_{jk}^k$表示的是第k步消元之前系数矩阵A的$a_{(}kj)$元素（之所以加一个上标是为了区分每一步中对应的矩阵，因为每步消元矩阵A中的元素都会变化,同时每一步消元后系数矩阵A对角线上元素除$a_{nn}$外均不为零）.注意！向量b要和A做同步的处理.
这样一来，第k步消元之前的方程组就可以表示为如下形式：
$a_{11}^1{x}_1+a_{12}^1{x}_2+...+a_{1n}^1{x}_n=b_1^1$
$a_{22}^2{x}_2+...+a_{2n}^2{x}_n=b_2^2$
$\ddots$
$a_{kk}^k{x}_k+...+a_{kn}^k{x}_n=b_k^k$
$......$
$a_{nk}^k{x}_k+...+a_{nn}^k{x}_n=b_n^k$
其中，
$a_{ij}^{k+1}=a_{ij}^k-\frac{a_{jk}^k}{a_{kk}}\times a_{kj}^k,b_i^{k+1}=b_i^k-\frac{a_{jk}^k}{a_{kk}}\times b_k^k,i=k+1,...,n;j=k,...,n$
n-1步消元做完之后，原来的系数矩阵A就变成了一个上三角矩阵，然后从方程的第n行开始向上解方程，就能得到方程组的解了，回代过程就不详细进行说明.

列主元消去法

上面高斯消元的第k步中追加条件，
$a_k=\underset{k\le i\le n}{\max }|a_{ik}^k|$
记j为达到最大值$a_k$的最小行标$j\ge k$,若$j>k$，则交换A和b中的第k行和第j行再进行消元，这样能防止有效数字大量丢失而产生误差的可能性.可以试着考虑一下如果两个相近的数做减法，得到的结果的相对误差是怎么样的，两相差很大的数（比如1和$10^{20}$）做完减法再去和其他数做乘除法又是怎么样的，这里只是稍微做一下思路引导，有兴趣的朋友可以探讨一下.

全主元消去法

实质上就是列主元的升级版，原理类似，就是把第k步消元之前的矩阵拿来，在第k行到第n行中所有元素中检索出最大元然后与第k行第k列的元素交换（行交换和列交换）就可以.注意到这里是有列交换的，所以消元过程结束后必须把列恢复成原来的顺序.

矩阵的三角分解

LU分解

高斯消元的实质就是将矩阵分解成一个上三角矩阵$U=(u_{ij})$和一个下三角矩阵$L=(l(ij))$的乘积，然后求解.关于这个实质，我相信学过线代的朋友们肯定都懂得啦，毕竟矩阵的行列变换不过是在原矩阵左边或右边乘上若干个初等矩阵，这里不作详细解释了.
那么LU分解法解线性方程组就可以分为以下过程：
(1)将矩阵作LU分解
$l_{ik}=\frac{a_{ik}}{a_{kk}},j<i$
$u_{ij}=a_{ij}-a_{ik}\times a_{kj},i\le j$
其中，$i,j=1,2,...,n$
然后得到，
$\left[\begin{array}{cccc}{a}_{11}& a_{12}& ...& a_{1n}\\ a_{21}& a_{22}& ...& a_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ a_{n1}& a_{n2}& ...& a_{nn}\end{array}\right]=$
$\left[\begin{array}{cccc}1& 0& ...& 0\\ l_{21}& 1& ...& 0\\ ⋮& ⋮& \ddots & ⋮\\ l_{n1}& l_{n2}& ...& 1\end{array}\right]\times \left[\begin{array}{cccc}{u}_{11}& u_{12}& ...& u_{1n}\\ 0& u_{22}& ...& u_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& ...& u_{nn}\end{array}\right]$
(2)求解线性方程组$Ux=L^{-1}b$等价于求解下属方程组：
$Ux=y,Ly=b$
特别地，如果是求解矩阵A的逆，那么令$y=e_i$其中$e_i$是第i个元素为1其他为0的列向量，对应的向量x记为$x_i$，则有$A^{-1}=(x_1,x_2,...x_n)$

特殊矩阵的三角分解

1.设A为正定矩阵，则A存在三角分解$A=L\times L^T$,其中L为下三角阵
2.三对角矩阵的追赶法

说明

1.上一期讲完误差的相关概念，按照许多课本的设计这期应该要讲误差的传播及算法的数值稳定性，但是我觉得这东西跟其他算法啥的穿插地讲会更好一点，毕竟这样更直观，理解也会更深入。例如这期我们就提到了列主元消去法和全主元消去法比一般的高斯消元更有效.
2.本来安排的是高斯消元是串讲，LU分解是主讲的，但是实际写的时候觉得高斯消元的部分还是不要太简略的好，反倒是LU分解可以简略地说明一下即可.
3.LU分解的程序代码我不会放到文章当中（以后的文章当中也不会有代码段），但是我明天会放到我的资源中开放免费下载，仅供学习参考.