《计算方法》笔记之（二）线性代数方程组之Gauss消去法

本章的重点在于求解下列线性方程组：
$$\{\begin{array}{c}{\alpha }_{11}{x}_1+{\alpha }_{12}{x}_2+\cdots +{\alpha }_{1n}{x}_n={\beta }_1\\ {\alpha }_{21}{x}_1+{\alpha }_{22}{x}_2+\cdots +{\alpha }_{2n}{x}_n={\beta }_2\\ \cdots \cdots \cdots \cdots \cdots \cdots \\ {\alpha }_{n1}{x}_1+{\alpha }_{n2}{x}_2+\cdots +{\alpha }_{nn}{x}_n={\beta }_n\end{array}$$

方程组可以转化为：
$$Ax=B$$
其中：
$$A=\left[\begin{array}{cccc}{\alpha }_{11}& {\alpha }_{12}& \cdots & {\alpha }_{1n}\\ {\alpha }_{21}& {\alpha }_{22}& \cdots & {\alpha }_{2n}\\ \cdots & \cdots & \cdots & \cdots \\ {\alpha }_{n1}& {\alpha }_{n2}& \cdots & {\alpha }_{nn}\end{array}\right],x=\left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right],b=\left[\begin{array}{c}{\beta }_1\\ {\beta }_2\\ ⋮\\ {\beta }_n\end{array}\right]$$
则：
法 1 求逆
根据矩阵的思想，
$$x=A^{-1}B$$
求逆的方法有很多，那么该算法的复杂性就取决于求逆的方法。
法 2 Crammer 法则
$$x_i=\frac{|A_i|}{|A|},i=1,2,...,n$$
其中， $|A|$ 是系数矩阵行列式， $|A_i|$ 是以右端向量 b 代替 A 的第 i 列所得的矩阵的行列式。

计算量为求矩阵的行列式（下面是行列式的定义式）：
$$\left|\mathbf{A}\right|=\sum {(-1)}^{J(i_1,i_2\cdots i_n)}{\alpha }_{1i_1}{\alpha }_{2i_2}\cdots {\alpha }_{n{i}_n}$$
其中 $J(i_1,i_2\cdots i_n)$ 是从{1,2,…,n}变换到 $i_1,i_2,...,i_n$ 所需的置换次数。

所以使用 Crammer 法则与行列式定义求解方程组需要 $N=(n^2-1)(n!)+n$ 次浮点运算。

因为根据定义每个行列式都由 $n!$ 项之和组成（{1,2,…,n}的全排列有 n!种），每项是 n 个数的乘积，所以计算一个 n 阶行列式的运算量约为 $(n-1)(n!)flop$,一共需要计算 $|A_i|$ 和 $|A|$ 共 $n+1$ 个行列式。行列式算完之后的加法和除法有 n 步，所以总运算量为 $O(n^2\ast n!)$ 。

运算量过大，实际无法使用。

Gauss 消去法

Gauss 消去法过程示例：

基本步骤：消去和回代
时间复杂度 $O(n^3)$ ，空间复杂度 $O(n^2)$

消去法的基本思想

将求解 n 元方程组的问题通过降维,变为等价的 n-1 元方程组进行求解，逐次进行直至变为一个一元一次方程为止，然后求解，再逐步回代得到其余的解

消去法的消去过程

将方程的过程转化为矩阵的变换
对以下增广矩阵：
$$\left(\begin{array}{cc}{A}^{(0)}& b^{(0)}\end{array}\right)=\left(\begin{array}{cccccc}{a}_{11}^{(0)}& a_{12}^{(0)}& a_{13}^{(0)}& \cdots & a_{1n}^{(0)}& {\beta }_1^{(0)}\\ a_{21}^{(0)}& a_{22}^{(0)}& a_{23}^{(0)}& \cdots & a_{2n}^{(0)}& {\beta }_2^{(0)}\\ a_{31}^{(0)}& a_{32}^{(0)}& a_{33}^{(0)}& \cdots & a_{3n}^{(0)}& {\beta }_3^{(0)}\\ ⋮& ⋮& ⋮& ⋮& ⋮& ⋮\\ a_{n1}^{(0)}& a_{n2}^{(0)}& a_{n3}^{(0)}& \cdots & a_{nn}^{(0)}& {\beta }_n^{(0)}\end{array}\right)$$
将矩阵的第 i 行分别减去矩阵第一行的倍数 $l_1=\frac{a_{i1}^{(0)}}{a_{11}^{(0)}},i=2,3,...,n$ ，得到：
$$\left(\begin{array}{cc}{A}^{(1)}& b^{(1)}\end{array}\right)=\left(\begin{array}{cccccc}{a}_{11}^{(0)}& a_{12}^{(0)}& a_{13}^{(0)}& \cdots & a_{1n}^{(0)}& {\beta }_1^{(0)}\\ 0& a_{22}^{(1)}& a_{23}^{(1)}& \cdots & a_{2n}^{(1)}& {\beta }_2^{(1)}\\ 0& a_{32}^{(1)}& a_{33}^{(1)}& \cdots & a_{3n}^{(1)}& {\beta }_3^{(1)}\\ ⋮& ⋮& ⋮& ⋮& ⋮& ⋮\\ 0& a_{n2}^{(1)}& a_{n3}^{(1)}& \cdots & a_{nn}^{(1)}& {\beta }_n^{(1)}\end{array}\right)$$
其中：
$$\begin{array}{c}{a}_{ij}^{(1)}=a_{ij}^{(0)}-l_{i1}{a}_{1j}^{(0)}\\ {\beta }_i^{(1)}={\beta }_i^{(0)}-l_{i1}{\beta }_1^{(0)}\\ j=2,3,...,n\\ i=2,3,...,n\end{array}$$
以此类推，消去第 k 步，得到矩阵：
$$\left(\begin{array}{cc}{A}^{(k)}& b^{(k)}\end{array}\right)=\left(\begin{array}{ccccccc}{a}_{11}^{(0)}& \cdots & a_{1k}^{(0)}& a_{1,k+1}^{(0)}& \cdots & a_{1n}^{(0)}& {\beta }_1^{(0)}\\ & \ddots & ⋮& ⋮& & ⋮& ⋮\\ & & a_{kk}^{(k-1)}& a_{k,k+1}^{(k-1)}& \cdots & a_{kn}^{(k-1)}& {\beta }_k^{(k-1)}\\ & & & a_{k+1,k+1}^{(0)}& \cdots & a_{k+1,n}^{(k)}& {\beta }_{k+1}^{(k)}\\ & & & ⋮& & ⋮& ⋮\\ & & & a_{n,k+1}^{(k)}& \cdots & a_{nn}^{(k)}& {\beta }_n^{(k)}\end{array}\right)$$
计算关系式：
$\begin{array}{c}{l}_{ik}=\frac{a_{ik}^{(k-1)}}{a_{kk}^{(k-1)}}\\ \\ a_{ij}^{(k)}=a_{ij}^{(k-1)}-l_{ik}{a}_{kj}^{(k-1)},j=k+1,...,n\\ \\ {\beta }_i^{(k)}={\beta }_i^{(k-1)}-l_{ik}{\beta }_k^{(k-1)},i=k+1,k+2,...,n\end{array}$
经过 n-1 步消去后，得到：
$$(\begin{array}{cc}{A}^{(n-1)}& b^{(n-1)}\end{array})=\left(\begin{array}{cccccc}{a}_{11}^{(0)}& a_{12}^{(0)}& a_{13}^{(0)}& \cdots & a_{1n}^{(0)}& {\beta }_1^{(0)}\\ & a_{22}^{(1)}& a_{23}^{(1)}& \cdots & a_{2n}^{(1)}& {\beta }_2^{(1)}\\ & & a_{33}^{(2)}& \cdots & a_{3n}^{(2)}& {\beta }_3^{(2)}\\ & & & \ddots & ⋮& ⋮\\ & & & & a_{nn}^{(n-1)}& {\beta }_n^{(n-1)}\end{array}\right)$$
然后，经过回代，就可以得到所有解。
$$\{\begin{array}{l}{x}_n=\frac{{\beta }_n^{(n-1)}}{a_{nn}^{(n-1)}}\\ x_k=\frac{1}{a_{kk}^{(k-1)}}\left({\beta }_k^{(k-1)}-\sum _{j=k+1}^n{a}_{kj}^{(k-1)}{x}_j\right),k=n-1,n-2,...,1\end{array}$$

列主元 Gauss 消去法

但 Gauss 消去法并非万能，例如对于以下问题就不能执行：
$$\{\begin{array}{l}5x_2+x_3=2\\ 2x_1+x_2-x_3=1\\ 4x_1-x_2+x_3=0\end{array}$$

所以当 Gauss 消去法遇到以下现象时，不能执行：

1. $a_{kk}^{(k-1)}=0$
2. $|a_{kk}^{(k-1)}|<<|a_{ik}^{(k-1)}|,i=k+1,...,n$

第一种情况容易理解，第二种情况是因为会导致小数字作为除数参加运算，会产生大数字，大数字加到其他数上面会产生“大数吃小数”的问题。

所以可以采用以下方法解决上面两种现象：

若矩阵非奇则总可以通过选主元的方式继续执行消去过程

所以列主元高斯消去法是稳定的，但是高斯消去法可能是不稳定的。

注意：当矩阵对称正定或者严格对角占优时，不需要使用列主元高斯消去法。