Python数值线性方程组

介绍

代数方程组的形式为

$$\begin{array}{c}{A}_{11}{x}_1+A_{12}{x}_2+\cdots +A_{1n}{x}_n=b_1\\ A_{21}{x}_1+A_{22}{x}_2+\cdots +A_{2n}{x}_n=b_2\\ ⋮\\ A_{n1}{x}_1+A_{n2}{x}_2+\cdots +A_{nn}{x}_n=b_n\end{array},(1)$$

其中系数$A_{ij}$和常数$b_j$是已知的，$x_i$表示未知数。 用矩阵表示法将等式写为

$$\left[\begin{array}{cccc}{A}_{11}& A_{12}& \cdots & A_{1n}\\ A_{21}& A_{22}& \cdots & A_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ A_{n1}& A_{n2}& \cdots & A_{nn}\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right]=\left[\begin{array}{c}{b}_1\\ b_2\\ ⋮\\ b_n\end{array}\right],(2)$$

或简单化为，

$$\mathbf{A}\mathbf{x}=\mathbf{b},(3)$$

出于计算目的，这些方程式的一个特别有用的表示形式是通过将常数矢量b附加到系数矩阵A上而获得的增强系数矩阵，其格式如下：

$$\left[\begin{array}{ll}\mathbf{A}& \mathbf{b}\end{array}\right]=\left[\begin{array}{ccccc}{A}_{11}& A_{12}& \cdots & A_{1n}& b_1\\ A_{21}& A_{22}& \cdots & A_{2n}& b_2\\ ⋮& ⋮& \ddots & ⋮& ⋮\\ A_{n1}& A_{n2}& \cdots & A_{n3}& b_n\end{array}\right],(4)$$

解的唯一性

假设系数矩阵的行列式不是奇异的，则由n个未知数组成的n个线性方程组具有唯一的解。 即$|\mathbf{A}|\ne 0$。非奇异矩阵的行和列在线性上是独立的，因为没有行（或列）是其他行（或列）的线性组合。

如果系数矩阵是奇异的，则取决于常数矢量，方程式可能具有无限数量的解或根本没有解。 作为说明，请考虑以下等式

$$2x+y=34x+2y=6$$

由于可以通过将第一方程式乘以二来获得第二方程式，因此满足第一方程式的x和y的任何组合也是第二方程式的解。 这种组合的数量是无限的。 相反，等式

$$2x+y=34x+2y=0$$

之所以没有解，是因为等式$2x+y=0$的第二个方程与第一个方程矛盾。 因此，任何满足一个方程式的解决方案都不能满足另一个方程式。

病态条件

一个明显的问题是，当系数矩阵几乎为奇数时（即$|\mathbf{A}|$非常小）会发生什么。 为了确定系数矩阵的行列式是否为“小”，我们需要一个可以用来确定行列式的参考。 该参考称为矩阵的范数，用$\Vert \mathbf{A}\Vert$表示。 然后我们可以说行列式很小，如果

$$|\mathbf{A}|<<\Vert \mathbf{A}\Vert$$

现有文献中已经定义了矩阵的几个范式，例如Euclidan范式

$$\Vert \mathbf{A}{\Vert }_e=\sqrt{\sum _{i=1}^n\sum _{j=1}^n{A}_{ij}^2},(5a)$$

行和范数，也称为无穷范数

$$\Vert \mathbf{A}{\Vert }_{\infty }=\underset{1\le i\le n}{\max }\sum _{j=1}^n\left|A_{ij}\right|,(5b)$$

条件的形式化度量是矩阵条件数，定义为

$$\mathrm{cond}(\mathbf{A})=\Vert \mathbf{A}\Vert \Vert {\mathbf{A}}^{-1}\Vert ,(5c)$$

如果该数字接近于1，则表示矩阵条件良好。 条件数随着病态程度的增加而增加，对于奇异矩阵达到无穷大。 请注意，条件数不是唯一的，但取决于矩阵范数的选择。 不幸的是，对于大型矩阵，条件数的计算成本很高。 在大多数情况下，通过将行列式与矩阵中元素的大小进行比较就可以评估条件。

如果等式条件不好，系数矩阵的小变化将导致解的大变化。 作为说明，请考虑以下等式

$$2x+y=32x+1.001y=0$$

的解$x=1501.5,y=-3000$。 由于$|\mathbf{A}|=2(1.001)-2(1)=0.002$比系数小得多，这些方程式的条件不好。 通过将第二个方程更改为$2x+1.002y=0$并重新求解方程，可以验证病态的影响。 结果是$x=751.5,y=-1500$。 请注意，$y$系数的0.1％变化导致解的100％变化。

病态方程的数值解是不可信的。 原因是在求解过程中不可避免的舍入误差等同于在系数矩阵中引入小的变化。 反过来，这会在解中引入较大的误差，误差的大小取决于病态的严重程度。 在可疑情况下，应计算系数矩阵的行列式，以便可以估计病态的程度。 只需少量的计算即可在解中或解之后完成此操作。

线性系统

线性代数方程式几乎出现在数值分析的所有分支中。 但是它们在工程中最明显的应用是在线性系统的分析中（任何响应与输入成比例的系统都被认为是线性的）。 线性系统包括结构，弹性固体，热流，流体渗漏，电磁场和电路（即，工程课程中讲授的大多数主题）。

如果系统是离散的，例如桁架或电路，则其分析将直接导致线性代数方程。 例如，在静态确定的桁架中，当写下节点的平衡条件时，方程式就出现了。 未知数$x_1,x_2,\dots ,x_n$表示构件中的力和支撑反作用力，常数$b_1,b_2,\dots ,b_n$是规定的外部载荷。

连续系统的行为是通过微分方程而不是代数方程来描述的。 但是，由于数值分析只能处理离散变量，因此首先需要用代数方程组来近似微分方程。 众所周知的有限差分，有限元和边界元分析方法都以这种方式工作。 他们使用不同的近似值来实现“离散化”，但是在每种情况下，最终任务都是相同的：求解线性代数方程组的系统（通常是非常大的系统）。

总之，线性系统的建模总是产生形式为$\mathbf{A}\mathbf{x}=\mathbf{b}$的方程，其中b是输入，x表示系统的响应。 反映系统特征的系数矩阵A与输入无关。 换句话说，如果输入改变，则方程必须再次用不同的b来求解，但是要使用相同的A。因此，希望有一种方程求解算法，可以用最少的计算量处理任意数量的常数向量。

解方法

解决线性代数方程组的方法有两种：直接方法和迭代方法。 直接方法的共同特征是，它们可以将原始方程式转换为可以更容易求解的等效方程式（具有相同解的方程式）。 通过应用以下三个操作来执行转换。 这些所谓的基本运算不会改变解，但是如括号中所示，它们可能会影响系数矩阵的行列式。

1. 交换两个方程式（更改$|\mathbf{A}|$的符号）
2. 将方程乘以非零常数（$|\mathbf{A}|$乘以相同常数）
3. 将一个方程乘以非零常数，然后从另一个方程中减去（保留$|\mathbf{A}|$不变）

迭代或间接方法从对解x的猜测开始，然后反复细化解，直到达到某个收敛准则为止。 由于需要大量的迭代，因此迭代方法通常比直接方法效率低。 但是，如果系数矩阵很大且稀疏（大多数系数为零），它们确实具有显着的计算优势。

直接方法

表1列出了三种流行的直接方法，每种方法都使用基本运算来产生其自己易于解决的最终形式的方程。

上表1中，U表示上三角矩阵，L是下三角矩阵，并且I表示单位矩阵。 如果方阵在前导对角线的一侧仅包含零个元素，则称其为三角形。 因此，一个3×3的上三角矩阵具有以下形式

$$\mathbf{U}=\left[\begin{array}{ccc}{U}_{11}& U_{12}& U_{13}\\ 0& U_{22}& U_{23}\\ 0& 0& U_{33}\end{array}\right]$$

并且3×3下三角矩阵显示为

$$\mathbf{L}=\left[\begin{array}{ccc}{L}_{11}& 0& 0\\ L_{21}& L_{22}& 0\\ L_{31}& L_{32}& L_{33}\end{array}\right]$$

三角矩阵在线性代数中起着重要作用，因为它们简化了许多计算。 例如，考虑方程$\mathbf{L}\mathbf{x}=\mathbf{c}$，或

$$\begin{array}{rl}{L}_{11}{x}_1& =c_1\\ L_{21}{x}_1+L_{22}{x}_2& =c_2\\ L_{31}{x}_1+L_{32}{x}_2+L_{33}{x}_3& =c_3\end{array}$$

如果我们从第一个方程开始向前求解方程，则计算非常简单，因为每个方程一次只包含一个未知数。

因此，解将如下进行：

$$\begin{array}{l}{x}_1=c_1/L_{11}\\ x_2=\left(c_2-L_{21}{x}_1\right)/L_{22}\\ x_3=\left(c_3-L_{31}{x}_1-L_{32}{x}_2\right)/L_{33}\end{array}$$

此过程称为正向替换。 以类似的方式，在高斯消除中遇到的Ux = c可以很容易地通过反向替换解决，该替换从最后一个方程式开始，一直向后遍历这些方程式。

如果我们用两组等效方程式：$\mathbf{L}\mathbf{y}=\mathbf{b}$和$\mathbf{U}\mathbf{x}=\mathbf{y}$代替它们，则与LU分解相关的方程式$\mathbf{L}\mathbf{U}\mathbf{x}=\mathbf{b}$也可以快速求解。 现在，$\mathbf{L}\mathbf{y}=\mathbf{b}$可以通过正向替换解决$y$，然后通过反向替换解决$\mathbf{U}\mathbf{x}=\mathbf{y}$的问题。

由高斯-若尔当消元法生成的等式$\mathbf{I}\mathbf{x}=\mathbf{c}$等效于$\mathbf{x}=\mathbf{c}$（回想恒等式$\mathbf{I}\mathbf{x}=\mathbf{x}$），因此$c$已经是解。

**示例1，**确定以下矩阵是否为奇数：

$$\mathbf{A}=\left[\begin{array}{rrr}2.1& -0.6& 1.1\\ 3.2& 4.7& -0.8\\ 3.1& -6.5& 4.1\end{array}\right]$$

**解：**对A的第一行的拉普拉斯行列式的求解，得出

$$\begin{array}{rl}|\mathbf{A}|& =2.1\left|\begin{array}{rr}4.7& -0.8\\ -6.5& 4.1\end{array}\right|-(-0.6)\left|\begin{array}{rr}3.2& -0.8\\ 3.1& 4.1\end{array}\right|+1.1\left|\begin{array}{rr}3.2& 4.7\\ 3.1& -6.5\end{array}\right|\\ & =2.1(14.07)+0.6(15.60)+1.1(35.37)=0\end{array}$$

由于行列式为零，因此矩阵是奇异的。 可以验证奇异性归因于以下行依赖性：$(\mathrm{row}3)=(3\times \mathrm{row}1)-(\mathrm{row}2)$。

**示例2，**求解等式Ax=b，其中

$$\mathbf{A}=\left[\begin{array}{rrr}8& -6& 2\\ -4& 11& -7\\ 4& -7& 6\end{array}\right]\mathbf{b}=\left[\begin{array}{r}28\\ -40\\ 33\end{array}\right]$$

知道系数矩阵的LU分解为（您应对此进行验证）

$$\mathbf{A}=\mathbf{L}\mathbf{U}=\left[\begin{array}{rrr}2& 0& 0\\ -1& 2& 0\\ 1& -1& 1\end{array}\right]\left[\begin{array}{rrr}4& -3& 1\\ 0& 4& -3\\ 0& 0& 2\end{array}\right]$$

**解：**我们首先通过正向替换来求解方程式$\mathbf{L}\mathbf{y}=\mathbf{b}$：

$$\begin{array}{rl}2y_1=28& y_1=28/2=14\\ -y_1+2y_2=-40& y_2=\left(-40+y_1\right)/2=(-40+14)/2=-13\\ y_1-y_2+y_3=33& y_3=33-y_1+y_2=33-14-13=6\end{array}$$

然后通过反向替换从$\mathbf{U}\mathbf{x}=\mathbf{y}$中获得解$x$：

$$\begin{array}{rl}2x_3=y_3& x_3=y_3/2=6/2=3\\ 4x_2-3x_3=y_2& x_2=\left(y_2+3x_3\right)/4=[-13+3(3)]/4=-1\\ 4x_1-3x_2+x_3=y_1& x_1=\left(y_1+3x_2-x_3\right)/4=[14+3(-1)-3]/4=2\end{array}$$

因此解为$\mathbf{x}={\left[\begin{array}{lll}2& -1& 3\end{array}\right]}^T$。

高斯消元法

高斯消元是求解联立方程式最熟悉的方法。 它由两部分组成：消元阶段和反向替换阶段。 如表1所示，消元阶段的功能是将方程式转换为Ux = c的形式。 然后通过反替换求解方程。 为了说明该过程，让我们求解以下方程式：

$$\begin{array}{rl}4x_1-2x_2+x_3& =11,(a)\\ -2x_1+4x_2-2x_3& =-16,(b)\\ x_1-2x_2+4x_3& =17,(c)\end{array}$$

消元阶段。 消元阶段仅使用表1中列出的基本运算之一-将一个方程式（例如，方程式j）乘以常数λ，然后从另一个方程式（方程式i）中减去它。 此操作的符号表示为

$$\text{ Eq. }(i)\leftarrow \text{ Eq. }(i)-\lambda \times \text{ Eq. }(j),(6)$$

减去方程，即$\text{ Eq. }(j)$，称为枢轴方程。

我们通过取$\text{ Eq. (a) }$（等式$a$）作为枢轴方程开始消元，并选择乘数λ，以便从$\text{ Eq. (b) }$（等式$b$）和$\text{ Eq. (c) }$（等式$c$）中消除$x_1$：

$$\begin{array}{l}\text{ Eq. (b) }\leftarrow \text{ Eq. (b) }-(-0.5)\times \text{ Eq. (a) }\\ \text{ Eq. (c) }\leftarrow \text{ Eq. (c) }-0.25\times \text{ Eq. (a) }\end{array}$$

经过这种转换，方程式变为

$$\begin{array}{rl}4x_1-2x_2+x_3& =11,(a)\\ 3x_2-1.5x_3& =-10.5,(b)\\ -1.5x_2+3.75x_3& =14.25,(c)\end{array}$$

这样就完成了第一遍。 现在我们选择（b）作为枢轴方程，并从（c）中消除$x_2$：

$$\text{ Eq. }(\mathrm{c})\leftarrow \text{ Eq. }(\mathrm{c})-(-0.5)\times \mathrm{E}\mathrm{q}$$

得出方程式

$$\begin{array}{rl}4x_1-2x_2+x_3& =11,(a)\\ 3x_2-1.5x_3& =-10.5,(b)\\ 3x_3& =9,(c)\end{array}$$

消元阶段现已完成。 原始方程式已替换为等效方程式，可以通过反替换轻松地对其进行求解。

如前所述，增系数矩阵是执行计算的一种更方便的工具。 因此，原始方程式将写为

$$\left[\begin{array}{rrrr}4& -2& 1& 11\\ -2& 4& -2& -16\\ 1& -2& 4& 17\end{array}\right]$$

高斯消元的第一遍和第二遍产生的等效方程将显示为

$$\left[\begin{array}{rrrr}4& -2& 1& 11.00\\ 0& 3& -1.5& -10.50\\ 0& -1.5& 3.75& 14.25\end{array}\right]$$

$$\left[\begin{array}{cccr}4& -2& 1& 11.0\\ 0& 3& -1.5& -10.5\\ 0& 0& 3& 9.0\end{array}\right]$$

重要的是要注意，等式（6）中的基本行操作使系数矩阵的行列式保持不变。 这很幸运，因为三角矩阵的行列式非常容易计算-它是对角元素的乘积（您可以很容易地验证这一点）。 换一种说法，

$$|\mathbf{A}|=|\mathbf{U}|=U_{11}\times U_{22}\times \cdots \times U_{nn},(7)$$

反向替换阶段。 现在可以通过以先前描述的方式进行反向替换来计算未知数。 以方程 （c），（b）和（a）的顺序求解方程，我们得到

$$\begin{array}{l}{x}_3=9/3=3\\ x_2=\left(-10.5+1.5x_3\right)/3=[-10.5+1.5(3)]/3=-2\\ x_1=\left(11+2x_2-x_3\right)/4=[11+2(-2)-3]/4=1\end{array}$$

算法

**消元阶段。**让我们在消元阶段的某个时刻看一下这些方程。 假设A的前k行已经转换为上三角形式。 因此，当前的枢轴方程为第k个方程，其下面的所有方程仍需转换。 以下扩展系数矩阵描述了这种情况。 请注意，A的分量不是原始方程式的系数（第一行除外），因为它们已通过消元程序进行了更改。 常数向量b的分量也相同。

假设第i行是要转换的枢轴方程下面的典型行，这意味着元素$A_{ik}$将被消除。 我们可以通过将枢轴行乘以$\lambda =A_{ik}/A_{kk}$来实现，从第i行减去它。 第i行中的相应更改是

$$\begin{array}{rl}{A}_{ij}& \leftarrow A_{ij}-\lambda A_{kj},j=k,k+1,\dots ,n,(8a)\\ b_i& \leftarrow b_i-\lambda b_k,(8b)\end{array}$$

要将整个系数矩阵转换为上式三角形，则等式（8）中的k和i必须具有范围$k=1,2,\dots ,n-1$（选择枢轴行），$i=k+1,k+2,\dots ,n$（选择要转换的行）。 消元阶段的算法现在几乎可以自己编写：

for k in range(0,n-1):
	  for i in range(k+1,n):
		if a[i,k] != 0.0:
				lam = a[i,k]/a[k,k]
				a[i,k+1:n] = a[i,k+1:n] - lam*a[k,k+1:n]
				b[i] = b[i] - lam*b[k]

为避免不必要的操作，前面的算法与等式（8）略有不同。以下列方式：

• 如果$A_{ik}$恰好为零，则跳过i行的变换。
• 等式（8a）中的索引j从k+1而不是k开始。 因此，$A_{ik}$不会被零替换，而是会保留其原始值。 由于求解阶段无论如何都不会访问系数矩阵的下三角部分，因此其内容无关紧要。

**反向替换阶段。**高斯消去后，增系数矩阵的形式为

$$\left[\begin{array}{cc}\mathbf{A}& \mathbf{b}\end{array}\right]=\left[\begin{array}{cccccc}{A}_{11}& A_{12}& A_{13}& \cdots & A_{1n}& b_1\\ 0& A_{22}& A_{23}& \cdots & A_{2n}& b_2\\ 0& 0& A_{33}& \cdots & A_{3n}& b_3\\ ⋮& ⋮& ⋮& \ddots & ⋮& ⋮\\ 0& 0& 0& \cdots & A_{nn}& b_n\end{array}\right]$$

首先求解最后一个方程$A_{nn}{x}_n=b_n$，得到

$$x_n=b_n/A_{nn},(9)$$

现在考虑反向替换的阶段，其中已经计算了$x_n,x_{n-1},\dots ,x_{k+1}$（按此顺序），并且我们将根据第$k$个方程确定$x_k$，

$$A_{kk}{x}_k+A_{k,k+1}{x}_{k+1}+\cdots +A_{kn}{x}_n=b_k$$

解为：

$$x_k=\left(b_k-\sum _{j=k+1}^n{A}_{kj}{x}_j\right)\frac{1}{A_{kk}},k=n-1,n-2,\dots ,1,(10)$$

反向替换的对应算法是

for k in range(n-1,-1,-1):
 x[k]=(b[k] - dot(a[k,k+1:n],x[k+1:n]))/a[k,k]

运算计数。 算法的执行时间主要取决于执行的长运算（乘法和除法）的数量。 可以证明高斯消元包含大约$n^3/3$这样运算（n是等式数），进行$n^2/2$反向替换操作。这些数字表明大部分运算时间进入消元阶段。 而且，时间随着方程数的增加而迅速增加

高斯消元函数

函数gaussElimin组合了消元阶段和反向替换阶段。 在反向替换期间，b被解矢量x覆盖，因此b包含退出时的解。

## module gaussElimin
’’’ x = gaussElimin(a,b).
		Solves [a]{b} = {x} by Gauss elimination.
’’’
import numpy as np
def gaussElimin(a,b):
		n = len(b)
		# Elimination Phase
		for k in range(0,n-1):
				for i in range(k+1,n):
						if a[i,k] != 0.0:
							lam = a [i,k]/a[k,k]
							a[i,k+1:n] = a[i,k+1:n] - lam*a[k,k+1:n]
							b[i] = b[i] - lam*b[k]
		# Back substitution
		for k in range(n-1,-1,-1):
				b[k] = (b[k] - np.dot(a[k,k+1:n],b[k+1:n]))/a[k,k]
		return b

详情参阅 - 亚图跨际