数值分析与算法——读书笔记（三）

chapter3

线性方程组的直接解法

线性方程组（linear equation system）可写成如下形式：

⎧⎩⎨⎪⎪⎪⎪⎪⎪⎪⎪a11x1+a12x2+⋯+a1nxn=b1a21x1+a22x2+⋯+a2nxn=b2⋮am1x1+am2x2+⋯+amnxn=bm

若 m>n ，这种线性方程组称为超定方程组；若 m<n ，线性方程组一般有无穷多个解；当 m=n 时，记为 Ax=b ，其中 A 是一个 n×n 的矩阵，称为系数矩阵（coefficient matrix）； x 为 n 维向量，称为解向量； b 为 n 维向量，称为右端向量或右端项（right-hand side）。在后续讨论中，我们仅考虑 m=n 的情况，并且假设矩阵 A 为实数矩阵、 b 为实数向量。

3.1基本概念与问题的敏感性

1. 线性代数中的有关概念

2. 向量范数和矩阵范数

   对于实向量 x=[x1,x2,⋯,xn]T ，给出常用的几种范数：

   1. 1-范数： ∥x∥1=∑ni=1|xi|
   2. 2-范数： ∥x∥2=(∑ni=1|xi|2)12=(xTx)12
   3. ∞ -范数： ∥x∥∞=max1≤i≤n|xi|

   定理： Rn 上的任一一种向量范数 ∥x∥ 都是关于 x 分量 x1,x2,⋯,xn 的连续函数

   定理：设 ∥x∥s 和 ∥x∥t 为 Rn 上的任意两种向量范数，则存在常数 c1,c2>0 ，使得对一切 x∈Rn 有
   

   c1∥x∥s≤∥x∥t≤c2∥x∥s
   
   定义：设 x∈Rn ， A∈Rn×n ，对某种给定的向量范数 ∥x∥v ，矩阵的算子范数为
   
   ∥A∥v=maxx≠0∥Ax∥v∥x∥v
   
   对应于向量的1-范数、2-范数和 ∞ -范数，矩阵 A=(aij∈Rn×n 的算子范数分别为：
   1. 1-范数： ∥A∥1=max1≤j≤n∑ni=1∣∣aij∣∣​
   2. 2-范数： ∥A∥2=λmax(ATA)−−−−−−−−−√ ,其中 λmax(⋅) 表示取矩阵最大特征值的函数
   3. ∞ -范数： ∥A∥∞=max1≤i≤n∑nj=1∣∣aij∣∣

3. 问题的敏感性和矩阵条件数

   定义：设 A 为非奇异矩阵，称 cond(A)v=∥A∥v∥∥A−1∥∥v 为矩阵的条件数，其中下标 v 用于标识某种矩阵的算子范数

   如果系数矩阵的条件数很大，称之为病态矩阵，对应的线性方程组求解问题是敏感（病态）问题；如果系数矩阵的条件数很小，称之为良态矩阵，相应的线性方程组求解问题不太敏感。

3.2 高斯消元法

求解线性方程组的高斯消去过程

1. 输入： A ， n ， b ；输出： A ， b 。

2. For k=1,2,⋯,n−1

   ​ If akk=0 then 停止

   ​ For i=k+1,k+2,⋯,n

   ​ c:=−aik/akk ;

   ​ For j=k+1,k+2,⋯,n

   ​ aij:=aij+cakj ;

   ​ End

   ​ bi:=bi+cbk ;

   ​ End

   End

时间复杂度： O(n3)