数值分析笔记

这里是数值分析的部分笔记，(对前三章的算法都用python做了实验，程序见具体内容处)
PS：其中比较不重要的地方偷懒用了一点点numpy的API。内容写的比较简略，仅供参考，望见谅（更详细的数值分析Java实现 请见清华相关实验网站）

Chap 1:误差

$a=\underline{+}{a}_0{a}_1{a}_2...a_m.a_{m+1}...a_n$

def:

绝对误差(界)

相对误差(界)

有效数字

calculate：

误差界:注意近似时向上取整

有效数字的计算(以舍入法为基准)：

n+1-s :s是第一位非零数字角标，n的算法:$|a-\bar{a}|\le \frac{1}{2}\times 10^{-(n-m)}$

（1）真实值的有效数字

（2）已知实际值和近似值，求近似值的有效数组

thm(1.2.1):a的近似数$\bar{a}$有效数字有n+1-s位，相对误差有估计式:

$|\frac{a-\bar{a}}{\bar{a}}|\le \frac{1}{2a_s}\times 10^{-(n-s)}{a}_s\ne 0$是$\bar{a}$的第一位数字

浮点数

def:

p进制表示：$x=\underline{+}0.d_1{d}_2...d_t\times p^J,0\le d_i\le p-1$

尾数:$0.d_1{d}_2...d_t$

计算机表示中为$\underline{+}{d}_1{d}_2...d_{7}J$(阶码)

上溢下溢

舍入法&断尾法

calculate

（1）相加相减:先对位再加减

（2）避免减法:分子有理化；三角变换；Taylor展开

（3）乘除:双精度运算

（4）避免大数小数运算(不满足结合律)

def:向前误差分析；向后误差分析

Chap 2:解方程组

解线性方程组的Gauss消去法

操作:(1)消元(消为上三角矩阵)

​ (2)回代

原理:右乘矩阵行变换

优化方法1:列主元Gauss消去法

原理:避免在较小值为主元时，后面的行减第一行乘一个因数(乘子)，的乘数过大引起误差。(列中元素差距大)

操作:在一般Gauss消去法中对每列消元时把该列绝对值最多的数所在的行换到上面进行消元。

优化方法2：按比例列主元消去法

原理:为避免每一行中元素大小差距过大带来误差

操作:（1）在消第i列时取系数矩阵中$\frac{|a_{ji}|}{|第j行元素最大的绝对值|}$对应的$a_{ij}$为主元，(即绝对值最接近所在行最大绝对值的 元素)。

​ （2）不用交换行，但是改变回代顺序

remark:上面两种方法都是在规避用较小的数求比例得到乘子乘到较大的数上带来误差

优化方法3：Gauss-Jordan 消去法

原理:为避免回代过程，直接将矩阵化为对角矩阵。

操作:仍然采取列主元的方法，但是在消元过程中，消第k列时，将1,2,…,k-1行第k列也消去。

#Gauss-Jordan消去法的python实现(因为电脑没有装java和C++的编译器orz)
import numpy as np
Abb=np.array([(1,2,3,4),(2,12,3,5),(2,10,2,4)])
Abb = Abb.astype(np.float64) #转化为浮点型(否则运算时会自动化为int)

def GaussJordan(Ab,n): 
    row_rec=[];#记录已经有主元的行
    for k in range(n):
        max_k=0
        for i in range(n):
            if ((i in row_rec)==False)&(abs(Ab[i,k])>max_k):#从剩下行中寻找主元
                max_k=abs(Ab[i,k])
                index=i#记录主元所在行数
        row_rec.append(index)
        for j in range(n):
            if (j!=row_rec[-1]):#消去剩余行
                m=-(Ab[j,k]/Ab[row_rec[-1],k])#乘子
                for i in range(n-k+1):
                    Ab[j,i+k]+=m*Ab[row_rec[-1],i+k]
    #计算结果
    res=[]
    for i in range(n):
        res.append(Ab[row_rec[i],n]/Ab[row_rec[i],i])
    return(res)

print(GaussJordan(Abb,3))
res:[1.0, -0.0, 1.0]

直接三角分解法

1.LDR分解

$A=LDR$,L是单位上三角矩阵，D是对角矩阵，R是单位下三角矩阵

thm:矩阵A存在唯一LDR分解$\iff$A的顺序主子矩阵均非奇异

$A=LDR=LU$

从而直接解方程:

$\{\begin{array}{c}Ly=b\\ y=Ux\end{array}$

2.Doolittle分解

def :A=LU,L是单位下三角矩阵，U是上三角矩阵

原理:Gauss消元法的矩阵表示

表示消去第2列的右乘矩阵如下

$L_2=\left[\begin{array}{cccc}1& 0& 0& ...\\ 0& 1& 0& 0\\ 0& -l_{3,2}& ...& \\ 0& -l_{n,2}& 0...& 1\end{array}\right]$

记$l_k=\left[\begin{array}{cc}& 0\\ & ...\\ & l_{k+1,k}\\ & ...\\ & l_{m,k}\end{array}\right]$

从而$L_k=I-l_k{e}_k,e_k$是第k个坐标是1，其余分量是0的n维向量

$(I-l_k{e}_k)(I+l_k{e}_k)=I\to L_k^{-1}=I+l_k{e}_k$

$i<j$时有$L_i^{-1}{L}_j^{-1}=I+l_i{e}_i+l_j{e}_j$

$a_{ii}^{(i-1)}=0$(即主元为0)时要交换行

此时非下三角矩阵

要是每一个主元都不为0的充要条件是:A的每一个顺序主子矩阵非奇异(这一点根据Gauss消去法的操作过程是显然的)

3.Crout分解

原理:类比Gauss消元法的矩阵表示，按列消元从左向右

原理:$A=LU,U$是单位上三角矩阵，$i<j,a_{ij}={\sum }_{k=1}^i{a}_{i,k}{u}_{k,j}$

先求L中第k列，再求U中第k行

操作:将$L,U-I$存入同一个矩阵。对矩阵A进行操作:

​ (1)第一列不变。

​ (2)第一行除对角线以外除以$a_{11}$

​ 一行一列边框over

​ (3)第二列中元素从减去所在行和所在列边框互乘元素

​ (4)第二列减去互乘元素除以所在对角线元素

​ …

Crout分解存在唯一的充要条件依旧是顺序主子式非奇异

优化方法1:紧凑的crout分解

在求第i列之后可以直接求得$Ly=b$中的y

#Abbb顺序主子式非奇异
Abbb=np.array([(3,2,1,2),(2,4,1,-1),(1,2,4,3)])
Abbb = Abbb.astype(np.float64) 

def Crout_jin(Ab,n):
    y=[Ab[0,-1]/Ab[0,0]]#求L(1,1)
    for i in range(n-1):Ab[0,i+1]=Ab[0,i+1]/Ab[0,0]#求U中第1行
    for i in range(n-1):
        for j in range(n-i-1):#求U第i+2行
            minus=0
            for t in range(i+1):
                minus+=Ab[j+i+1,t]*Ab[t,i+1]
            Ab[j+i+1,i+1]-=minus##如果是按列选主元的话在这里进行行变换
        for j in range(n-i-2):#求L第i   +2列
            minus=0
            for t in range(i+1):
                minus+=Ab[t,i+2+j]*Ab[i+1,t]
            Ab[i+1,i+2+j]=(Ab[i+1,i+2+j]-minus)/Ab[i+1,i+1]
        y_i=Ab[i+1,-1]
        for j in range(i+1):#求y   紧凑的crout分解在于在这个循环里计算y的第i+2个分量
            y_i-=y[j]*Ab[i+1,j]
        y_i=y_i/Ab[i+1,i+1]
        y.append(y_i)
    x=[]#求解x,从最后一个分量向前求解
    for j in range(n):
        minus=0
        for i in range(j):
            minus+=Ab[-(j+1),-(i+2)]*x[i]
        x_j=y[-(j+1)]-minus;
        x.append(x_j)
    return(x[::-1])#最后reverse

Crout_jin(Abbb,3)
res:[0.9999999999999998, -0.9999999999999998, 1.0]

优化方法2:按列选主元的Crout方法

和doolittle分解一样在求完一列之后将绝对值最大的所在行提到上面来

remark:考试时不要求按照书上步骤，只需要写出最终形式即可

4.Cholesky 分解（对实对称矩阵）

thm:n阶实对称矩阵A是正定的$\iff$$\exists$n阶非奇异下三角矩阵$L,s.t.:$
$$A=L{L}^T$$
且L的主对角元均为正数时该分解唯一

pf:$\Rightarrow$A是正定的，则顺序主子式非奇异有$A=L_{1}DR,A^T=R^T{D}^T{R}^T$，且$\forall i,D_{ii}>0$由分解式的唯一性得$L_1=R^T,A=L_1{\sqrt{D}}_1(L_1{\sqrt{D}}_2{)}^T$,显然L主对角元为正数时(${\sqrt{D}}_1={\sqrt{D}}_2$)分解唯一。

$\Leftarrow$$xA{x}^T=xL(xL{)}^T\ge 0$,由于$xL\ne 0$等号不能取到，从而A正定。

平方根法

如果直接将$A=L{L}^T$利用Crout算法的步骤计算则对角线元素$l_{ii}$需要开方求解，由于开方计算复杂度大，且会带来更多误差，则考虑下面的分解。

5.$LD{L}^T$分解

$A=LD{L}^T$其中L是单位下对角矩阵，D是对角矩阵。则根据$L{L}^T$分解的唯一性，可知A是对称正定时$LD{L}^T$也是存在唯一的。

对此分解同样利用Crout分解的方法分成$LD$和$L^T$，再转换成$L,D{L}^T$求解但是在每次计算第i行第i列的时候加上$d_{ii}$,来避免开方运算。也就是

改进的平方根算法

计算过程中
$$A=LD{L}^T,Ax=b\to \{\begin{array}{c}Ly=b\\ y=D{L}^{T}x\end{array}$$
计算上和一般的Crout算法有以下不同:

1. 求完L第i列的第k行($n-i\le k\le n$)个元素之后，第i行的第k个元素$D{L}_{ik}^T=\frac{L_{ik}}{D{L}_{ii}^T}$
2. 并非先算DL第i列的后n-i个元素,再算$L^T$的第i行的后n-i个元素，而是依次算DL和$L^T$的第i个顺序主子式
3. 且不需要同时储存$DL和L^T$,只需要储存$L$和D的对角线即可

6.解三对角矩阵方程组的三对角算法

$$\left[\begin{array}{cccc}{d}_1& c_1& & \\ a_2& d_2& c_2& \\ & ...& ...& ...\\ & a_{n-1}& d_{n-1}& c_{n-1}\\ & & a_n& d_n\end{array}\right]=\left[\begin{array}{cccc}{p}_1& & & \\ a_2& p_2& & \\ & ...& ...& ...\\ & a_{n-1}& p_{n-1}& \\ & & a_n& p_n\end{array}\right]\left[\begin{array}{cccc}1& q_1& & \\ & 1& q_2& \\ & ...& ...& ...\\ ...& & 1& q_{n-1}\\ & & & 1\end{array}\right]$$

对半带宽稀疏矩阵，往往有更简单的分解方法。这里对于对角占优的三对角矩阵:

1. $|d_1|>|c_1|>0$

2. $|d_k|\ge |a_k|+|c_k|$且$a_k{c}_k\ne 0,k=2,3,...,n-1$

3. $|d_n|>|a_n|>0$

   在上述三个条件下$p_1,p_2,...,p_n$皆非0。

   pf:先归纳法证明$\forall i,|q_i|<1$:由$(1)$知$|q_1|<1$

   $a_i{q}_{i-1}+p_i=d_i,p_i{q}_i=c_i$由此得到$|q_i|$的递推进行证明。

   同样利用上面两个等式得到$|p_i|>0$

对系数矩阵为上述矩阵的方程的解法就是Crout算法，但是计算过程中隐含$p_i,q_i$的交错递归所以被称为追赶法

Appendix

1.QR分解

$A=QR$,Q为正交矩阵，R为上三角矩阵

分解过程:Gram-Schmidt过程即列变换反复生成正交向量最后得到标准正交集

2.矩阵对角化

$S=[a_1,...,a_n],a_i$是特征向量，$AS=ST,T=(t_{ij})=({\lambda }_i{)}_{ii}\to A=ST{S}^{-1}$

要求:S有n个独立的特征向量

要求:$T\in C^{n\times n}:$正规矩阵,$T\in R^{n\times n}:$自伴矩阵

例子:实对称矩阵:特征值相互正交(易证)

3.Schur分解

$A\in C^{n\times n},U^{H}AU=T$,T是上三角矩阵，特征值在T的对角线上。

再进一步，进行Jordan分解

pf:1.需要明确一点:对上三角矩阵A，$[x_1,...x_n]A$使得$x=[x_1,...,x_n]$中任意分量张成的空间在变化前后不变。

​ 即$\forall j=1,2,....,n,span(v_1,...,v_j)$均在T下不变

2.对任意矩阵都可以表示为某个基上的上三角矩阵(构造过程由归纳0法，通过张成特征向量张成的空间以外的空	  间$(T-\lambda I)V$进行降维，详见done right P114)

​ 3.表示为某个基上的上三角矩阵则可以表示为某个规范正交基上的上三角矩阵(根据Gram-Schmit过程由1.中的 陈述或者用QR分解均可说明)

4.极分解

$T\in \mathcal{L}(V)$,存在等距同构(Hermit矩阵)S，使得$T=S\sqrt{T^{\ast }T}$

5.满秩分解

$rank(A)=r,A=BC,B\in C^{s\times r},C\in C^{r\times n},B,C$秩都为r

$A=BC$矩阵的秩为r，线性无关的r行主子式为B，C对应的主子式是单位矩阵

具体例子见

矩阵论有关知识

def:矩阵相似$A=SB{S}^{-1},S$可逆(即同一线性变换在不同基上的矩阵)

def:矩阵合同$A=S^{T}BS$(同一双线性映射在不同基上的矩阵)

def:伴随算子(adjoin):对T，T的伴随算子$T^{\ast },s.t.<Tv,w>=<v,T^{\ast }w>$,可知$T^{\ast }$是T的共轭转置。

def:自伴算子(adjoint):$T=T^{\ast }$

def:正规算子(normal):$T{T}^{\ast }=T^{\ast }T\iff ||Tx||=||T^{\ast }X||$

def:对任意矩阵$A,A=P^{-1}JP,J$是jodan矩阵，P可逆

prop:正规算子对应不同特征值的特征向量是正交的:

(pf:$(a-b)<u,v>=a<u,v>-b<u,v>=<Tu,v>-<u,T^{\ast }v>=0$)

prop:$rank(A{A}^H)=rank(A)$

prop:$A,A^T$有相同的特征值

prop:可对角化矩阵迹等于特征值之和

prop:AB,BA有相同特征值

thm:复谱定理:正规矩阵能做对角分解(S为正交矩阵)

thm:实谱定理:在实数域上对角分解要求自伴矩阵(S为Hermite矩阵)

6.广义矩阵

def:$A\in C^{s\times n},ifG\in C^{n\times s}$,满足下面M-P方程:则称G是A的广义逆矩阵:

• AGA=A

• GAG=G

• $(AG{)}^H=AG$

• $(GA{)}^H=GA$

prop：零矩阵的广义逆是零矩阵

thm:设$A\in C^{s\times n}$,则A的广义逆是存在唯一的

pf:设$G_1,G_2$是A的广义逆则:$G_1=G_{1}A{G}_1=G_1(A{G}_1{)}^H=G_1{G}_1^H{A}^H=G_1{G}_1^H(A{G}_{2}A{)}^H$

​ $=G_1{G}_1^H{A}^H(A{G}_2{)}^H=G_1{G}_1^H{A}^{H}A{G}_2=G_1(A{G}_1{)}^{H}A{G}_2$

​ $=G_{1}A{G}_{1}A{G}_2=G_{1}A{G}_2$

​ 类似地$G_2=G_{1}A{G}_2$，唯一性得证

​ 利用矩阵的满秩分解$Y(A)=r,A=BC,B\in C^{s\times r},C\in C^{r\times n},B,C$秩都为r

​ 构造广义逆矩阵:$G=C^H(C{C}^H{)}^{-1}(B^{H}B{)}^{-1}{B}^H$

remark:A的广义矩阵记为$A^{+}$

remark:$(AB{)}^{+}$与$B^{+}{A}^{+}$一般不相等

prop:

• $(A^{+}{)}^{+}=A$

• $(A^H{)}^{+}=(A^{+}{)}^H$

• $(A^T{)}^{+}=(A^{+}{)}^H$

• $k\in R,(kA{)}^{+}=k^{+}{A}^{+}$

• $A^H=A^{h}A{A}^{+}=A^{+}A{A}^H$

• $(A{A}^H{)}^{+}=A^{+}(A^H{)}^{+};(A{A}^H{)}^{+}=(A^H{)}^{+}{A}^{+}$

• $A^{+}=(A^{H}A)A^H=A^H(A{A}^H{)}^{+}$

• $U,V$是酉矩阵，则$(UAV{)}^{+}=V^H{A}^{+}{U}^H$

• $A^{+}AB=A^{+}AC\iff AB=AC$

example:

• $A$是Hermite矩阵，$A^{+}$也是Hermite矩阵
• A是正规矩阵，$(A^2{)}^{+}=(A^{+}{)}^2$

apply:

线性方程组$Ax=b$无解时，找到x使得$||A\hat{x}-b|{|}_2$最小。$\eta$是最小二乘解$\iff \eta 是A^{H}Ax=A^{H}b$的解

attention:$x\perp span(a_1,...,a_n),A=(a_1,...,a_n),\to \forall y:(x,Ay)=0\iff (A^{H}x,y)=0\iff A^{H}x=0$

通解$x=A^{+}b+(I-A^{+}A)y$，其中$A^{+}b$是极小最小二乘解

行列式的计算

（1）Gauss消去法

对于顺序的Gauss消去法$det(A)=a_{11}{a}_{22}^{(1)}...a_{nn}^{(n-1)}$即各主元的乘积

对于中间进行行变换的Gauss消去法则需要乘以$(-1{)}^s$,s为消元中行变换的次数

（2）Crout分解

$A=LU,det(A)=det(L)$

（3）$L{L}^T,LD{L}^T$消去法

$det(A)=$对角线元素的乘积

逆矩阵的计算

对于非奇异n阶矩阵A，用Gauss-Jordan消去法对A进行消元时$M_n...M_{1}A=I$，其中
$$M_k=\left[\begin{array}{ccccc}1& & m_{1k}& & \\ & 1& ...& & \\ & & m_{kk}& ...& \\ & & ...& 1& \\ & & m_{nk}& ...& 1\end{array}\right]$$
从而$A^{-1}=M_n...M_1$

对于$M_k$的求和:$M_n...M_2{M}_1$存在特殊解法:

$T_1=M_1(e_{11}+A(e_{22}+…+e_{nn})) $ $e_{ii}{e}_{jj}=0,i\ne j,e_{ii}{e}_{ii}=e_{ii}$

$T_2=M_2(e_{22}+T_1(e_{11}+e_{22}+...e_{nn}))$

$A^{-1}=M_n...M_1=T_n$

范数

下面讨论的都是有限维的情况，在无限维的情况下，max=sup,min=inf其中多数叙述仍然成立。

（一）向量的范数

线性赋范空间

def:(1)非负性(正性&定性)

​ (2)齐次性(线性性)

​ (3)三角不等式

remark:$l_p$范数的三角不等式证明由Minkowski不等式可得

example:

1.$\infty$范数 def:$||x|{|}_{\infty }=li{m}_{p\to \infty }({\sum }_{i=1}^{\infty }|x_i{|}^p{)}^{\frac{1}{p}}$

​ $||x|{|}_{\infty }=ma{x}_{1\le i\le n}|x_i|$

​ pf: 记$max|x_i|=|x_j|,|x_j|\le (\sum |x_i{|}^p{)}^{\frac{1}{p}}\le n^{\frac{1}{p}}|x_j|,n\to \infty ,||x|{|}_{\infty }=|x_j|$

​

2.$||x|{|}_2$:Euclid范数，相关的有Cauchy-Schwarz不等式:$|(x,y)|\le ||x|{|}_2||y|{|}_2$(实质上是Euclid内积空间的性质)

3.A是给定的n阶实对称正定矩阵，$x\in R^n$,则$||x|{|}_A=(x^{T}Ax{)}^{\frac{1}{2}}$是$R^n$中的一种范数

pf:对于三角不等式的证明:$||x+y|{|}_A=||L^T(x+y)|{|}_2=||L^{T}x+L^{T}y|{|}_2\le ||L^{T}x|{|}_2+||L^{T}y|{|}_2=||x|{|}_A+||y|{|}_A$

prop:

1.对任意向量范数，$\forall x,y\in R^n$,恒有:$|||x||-||y||\le ||x-y||$,(在一维情况下即为绝对值不等式)​

pf:$||x||\ge ||y||$时,$|||x||-||y|||=||x||-||y||\le ||x-y||$

​ $||x||\le ||y||$时，同理。

2.$R^n$空间中，任意向量范数$||x|{|}_{\alpha }$关于$l_2$范数是x的一致连续函数 (以欧氏空间上的拓扑为基础拓扑)

pf:$\forall x=(x_1,...,x_n),y=(y_1,...,y_n),||x-y|{|}_2=({\sum }_{i=1}^n(x_i-y_i{)}^2{)}^{\frac{1}{2}}<\delta$

​ $|||x|{|}_{\alpha }-||y|{|}_{\alpha }|\le ||x-y|{|}_{\alpha }$

​ $||x|{|}_{\alpha }=||\sum x_i{e}_i|{|}_{\alpha }\le \sum |x_i|||e_i|{|}_{\alpha }\le ||x|{|}_2(\sum ||e_i|{|}_{\alpha }^2{)}^{\frac{1}{2}}$(第一个不等式由三角不等式可得)

​ $({\sum }_{i=1}^n||e_i|{|}_{\alpha }^2{)}^{\frac{1}{2}}=const$

​ 从而 $|||x|{|}_{\alpha }-||y|{|}_{\alpha }|\le ||x-y|{|}_{\alpha }\le ||x-y|{|}_2(\sum ||e_i|{|}_{\alpha }^2{)}^{\frac{1}{2}}<M\delta$

3.$R^n$空间中的一切向量范数都是等价的，即对于任意两种范数$||x|{|}_{\alpha },||\beta |{|}_{\alpha }$总存在与x无关的正常数$c_1,c_2\in R,s.t.$(利用赋范线性空间特点)
$$c_1||x|{|}_{\beta }\le ||x|{|}_{\alpha }\le c_2||x|{|}_{\beta },\forall x\in R^n$$
pf:对于这点的证明,我们先将x单位化、标准化再做其它考虑。

​ $||x|{|}_{\alpha }=||x|{|}_2||\frac{x}{||x|{|}_2}|{|}_{\alpha }=||x|{|}_2||y|{|}_{\alpha }$其中$y\in \{y:||y|{|}_2=1,y\in R^n\},$又$t(y)=||y|{|}_{\alpha }$是连续函数从而在闭球 面上有最大值和最小值$c_1,c_2$，从而$c_2||x|{|}_2\le ||x|{|}_{\alpha }\le c_1||x|{|}_2$利用$||x|{|}_2$做过渡可轻松进行证明。

4.$R^n$空间中的$l_p(p=1,2,\infty )$范数满足以下关系式:

• $||x|{|}_{\infty }\le ||x|{|}_1\le n||x|{|}_{\infty }$
• $||x|{|}_{\infty }\le ||x|{|}_2\le \sqrt{n}||x|{|}_{\infty }$
• $\frac{1}{\sqrt{n}}||x|{|}_1\le ||x|{|}_2\le ||x|{|}_1$ 由Cauchy-Schwarz不等式可得

remark:这一步的证明过程适用于证明上一步，3强于2

example:设$A\in R^{n\times n}$,在$R^n$中给定范数$||\cdot |{|}_{\alpha }$,证明$g(x)=||Ax|{|}_{\alpha }$关于范数$||\cdot |{|}_{\alpha }$是x的连续函数。

​ remark:从线性泛函的角度上看上述叙述是显然的。

​ 证明:$|g(x)-g(y)|\le ||A(x-y)|{|}_{\alpha }\le c_1|b\cdot (x-y)|\le c_{1}max\{|b_i|\}||x-y|{|}_1\le c_{1}max\{|b_i|\}{c}_2||x-y|{|}_{\alpha }$ 其中$max\{|b_i|\}$不超过A中每列绝对值最大的数的绝对值的求和。

(二)、矩阵的范数

首先对方阵进行定义:

$R^{n\times n}$表示全体$n\times n$阶实矩阵构成的线性空间，设$A\in R^{n\times n}$若在$R^{n\times n}$中定义实值函数$||A||$,满足:

1. 正定性
2. 线性性
3. 三角不等式
4. 相容性 $||AB||\le ||A||\cdot ||B||,\forall A,B\in R^{n\times n}$

称$||A||$为矩阵A的一种范数或者模或矩阵范数，相容范数。

def:矩阵范数$||\cdot |{|}_{\beta }$和向量范数$||\cdot |{|}_{\alpha }$是相容的:$||Ax|{|}_{\alpha }\le ||A|{|}_{\beta }||x|{|}_{\alpha },\forall A\in R^{n\times n},x\in R^n$

thm:设$||\cdot |{|}_{\beta }$是$R^{n\times n}$中的任意一种矩阵范数，则在$R^n$中至少存在一种向量范数$||\cdot |{|}_{\alpha }$使得$||\cdot |{|}_{\alpha },||\cdot |{|}_{\beta }$是相容 的。

   pf：构造$||\cdot||_{\beta}=||[x,0,...,0]||_\beta,\qquad [x,0,...,0]\in R^{n\times n}$

def:假设矩阵范数$||A|{|}_{\beta }$和向量范数$||x|{|}_{\alpha }$相容且$\forall A\in R^{n\times n}$都存在一个非零向量$x_0\in R^n$,使得
$$||A{x}_0|{|}_{\alpha }=||A|{|}_{\beta }||x_0|{|}_{\alpha }$$
则说$||A|{|}_{\beta }$是从属于向量范数$||x|{|}_{\alpha }$的矩阵范数

remark:从属的必要条件是$||I|{|}_{\beta }=1$

thm:对于$R^n$中的向量范数$||\cdot |{|}_{\alpha }$都存在从属于它的矩阵范数$||\cdot |{|}_{\beta }$

​ 其中一种为$||A||=ma{x}_{||x|{|}_{\alpha }=1}||Ax|{|}_{\alpha }$，次范数被定义为算子范数。

pf:由范数等价性&$||Ax||$是有界闭集上的连续函数知最大值能取到。(1)非负性(正且定)(2)齐次性(3)三角不等式(3)相容性 $||AB||=max||ABx||\le max||A||||Bx||\le max||A||||B||||x||=||A||||B||$；证明相容性$||A|{|}_{\alpha }\ge ||\frac{Ax}{||x|{|}_{\alpha }}|{|}_{\alpha }$

prop:

同样有$|||A||-||B|||\le ||A-B||$

example:

• 1-范数 $||A|{|}_1=ma{x}_{1\le j\le n}{\sum }_{i=1}^n|a_{ij}|$

• 2-范数(谱范数) $||A|{|}_2={\rho }^{\frac{1}{2}}(A^{T}A),\rho$表示矩阵谱半径(即特征值最大值)

  注意这里是$A^{T}A$本质上$AB,BA$具有相同的特征值，但是其特征向量不一定相同；同样P和$P^T$也有相同的特征值但是特征向量不一定相同(由特征多项式的形式可看出)

  pf:$ABx=\lambda x,BABx=\lambda Bx,Bx$是$BA$关于$\lambda$的特征向量。

• $\infty$-范数 $||A|{|}_{\infty }=ma{x}_{1\le i\le n}{\sum }_{i=j}^n|a_{ij}|$

• F-范数 $||A|{|}_F=({\sum }_i{\sum }_j|a_{ij}{|}^2{)}^{\frac{1}{2}}||Ax|{|}_2\le ||A|{|}_F||x|{|}_2，由于||I|{|}_F\ne 1$知F-范 数不从属于任何范数

$||A||_2\leq ||A||_F\leq \sqrt{n}||A||_2 $

pf:$||A||_2^2=max_i \lambda_i\geq \frac{1}{n}(\lambda_1+…+\lambda_n )=\frac{1}{n}tr(A^{TA)=\frac{1}{n}||A||_F}2 $实对称矩阵的迹等于特征值的和，且是半正定矩阵（特征值不小于0）。

上述定义在共轭转置的基础上可推广到复数域上的矩阵，在考虑$C^n,C^m$上的范数后可推广到$C^{n\times n}$非方阵上，详见P69.

thm:

对于任意矩阵范数$||\cdot ||$,都有$\rho (A)\le ||A||,\forall A\in C^{n\times n}$

pf:由于对于所有矩阵范数都存在向量范数$||\cdot |{|}_{\alpha }$使得两者相容，即$||Ax|{|}_{\alpha }\le ||A||\cdot ||x|{|}_{\alpha }$,取$x$为A的特征向量，则有$\lambda ||x|{|}_{\alpha }\le ||A||\cdot ||x|{|}_{\alpha }$,QED.

补充Jordan矩阵幂运算

thm:设$A\in C^{n\times n},\forall ϵ>0,\exists ||\cdot |{|}_{\beta },s.t.||A|{|}_{\beta }\le \rho (A)+ϵ$

pf:A必与一个Jordan标准型$J$相似，即存在非奇异矩阵P使得$P^{-1}AP=J，D=diag(1,ϵ,...,{ϵ}^{n-1}),D^{-1}JD=\tilde{J}$将J的每一个非对角1换成$ϵ,\tilde{J}=Q^{-1}AQ,Q=PD,||Q^{-1}AQ|{|}_1=||\tilde{J}|{|}_1\le \rho (A)+ϵ||A|{|}_{\beta }=||Q^{-1}AQ|{|}_1$是一种矩阵范数 QED.

remark:上面两个定理说明$\rho (A)$是A的范数的下确界。

thm:Banach Lemma

$B\in C^{n\times n},\rho (B)<1$,则矩阵$I\pm B$都是非奇异的，而且对任何$||I||=1$的矩阵范数$||\cdot ||$，若有$||B||<1$,则
$$||(I\pm B^{-1})||\le \frac{1}{1-||B||}$$
pf:因为$\rho (B)<1,I\pm B$的特征值的模非0(做jordan分解)。

​ 又$(I+B)(I+B{)}^{-1}=I,(I+B{)}^{-1}=I-B(I+B{)}^{-1}$
$$||(I+B{)}^{-1}||\le ||I||+||B||||(I+B{)}^{-1}||\to (1-||B||)||(I+B{)}^{-1}||\le ||1||$$
QED

(三)、向量列与矩阵列的收敛

def:向量列的收敛:各分量收敛

def:矩阵列的收敛:各元素收敛

矩阵级数收敛:部分和收敛

thm:$C^{n\times n}$空间中的矩阵序列$A_1,...$收敛于A的充要条件是存在一种矩阵范数$||\cdot ||,s.t.li{m}_{k\to \infty }||A_k-A||=0$

pf:(1)对于向量范数有，从而进行类比$lim |B|=lim |C|\leftarrow lim B=limC $当且仅当$lim |C|=0$从左到右可推，从而考虑$lim|A_k-A|\rightarrow 0$

​ (2)证明有限维空间上任何范数等价。所以只对$|A{|}_M=nmax|a_{ij}|$,$lim||A_K-A|{|}_M=limnmax||a_{ij}-a_j||$这样各元素收敛等价于M范数收敛。

thm:$C^n$空间中的数列$a_1,...$收敛于a的充要条件是存在一种矩阵范数$||\cdot ||,s.t.li{m}_{k\to \infty }||a_k-a||=0$

thm:设$A\in C^{n\times n},li{m}_{k\to \infty }{A}^k=0\iff \rho (A)<1$

pf:$\Rightarrow$反设$\rho (A)\ge 1,\rho (A^k)\ge 1\to ||A^K||\ge 1$,从而$lim||A^k||\ne 0\to A\ne 0$

$\Leftarrow$ $\rho (A)<1,{ϵ}_0=\frac{1-\rho (A)}{2}>0$存在矩阵范数

$||\cdot |{|}_{\beta },s.t.||A|{|}_{\beta }\le \rho (A)+{ϵ}_0<1\to ||A^k|{|}_{\beta }\le ||A|{|}_{\beta }^k\le q^k,q<1,||A^k||\to 0,A^k\to 0$

thm:$A\in C^{n\times n},{\sum }_{k=0}^{\infty }{A}^k$收敛$\Leftrightarrow $$\rho (A)<1$, 且若$\rho (A)<1$,则$(I-A{)}^{-1}$存在 , ${\sum }_{k=0}^{\infty }{A}^k=(1-A{)}^{-1}$

pf:$\Rightarrow$令$S_n={\sum }_{k=0}^m{A}^k$,则由矩阵幂级数收敛知$li{m}_{m\to \infty }{S}_m=S$,$lim{A}^k=lim(S_k-S_{k-1})=0$由上述定理知$\rho (A)<1$

$\Leftarrow$设$\rho (A)<1$,$(I-A{)}^{-1}$存在

$(I-A)S_k=(I-A)(1+A+A^2+...+A^k)=I-A^{k+1}$

$S_k=(I-A{)}^{-1}(I-A^{k+1})$

$=(I-A{)}^{-1}-(I-A{)}^{-1}{A}^{k+1}$

从而$||S_k-(I-A{)}^{-1}||\le ||(I-A{)}^{-1}||||A^{k+1}||$由$\rho (A)<1\to li{m}_{k\to \infty }||A^{k+1}||=0$从而$S_n\to (I-A{)}^{-1}$

thm:设$A\in C^{n\times n}$,若对$C^{n\times n}$中的某种范数$||\cdot ||$有$||A||<1$,则有
$$||(1-A{)}^{-1}-(I+A^2+...+A^k)||\le \frac{||A|{|}^{k+1}}{1-||A||}$$
pf：$LHS=||A^{k+1}+A^{k+2}+...||\le ||A^{k+1}||||1+A+A^2+...||\le ||A^{k+1}||||(1-A{)}^{-1}||\stackrel{BanachLemma}{\le }\frac{||A^{k+1}||}{1-||A||}=RHS$

(banach引理需要加上条件$||I||=1$)

如果没有$||I||=1:||(I-A{)}^{-1}-(I+A+A^2+...+A^k)||$

​ $\le ||A|{|}^{k+1}+...+||A|{|}^{k+m}+||A|{|}^{k+m+1}(I-A{)}^{-1},(m\to \infty )$

​ $\le {\sum }_{i=k+1}^{\infty }||A|{|}^i=RHS$

thm:酉矩阵的保范性质

$A\in C^{n\times n}，Q{Q}^H=I,\Rightarrow ||QA|{|}_2=||AQ|{|}_2=||A|{|}_2$

pf:$||Q^H|{|}_2=||Q|{|}_2=1$

$||QA|{|}_2\le \Vert |Q|{|}_2||A|{|}_2=||A||,||A|{|}_2=||Q^{H}QA|{|}_2\le ||Q^H|{|}_2||QA|{|}_2=||QA|{|}_2$QED

误差分析

条件数$Cond(A)=||A||||A^{-1}||$

谱条件数 K ( A ) = C o n d ( A ) 2 = ∣ ∣ A ∣ ∣ 2 ∣ ∣ A − 1 ∣ ∣ 2 K(A)=Cond(A)_2=||A||_2||A^{-1}||_2