数值计算之第四期：追赶法和范数

上一期链接：https://blog.csdn.net/axehead/article/details/105855475

参考资料：
数值分析教程 刘长安 西北工业大学出版社
数值计算方法 黄云清 科学出版社
数值分析简明教程 王能超 高等教育出版社 第二版

追赶法解三对角矩阵

上一期末尾提到了cholesky分解和追赶法，但是没有展开来讲，这期就提一下追赶法的计算步骤.至于cholesky分解，后面会有专门针对正定矩阵的算法，这里就不说了.
设系数矩阵A为：
$A=\left[\begin{array}{cccc}{e}_1& f_1& & 0\\ d_2& \ddots & \ddots & \\ & \ddots & \ddots & f_{n-1}\\ 0& & d_n& e_n\end{array}\right]$
我们将形似方阵A的矩阵称为三对角矩阵.
对这类矩阵，有如下分解：
$A=LU=\left[\begin{array}{cccc}1& & & 0\\ l_2& 1& & \\ & \ddots & \ddots & \\ 0& & l_n& 1\end{array}\right]\cdot \left[\begin{array}{cccc}{r}_1& f_1& & 0\\ & r_2& \ddots & \\ & & \ddots & f_{n-1}\\ 0& & & r_n\end{array}\right]$
得到分解的矩阵及具体的求解过程如下：
令$r_1=e_1$，然后对$i=2,...,n$计算
$l_i=\frac{d_i}{r_{i-1}}$和$r_i=e_i-l_i\times f_{i-1}$
注意上三角矩阵U中的$f_i$仍然是A中的对应元素.这样就做完分解了.接下来就是解方程$Ly=b$和$U_x=y$（其中b为方程组$Ax=b$中对应的b向量）：
(1)令$y_1=b_1$，对$i=2,...,n$计算：
$y_i=b_i-l_i\times y_{i-1}$
(2)令$x_n=\frac{y_n}{r_n}$，再对$i=n-1,...,1$计算：
$x_i=\frac{y_i-f_i\times x_{i+1}}{r_i}$
该算法的计算量为$O(n)$,理论上为最优运算量的算法.

矩阵范数及向量范数

向量范数

说到范数，我认为可以把它理解称n维空间上的一类特殊函数，一般来说，是一个实值函数，常常记为$\Vert x\Vert (x\in {\mathbb{R}}^n)$.
常用的范数就是p($p\in [1,\infty )$)范数：
$\Vert x{\Vert }_p=(\sum _{i=1}^n|x_i{|}^p{)}^{1/p}$
最为重要的就是1范数，2范数（或Euclid范数）和 $\infty$范数，分别对应下面三个式子：
$\Vert x{\Vert }_1=|x_1|+|x_2|+...+|x_n|=\sum _{i=1}^n|x_1|$
$\Vert x{\Vert }_2=(\sum _{i=1}^n|x_i{|}^2{)}^{1/2}$
$\Vert x{\Vert }_{\infty }=\max \{|x_1|,...,|x_n|\}$
上面说到范数是一类特殊的函数，自然就满足某些性质：
$x,y\in {\mathbb{R}}^n，a\in \mathbb{R}$
(1)非负性（也称正定性）：$x\ne 0$,成立$\Vert x\Vert >0,\Vert x\Vert =0$当且仅当$x=0$;
(2)齐次性：$\Vert ax\Vert =|a|\Vert x\Vert$;
(3)三角不等式：$\Vert x+y\Vert \le \Vert x\Vert +\Vert y\Vert$.
下面叙述几条相关的定理:
定理1：对${\mathbb{R}}^n$中的任意向量范数，$\forall x,y\in {\mathbb{R}}^n$，成立
$|\Vert x\Vert -\Vert y\Vert |\le \Vert x-y\Vert$
(利用范数的三角不等式性质证明)
定理2：${\mathbb{R}}^n$中的任意向量范数都是${\mathbb{R}}^n$上的连续函数.
(利用定理1证明和范数的性质证明)
定理3：${\mathbb{R}}^n$空间上所有的范数都是等价的.用不同的下标表示不同的范数就是:总存在常数m和M，$\forall x\in {\mathbb{R}}^n$,成立
$m\Vert x{\Vert }_{(1)}\le \Vert x{\Vert }_{(2)}\le M\Vert x{\Vert }_{(1)}$
(只需证明任意范数和某一确定的范数等价即可)
定理4：${\mathbb{R}}^n$中序列$\{x^{(k)}\}$收敛于某一$x\in {\mathbb{R}}^n$的充要条件为：
$\Vert x^{(k)}-x\Vert \to 0,k\to \infty$

矩阵范数

对于一般的矩阵范数，它们是满足上面所说的三条范数的性质的，下面讲一类特殊的矩阵范数，叫做矩阵的从属范数.
对${\mathbb{R}}^n$上的任意范数，对任一$A\in {\mathbb{R}}^{n\times n}$,定义：
$\Vert A\Vert =\underset{x\ne 0}{\max }\frac{\Vert Ax\Vert }{\Vert x\Vert }=\underset{\Vert x\Vert =1}{\max }\Vert Ax\Vert$
为A的从属范数.(注意！这里的矩阵范数是有向量范数导出的)
下面分别给出1范数，2范数和 $\infty$范数的计算公式：
$\Vert A{\Vert }_1=\underset{j}{\max }\sum _{i=1}^n|a_{ij}|$
$\Vert A{\Vert }_{\infty }=\underset{i}{\max }\sum _{j=1}^n|a_{ij}|$
$\Vert A{\Vert }_2=\sqrt{{\lambda }_{max}}$
矩阵的从属范数除了满足一般范数的性质外，还满足相容性条件。即：
(4)$\Vert Ax\Vert \le \Vert A\Vert \cdot \Vert x\Vert ,\forall x\in {\mathbb{R}}^n$;
(5)$\Vert A\cdot B\Vert \le \Vert A\Vert \cdot \Vert B\Vert ,\forall A,B\in {\mathbb{R}}^{n\times n}$.
此外矩阵的范数之间也是等价的，特别地，1范数，2范数，F范数和 $\infty$范数的关系如下：
$\Vert A{\Vert }_2\le \Vert A{\Vert }_F\le \sqrt{n}\Vert A{\Vert }_2$
$\frac{1}{\sqrt{n}}\Vert A{\Vert }_{\infty }\le \Vert A{\Vert }_2\le \sqrt{n}\Vert A{\Vert }_{\infty }$
$\frac{1}{\sqrt{n}}\Vert A{\Vert }_1\le \Vert A{\Vert }_2\le \sqrt{n}\Vert A{\Vert }_1$
其中，F范数的定义为：
$\Vert A{\Vert }_F=({\sum }_{i=1}^n{\sum }_{j=0}^n{a}_{ij}^2{)}^{\frac{1}{2}}$,可以证明F范数也满足相容性

谱半径

记$\rho (A)=\max \{|\lambda |:\lambda \in \sigma (A)\}$，为n阶方阵的谱半径，其中$\sigma (A)$表示A特征值的全体.
显然，谱半径就是最大特征根，且有$\Vert A{\Vert }_2=\sqrt{\rho (A^{T}A)}$，
特别地，当A对称时，还有$\Vert A{\Vert }_2=\rho (A)$
下面给出几个关于谱半径的重要结论：
定理5：对任意一种A的从属范数，有$\rho (A)\le \Vert A\Vert$
定理6：谱半径$\rho (A)$是A的所有范数的下确界，即：
$\rho (A)=\underset{\mu }{\inf }\Vert A{\Vert }_{\mu }$
（这个定理的证明比较繁琐，要用到若尔当标准型，感兴趣的朋友可查查资料）
定理7：设$A\in {\mathbb{R}}^{n\times n}$,$\underset{k\to \infty }{\lim }{A}^k=0$的充要条件是$\rho (A)<1$.
（这里其实还涉及到矩阵级数的收敛性，篇幅问题就不说明了）

说明

mathor cup临近，下一期估计就要等到月底了。下一期讲讲线性方程组的扰动分析。然后的话，我想了想，追赶法的程序我过两天再上传吧，想要下载的朋友就点我的头像，找找我上传的资源，里面就会有啦。