《矩阵论》学习笔记（二）：第二章 范数理论及其应用

《矩阵论》学习笔记（二）：第二章 范数理论及其应用

• 研究范数的意义：
  把一个向量/矩阵与一个非负实数相联系，这个实数可看做是对此向量/矩阵大小的一种度量。
  向量范数和矩阵范数就是这样的实数，对研究数值方法的收敛性和误差估计等方面有重要意义。

范数理论

1 向量范数

2 矩阵范数

一、向量范数及其性质

1.1. 向量范数提出的目的

对欧氏空间和酉空间存在向量的长度，那么如何对一般的线性空间中向量长度进行度量 ？
— 向量范数

定义不同种范数函数，求得的向量长度不同。

1.2. 向量范数的定义

满足非负性、齐次性、三角不等式三个条件。

1.3. 向量范数的等价性

• 有限维线性空间上，不同范数是等价的。

$c_1||x|{|}_{\beta }\le ||x|{|}_{\alpha }\le c_2||x|{|}_{\beta }$

1.4. 几种常见的向量范数

范数类型	常见的向量范数
p-范数	1-范数、2-范数、无穷范数
椭圆范数/加权范数	…

1.5. 线性空间下的向量范数

线性空间$V^n$下的向量范数是对向量空间$C^n$下向量范数概念的推广。
借助线性空间$V^n$中的一组基，可以将向量空间$C^n$下向量范数转化为线性空间$V^n$下的向量范数。

$||x|{|}_p=||\alpha |{|}_p$
其中，$\alpha$是$x$在线性空间$V^n$的一组基$x_1、x_2、...、x_n$的坐标向量$\alpha =({\mu }_1、{\mu }_2、...、{\mu }_n{)}^T$

1.6. 向量范数的应用：向量序列收敛性

不同向量范数可能具有不同的大小，但在各种向量范数下考虑向量序列的收敛性问题时，却表现出一致的收敛性。

• 向量序列$x^{(k)}$的收敛性问题：

$x^{(k)}\to x⟺$$||x^{(k)}-x||\to 0$

二、矩阵范数及其性质

2.1. 矩阵范数提出的目的

• 线性空间中的矩阵A(mxn)可以看做是向量，但是只有向量范数是不足够的，因为矩阵比向量多出矩阵与矩阵的乘法这一运算。所以要为矩阵范数是比向量范数要求更高的一种度量。
• 矩阵范数也是多种多样的。

2.2. 矩阵范数的定义与性质

• 满足非负性、齐次性、三角不等式和相容性—>矩阵范数；
• 只满足前三个条件—>广义矩阵范数。

2.3. 矩阵范数的等价性

• Frobenius范数：

$$||A|{|}_F=(\sum _{i=1}^m\sum _{j=1}^n|a_{ij}{|}^2{)}^{1/2}=(tr(A^{H}A){)}^{1/2}$$

• 矩阵范数的等价性：
  和A酉(正交)相似的矩阵的F-范数是等价的。

2.4. 矩阵范数定义向量范数

• 为什么关心矩阵范数和向量范数的关系？
  矩阵可以用来表达线性空间下的某种线性变换。矩阵常常与向量混合一起使用。
  引出：
• 1、什么是矩阵范数与向量范数的相容？

$||Ax|{|}_V\le ||A|{|}_M||x|{|}_V$

• 2、矩阵范数定义向量范数：

$||x|{|}_V=||x\ast y^H|{|}_M$

任意一个矩阵范数，都能构造与之对应的向量范数，不唯一。

2.5. 向量范数导出矩阵范数(从属范数)

• 从属范数：
  由向量范数导出的矩阵范数。满足：

$||A||=ma{x}_{||x||=1}||Ax||$

有什么样的向量范数就有什么样的矩阵范数。
根据定义，从而引出了：
列和范数、谱范数、行和范数。

2.6. 几种常见的矩阵范数

1、从属范数：

向量范数	从属范数
1-范数	列和范数
2-范数	谱范数
无穷-范数	行和范数

2、Frobenius范数.
3、m范数：

m范数	m1-范数 m2-范数 m无穷-范数

三、范数的一些应用

• 矩阵的可逆性/非奇异条件

设A∈$C^{n\ast n}$，且对$C^{n\ast n}$上的某种矩阵范数||.||，有||A||<1，则可得：

1. 矩阵$(I-A)$可逆；
2. $||I-A|{|}^{-1}\le \frac{||I||}{1-||A||}$.

• 近似逆矩阵的误差—逆矩阵的摄动

• 矩阵的谱半径及其性质

定义：

设A∈$C^{n\ast n}$的所有特征值为${\lambda }_1,{\lambda }_2,...{\lambda }_n$，则定义：
$\rho (A)=ma{x}_i|{\lambda }_i|$.
$\rho (A)$称作A的谱半径。

性质：

1、设A∈$C^{n\ast n}$，则对$C^{n\ast n}$上的任意一矩阵范数||.||，都有：
$\rho (A)\le ||A||$.

2、设A∈$C^{n\ast n}$，则对任意整数$\epsilon$，存在某种矩阵范数$||.|{|}_M$，使得：
$||A|{|}_M\le \rho (A)+\epsilon$.
也即此时： $\rho (A)\le ||A|{|}_M\le \rho (A)+\epsilon$.

这是几个常用的结论。