矩阵论笔记（五）——向量范数与矩阵范数

范数是距离在向量和矩阵上的推广，在研究收敛性、判断矩阵非奇异等方面有广泛应用。

本节包括以下内容：

（1）向量范数；
（2）矩阵范数；
（3）从属范数；
（4）谱半径；
（5）矩阵的非奇异条件。

1 向量范数

从向量到实数的映射/函数。

定义

（1）条件：非负性、齐次性、三角不等式（ ∥x+y∥≤∥x∥+∥y∥ ）；
（2）敛散：向量序列 {x(k)} 收敛，即每个分量在 k→∞ 时都有极限 ξi ，否则发散。

性质

（1）连续型：可证 ∥∥x∥−∥y∥∥≤∥x−y∥ ，继而可证向量范数是其分量的连续函数；
（2）等价性：任意范数，存在 c1,c2 使 c1∥x∥b≤∥x∥a≤c2∥x∥b 成立。有限维线性空间上的不同范数是等价的；
（3）等价性的意义：向量范数大小可能不同，但在考虑向量序列收敛问题时，却表现出明显的一致性（向量序列 {x(k)} 收敛到 x 的充要条件是，对任意一种范数 序列 {∥x(k)−x∥} 收敛于零）。

常用范数

（1）p-范数（1-范数、2-范数等）：

∥x∥p=(∑i=1n|ξi|p)1/p

，也称为 lp 范数，注意元素的绝对值（或模）；
（2）无穷范数：

∥x∥∞=limp→∞∥x∥p=maxi|ξi|

；
（3）加权范数（椭圆范数）： ∥x∥A=(xTAx)1/2 ，其中 A 是任意一个对称正定矩阵。注意 PTAP=I⇒A=(PT)−1P−1=BTB⇒∥x∥A=∥B∥2 。

2 矩阵范数

从（复）矩阵到实数的映射/函数。

定义

（1）广义矩阵范数：非负性、齐次性、三角不等式 ∥A+B∥≤∥A∥+∥B∥ ；
（2）矩阵范数：除以上三条件外，满足相容性 ∥AB∥≤∥A∥∥B∥ （因此 ∥Ak∥≤∥A∥k ）。

性质

（1）判断收敛： A(k)→A 的充要条件是 ∥A(k)−A∥→0 ；
（2）连续型：可证 ∥∥A∥−∥B∥∥≤∥A−B∥ ，继而可证连续性，即 A(k)→A 可推出 ∥A(k)∥→∥A∥ （因此，当 ∥A∥→0 时， A→O ）；
（3）等价性：满足定义四条件的矩阵范数都是等价的；
（4） F− 范数的性质： ∥PA∥F=∥A_F=∥AQ∥F ，其中 P,Q 为酉矩阵。

常用范数

（1） ∥⋅∥m1 ：所有元素绝对值（模）之和 ∑i,j∥aij∥ ；
（2） ∥⋅∥m2 ：所有元素平方和开根号 (∑ij∥aij∥2)1/2)=(tr(AHA))1/2 ，等同于 ∥⋅∥F ；
（3） ∥⋅∥m∞ ：所有元素绝对值（模）最大值乘以 n ，n⋅maxi,j∥aij∥；
（4） ∥⋅∥1 ：各列元素绝对值（模）之和最大者 maxj∑mi=1∥aij∥ .
（5） ∥⋅∥2 ：最大奇异值 λ1‾‾‾√ ，其中 λ1 为 AHA 的最大特征值；
（6） ∥⋅∥∞ ：各行元素绝对值（模）之和最大者 maxi∑nj=1∥aij∥. .
（7） ∥⋅∥F ：同 ∥⋅∥m2 ，为 (∑ij∥aij∥2)1/2)=(tr(AHA))1/2 .

3 矩阵与向量范数的相容性

定义

（1）矩阵与向量范数的相容性：若 ∥Ax∥V≤∥A∥M∥x∥V (∀A∈Cm×n, ∀x∈Cn) ，则称矩阵范数 ∥⋅∥M 与向量范数 ∥⋅∥V 是相容的；
（2）构造相容范数：从属范数（由向量范数导出的矩阵范数， ∥A∥=max∥x∥=1∥Ax∥ ，也可以等价定义为 ∥A∥=maxx∥Ax∥∥x∥ ）。

定理

（1）F-范数：设 P, Q 为酉矩阵，则 ∥PA∥F=∥A∥F=∥AQ∥F ；
（2）F-范数：与 A 酉（正交）相似的矩阵的 F-范数是相同的；
（3）构造相容范数：∥A∥=max∥x∥=1∥Ax∥（ ∥⋅∥ 是同类向量范数）是矩阵范数，且与已知的向量范数相容（即 A 的值域中向量范数最大者）。

常用范数

从属范数：

（1）列和范数：∥A∥1=max∥x∥1=1∥Ax∥1=maxj∑mi=1∥aij∥（每列元素绝对值/模和最大者）；
（2）谱范数： ∥A∥1=max∥x∥1=2∥Ax∥2=λ1‾‾‾√ （其中 λ1 为 AHA 的最大特征值）；
（3）行和范数： ∥A∥∞=max∥x∥∞=1∥Ax∥∞=maxi∑nj=1∥aij∥ （每行元素绝对值/模和最大者）；
（4）Frobenius 范数（F-范数）： ∥A∥F=(∑i∑j∥aij∥2)1/2=(tr(AHA))1/2 （所有元素平方和开根号）。

4 谱半径

定义

（1）谱半径： ρ(A)=maxi∥λi∥ （注意绝对值/模）；

定理

（1）对任意矩阵范数，有 ρ(A)≤∥A∥ （证：用 ∥λx∥V=∥Ax∥M≤∥A∥∥x∥ ）；
（2） ρ(Ak)=[ρ(A)]k （证：用 P−1AP=J ）；
（3）谱范数： ∥A∥2=ρ1/2(AHA)=ρ1/2(AAH) 。当 A 是 Hermite 矩阵时，∥A∥2=ρ(A)（证： ρ(AHA)=ρ(A2)=[ρ(A)]2 ）；
（4）对任意正数 ϵ ，一定存在某种矩阵范数使得 ∥A∥M≤ρ(A)+ϵ 。

5 矩阵的非奇异条件

（1） A∈Cn×n ，若存在某种范数使 ∥A∥<1 ，则矩阵 I−A 非奇异，且 ∥(I−A)−1∥≤∥I∥1−∥A∥ ；
（2） A∈Cn×n ，若存在某种范数使 ∥A∥<1 ，则 ∥I−(I−A)−1∥≤∥A∥1−∥A∥ （ ∥A∥ 很小，即 A→O 时， I−A 与 $I$ 的逼近程度）。