数值分析(4)-向量与矩阵的范数

4 向量与矩阵的范数

范数是用来衡量向量或者矩阵的大小的，比如初高中教育讲的向量的模也相当于范数的一种。

4.1 向量范数

4.1.1 定义与性质

向量的范数并不像模一样有唯一的计算，范数是一个笼统的概念，它是指满足下面三个条件的以n阶向量作为参数的实值函数$||.||$：

• 非负性

  对任何向量$x\in R^n$，$||x||\ge 0$，且$||x||=0$当且仅当$x=0$

• 齐次性

  对任何实数$\alpha$和向量$x\in R^n$，$||\alpha x||=|\alpha |||x||$

• 三角不等式

  对任何向量$x,y\in R^n$，$||x+y||\le ||x||+||y||$

满足条件的范数，同时还具有等价性：

对于$R^n$上的任何两种向量范数$||.|{|}_{\alpha }$和$||.|{|}_{\beta }$,存在常数$m,M$是的下面不等式成立：

$$m||x|{|}_{\beta }\le ||x|{|}_{\alpha }\le M||x|{|}_{\beta }$$

4.1.2 常用向量范数

虽然说，范数的定义说明理论上存在很多种范数，但是最常用的也就下面几种：

• 向量1-范数

$$||x|{|}_1=\sum _{i=1}^n|x_i|$$

• 向量2-范数

$$||x|{|}_2=(\sum _{i=1}^n{x}_i^2{)}^{\frac{1}{2}}$$

• 向量$\infty$-范数

$$||x|{|}_{\infty }=ma{x}_{1\le i\le n}|x_i|$$

4.1.3 向量序列收敛

类似于数列收敛，使用范数可以定义向量序列的收敛：

设向量序列$x^{(k)}=(x_1^{(k)},x_2^{(k)},...,x_n^{(k)}{)}^T,k=0,1,...,$，向量$x^{\ast }=(x_1^{\ast },x_2^{\ast },...,x_n^{\ast }{)}^T$。如果：

$$li{m}_{k\to \infty }||x^{(k)}-x^{\ast }||=0$$

则该向量序列收敛到向量$x^{\ast }$，记做$li{m}_{k\to \infty }{x}^{(k)}=x^{\ast }$或$x^{(k)}\to x^{\ast }$

4.2 矩阵范数

4.2.1 定义

矩阵范数类似向量范数，是以n阶矩阵为参数的满足下面条件的实值函数：

• $||A||\ge 0$且$||A||=0$，当且仅当$A=O$
• $||\alpha A||=|\alpha |||A||,\alpha \in R$
• $||A+B||\le ||A+B||$
• $||AB||\le ||A||||B||$

4.2.2 常用向量范数

• 矩阵1-范数 / 列范数

$$||A|{|}_1=ma{x}_{1\le j\le n}\sum _{i=1}^n|a_{ij}|$$

• 矩阵2-范数 / 谱范数

$$||A|{|}_2=(A^{T}A的最大特征值{)}^{\frac{1}{2}}$$

• 矩阵$\infty$-范数 / 行范数

$$||A||\infty =ma{x}_{1\le i\le n}\sum _{j=1}^n|a_{ij}|$$

• 矩阵算子范数

$$||A||=ma{x}_{x̸=0}\frac{||Ax||}{||x||}$$

矩阵算子范数都满足：

$$||Ax||\le ||A||||x||,\forall x\in R^n$$

通常满足上面柿子的矩阵范数都称为与向量范数相容的矩阵范数

• F-范数

$$||A|{|}_F=(\sum _{i,j=1}^n|a_{ij}{|}^2{)}^{\frac{1}{2}}$$

F范数的特殊性在于：对于任何一个算子范数，单位矩阵的范数均为1，但是F范数的值却是$\sqrt{n}$，所以F范数不是算子范数，但是他却与向量2-范数相容，也就是满足：

$$||Ax||\le ||A|{|}_F||x|{|}_2$$

4.2.3 矩阵序列收敛

类似于数列收敛，使用范数可以定义矩阵序列的收敛：

设矩阵序列$A^{(k)}=(a_{ij}^{(k)}),k=1,2,...$，矩阵$A=(a_{ij})$。如果满足下面条件：

$$li{m}_{k\to \infty }||A^{(k)}-A||=0$$

就称$\{A^{(k)}\}$收敛于$A$，记做$li{m}_{k\to \infty }{A}^{(k)}=A$或$A^{(k)}=A$

根据F范数可知：

$$||A^{(k)}-A|{|}_F=(\sum _{i,j=1}^n|a_{ij}^{(k)}-a_{ij}{)}^{\frac{1}{2}}$$

矩阵序列$A^{(k)}=A$，当且仅当$a_{ij}^{(k)}\to a_{ij},1\le i,j\le n$