范数概念以及相关推导

范数

向量范数

常见范数

• p范数(p = 1, 2, $\infty$, $\cdots$): $||x|{|}_p=(\sum _{i=1}^n|x_i{|}^p{)}^{\frac{1}{p}}$
• 0范数：向量中非0分量的个数（用来衡量稀疏度）

定义：向量范数

设$||\cdot ||$是向量空间$R^n$上的实值函数，且满足条件：

• 非负性：$||\cdot ||\ge 0$ ，且$||x||=0$当且仅当$x=0$

• 齐次性：对任何实数$\alpha$和向量$x\in R^n$ : $||\alpha x||=|\alpha |\cdot ||x||$

• 三角不等式：对任意向量$x,y\in R^n$ $||x+y||\le ||x||+||y||$

则称$||\cdot ||$为$R^n$空间上的范数，$||x||$为向量$x$的范数

定理：范数的等价性

对于$R^n$上的任何两种向量范数$||\cdot |{|}_{\alpha }$和$||\cdot |{|}_{\beta }$，存在正常数m, M，使得：

$m||x|{|}_{\beta }\le ||x|{|}_{\alpha }\le M||x|{|}_{\beta },\forall x\in R^n$

证明：

首先证明范数的连续性

将$R^n$中的向量表示为$x=\sum _{i=1}^n{x}_i{e}_i$, 其中$e_1,e_2,\cdots ,e_n$为n维单位坐标向量

$f(x)=||x|{|}_{\alpha }$由于：

$$\begin{gathered} |f(x)-f(y)|=|||x|{|}_{\alpha }-||y|{|}_{\alpha }| \\ \le ||x-y|{|}_{\alpha }=||\sum _{i=1}^n(x_i-y_i)e_i||(三角不等式) \\ \le \sum _{i=1}^n|x_i-y_i|\cdot ||e_i|{|}_{\alpha }(三角不等式，范数定义) \\ \le \sqrt{\sum _{i=1}^n|x_i-y_i{|}^2}\sqrt{\sum _{i=1}^n||e_i|{|}_{\alpha }^2}（柯西-施瓦茨不等式） \end{gathered}$$

于是：$\underset{\Delta x\to 0}{\lim }\Delta f(x)=0$, 即$f(x)$是$R^n$上的连续函数

采用$\beta$ =2来证明范数等价性

引入$R^n$中的有界闭集$S^n=\{x:||x|{|}_2=1,x\in R^n\}$

根据连续函数性质，$f(x)$在$S^n$上达到最大和最小值，即存在点$x_1,x_2\in S^n$，使得：

$0\le m=f(x_1)\le f(x)\le f(x_2)=M,\forall x\in S^n$

若$x=0$，则m，M可取任意正常数

若$x\ne 0$，则对任何$x\in R^n$，由于$\frac{||x|{|}_{\alpha }}{||x|{|}_2}\in S^n$，则有：

$0<m\le f(\frac{x}{||x|{|}_2})=\frac{||x|{|}_{\alpha }}{||x|{|}_2}\le M,\forall x\in R^n$

即$m||x|{|}_2\le ||x|{|}_{\alpha }\le M||x|{|}_2$

其他的$\beta$范数同理，从而证明了范数等价性

矩阵范数等价性的证明完全类似

范数的等价性表明：一个向量若按照某种范数是一个小量，则它按照任何一种范数也将是一个小量

常用的三种向量范数满足下述等价关系：

$||x|{|}_{\infty }\le ||x|{|}_1\le n||x|{|}_{\infty }$ (1)

$||x|{|}_{\infty }\le ||x|{|}_2\le \sqrt{n}||x|{|}_{\infty }$ (2)

$||x|{|}_2\le ||x|{|}_1\le \sqrt{n}||x|{|}_2$ (3)

(1), (2), (3)的左侧都使最简单的放缩，下面给出(3)的右侧的证明：

要证（3），即证：$||x|{|}_1^2\le n||x|{|}_2^2$

即：$(\sum _{i=1}^n{x}_i{)}^2\le n\sum _{i=1}^n{x}_i^2$

即：$n\sum _{i=1}^n{x}_i^2-(\sum _{i=1}^n{x}_i{)}^2\ge 0$

推导过程如下：
$$\begin{gathered} 由于：n\sum _{i=1}^n{x}_i^2=\sum _{i=1}^n{x}_i^2+\sum _{i\ne j}^n(x_i^2+x_j^2) \\ (\sum _{i=1}^n{x}_i{)}^2=\sum _{i=1}^n{x}_i^2+\sum _{i\ne j}^{n}2x_i{x}_j \\ 故：n\sum _{i=1}^n{x}_i^2-(\sum _{i=1}^n{x}_i{)}^2=\sum _{i\ne j}^n(x_i^2+x_j^2-2x_i{x}_j) \\ =\sum _{i\ne j}^n(x_i-x_j{)}^2\ge 0 \end{gathered}$$
于是可以证明：$||x|{|}_1\le \sqrt{n}||x|{|}_2$

定义： 向量收敛

设向量序列$x^{(k)}=(x_1^{(k)},x_2^{(k)},x_3^{(k)},\cdots ,x_n^{(k)}{)}^T,k=0,1,\cdots ,$ 向量$x^{\ast }=(x_1^{\ast },x_2^{\ast },\cdots ,x_n^{\ast }{)}^T$

如果：

$\underset{k\to \infty }{\lim }||x^{(k)}-x^{\ast }||=0$, 记作$\underset{k\to \infty }{\lim }{x}^{(k)}=x^{\ast }$, 或$x^{(k)}\to x^{\ast }$

注意，定义并没有规定具体的范数类型，因为由范数的等价性可知，当某向量的某个范数的极限为0，那么这个向量的其他范数的极限也肯定是0

由于：$||x^{(k)}-x^{\ast }|{|}_1=\sum _{i=1}^n|x^{(k)}-x^{\ast }|$

于是：向量序列收敛于某一向量，当且仅当它的每一个向量分量收敛于$x^{\ast }$的对应分量

矩阵范数

常见范数

• 矩阵的1-范数（列范数）： $||A|{|}_1=\underset{1\le j\le n}{\max }\sum _{i=1}^n|a_{ij}|$

• 矩阵的$\infty$-范数（行范数）： $||A|{|}_1=\underset{1\le i\le n}{\max }\sum _{j=1}^n|a_{ij}|$

• 矩阵的2-范数：$||A|{|}_2=(A^{T}A的最大特征值{)}^{\frac{1}{2}}$

• 矩阵的F-范数：$||A|{|}_F=(\sum _{i,j=1}^n|a_{ij}{|}^2{)}^{\frac{1}{2}}$

定义：矩阵范数

设$||\cdot ||$是以n阶矩阵为自变量的实值函数，且满足条件：

• 非负性

• 齐次性

• 三角不等式

• $||AB||\le ||A||\cdot ||B||$

则称$||A||$为矩阵A的范数

矩阵的算子范数

设$||\cdot ||$是一种向量范数，由此范数派生的矩阵算子范数定义为：

$||A||=\underset{x\ne 0}{\max }\frac{||Ax||}{||x||}$

注意：此式左端$||A||$表示矩阵范数，而右端是向量范数

算子范数的性质

• $||Ax||\le ||A||\cdot ||x||,\forall x\in R^n$ (向量算子范数与矩阵范数相容)
• $||AB||\le ||A||\cdot ||B||$ (矩阵范数定义)

算子范数性质的证明

1. 由于：$||A||=\underset{x\ne 0}{\max }\frac{||Ax||}{||x||}$

   故：$||A||\ge \underset{x\ne 0}{\max }\frac{||Ax||}{||x||}$

   于是：$||Ax||\le ||A||\cdot ||x||$

2. 由于：$||AB||=\underset{x\ne 0}{\max }\frac{||ABx||}{||x||}$

   故：$||AB||\le \underset{x\ne 0}{\max }\frac{||A||\cdot ||Bx||}{||x||}=||A||\underset{x\ne 0}{\max }\frac{||Bx||}{||x||}=||A||\cdot ||B||$

对于$p=1,2,\infty$，矩阵范数$||A|{|}_p$向量范数$||x|{|}_p$是相容的

F-范数&2-范数的一些性质

1. F-范数不是算子范数, 设I为单位阵：$||I|{|}_F=\sqrt{n}\ne \underset{x\ne 0}{\max }\frac{||Ix||}{||x||}=\frac{||x||}{||x||}=1$

2. F-范数与向量的2-范数相容，即：

   $||Ax|{|}_2\le ||A|{|}_F||x|{|}_2$

3. 矩阵的F-范数与2-范数都具有在正交变换下保持不变的性质：

   $||QA|{|}_F=||AQ|{|}_F=||A|{|}_F$

   $||QA|{|}_2=||AQ|{|}_2=||A|{|}_2$

   其中Q为正交阵

   证明：

   • F-范数：

     1. 由于正交变换不改变向量的模以及向量之间夹角，所以$||QA|{|}_F=||A|{|}_F$

     2. 由于矩阵转置不影响其F-范数的值，故：$||AQ|{|}_F=||(AQ{)}^T|{|}_F=||Q^T{A}^T|{|}_F$

        又因为正交阵的转置仍为正交阵，故：$||Q^T{A}^T|{|}_F=||A^T|{|}_F=||A|{|}_F$

   • 2-范数：

     1. $||QA|{|}_2=\sqrt{{\lambda }_{max}[(QA{)}^T(QA)]}=\sqrt{{\lambda }_{max}(A^T{Q}^{T}QA)}=\sqrt{{\lambda }_{max}(A^{T}A)}=||A|{|}_2$

     2. $||AQ|{|}_2=\sqrt{{\lambda }_{max}[(AQ{)}^T(AQ)]}=\sqrt{{\lambda }_{max}(Q^T{A}^{T}AQ)}=\sqrt{{\lambda }_{max}(Q^{-1}{A}^{T}AQ)}=\sqrt{{\lambda }_{max}(A^{T}A)}=||A|{|}_2$

        （注：$Q^{-1}{A}^{T}AQ$与$A^{T}A$相似，其特征值相同）

矩阵特征值

特征值与相容范数的性质

$|\lambda |\le ||A||$ （其中$||\cdot ||$是与向量相容的矩阵范数，$\lambda$是矩阵A的特征值）

证明：

由于：$Ax=\lambda x$

利用向量-矩阵相容性: $|\lambda |\cdot ||x||=||\lambda x||=||Ax||\le ||A||\cdot ||x||$

从而，对于A的任何特征值都有：$|\lambda |\le ||A||$

谱半径

设n阶矩阵$A$的$n$个特征值为${\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_n.$称：$\rho (A)=\underset{1\le i\le n}{\max }|{\lambda }_i|$为矩阵A的谱半径

由矩阵特征值与相容范数的性质可得：$\rho (A)\le ||A||$

同时，另一个更深刻的结果是：$\forall ϵ>0$，必存在一种相容的矩阵，使：$||A||\le \rho (A)+ϵ$

由这两个不等式可知：矩阵A的谱半径是它所有相容范数的下确界

• **性质1：**若$A\in R^{n\times n}$为对称阵，则$||A|{|}_2=\rho (A)$

• 性质2：令$||\cdot ||$为矩阵的算子范数，若$||B||<1$, 则$I\pm B$为非奇异矩阵，且$||(I\pm B{)}^{-1}||\le \frac{1}{1-||B||}$

• 证明2：

  • 用反证法：假设$I\pm B$为奇异矩阵，则$det(I\pm B)=0$, 于是$(I\pm B)x=0$存在非零解

    即：$\exists x_0,\pm B{x}_0=x_0$, 于是$\frac{||B{X}_0||}{||X_0||}=1$, 于是$||B||\ge 1$, 与题设相悖，于是 $I\pm B$为非奇异矩阵

  • 由于$(I\pm B)(I\pm B{)}^{-1}=I$, 于是：$(I\pm B{)}^{-1}=I\mp B(I\pm B{)}^{-1}$

    根据三角不等式：$||(1\pm B{)}^{-1}||\le ||I||+||B||\cdot ||(I\pm B{)}^{-1}||$

    整理得：$||(I\pm B{)}^{-1}||\le \frac{1}{1-||B||}$

定义：矩阵收敛

设矩阵序列$A^{(k)}=(a_{ij}^{(k)}),k=1,2,\cdots ,$矩阵$A=(a_{ij}).$称$\{A^{(k)}\}$收敛于$A$，如果$\underset{k\to \infty }{\lim }||A^k-A||=0$

记作：$\underset{k\to \infty }{\lim }{A}^{(k)}=A$，或者$A^{(k)}\to A.$

根据矩阵范数的等价性，定义中的范数可以是任意一种矩阵范数

由于：$||A^{(k)}-A|{|}_F=(\sum _{i,j=1}^n|a_{ij}^k-a_{ij}|{)}^{\frac{1}{2}}$

于是：矩阵序列收敛到某一矩阵，当且仅当矩阵的每一个分量都收敛到该矩阵的对应分量

线性方程组固有性态与误差分析

1. 假设解的误差来源于方程组右端项$b$, 通过推导可以得到：

   $\frac{||\Delta x||}{||x||}\le ||A^{-1}||\cdot ||A||\cdot \frac{||\Delta b||}{||b||}$

2. 假设解的误差来源于方程组的系数矩阵$A$, 通过推导可以得到：

   $\frac{||\Delta x||}{||x+\Delta x||}\le ||A^{-1}||\cdot ||A||\cdot \frac{||\Delta A||}{||A||}$

可见：这种误差产生于线性方程组的固有性态，且取决于$||A^{-1}||\cdot ||A||$的大小， 而$||A^{-1}||\cdot ||A||$也反映了方程组解对原始数据扰动的敏感程度

定义：条件数

线性方程组$Ax=b$的条件数记为：$Cond(A)=||A^{-1}||\cdot ||A||$

如果$A$为对称阵：$Con{d}_2(A)=\frac{|{\lambda }_1|}{|{\lambda }_n|}$其中${\lambda }_1，{\lambda }_n$分别是$A$的最大和最小特征值

更一般的：$Con{d}_2(A)=\sqrt{\frac{{\lambda }_{max}(A^{T}A)}{{\lambda }_{min}(A^{T}A)}}$

• 性质1：$\forall 非奇异矩阵A,Cond(A)\ge ||I||$, 如果采取一般的$1,2,\infty$范数，则：$Cond(A)\ge 1$

• 证明1：$Cond(A)=||A^{-1}||\cdot ||A||\ge ||A^{-1}A||=||I||$

• **性质2：**若$A为非奇异矩阵，$$c\ne 0,c为常数$, 则：$Cond(cA)=Cond(A)$

• 证明2： $Cond(cA)=||(cA{)}^{-1}||\cdot ||cA||=\frac{||A^{-1}||}{c}\cdot c||A||=||A^{-1}||\cdot ||A||=Cond(A)$

• **性质3：**若$A$为正交矩阵($A^{-1}=A^T$)，则$Con{d}_2(A)=1$， 若$A$为非奇异矩阵，$R$为正交矩阵，则：$Con{d}_2(RA)=Con{d}_2(AR)=Con{d}_2(A)$

• 证明3：

  • $Con{d}_2(A)=\sqrt{\frac{{\lambda }_{max}(A^{T}A)}{{\lambda }_{min}(A^{T}A)}}=1$
  • 由前面的结论：2-范数具有在正交变换下保持不变的性质，由此得证

病态方程组求解

预条件方法

• 可能矩阵病态的几点因素：

  1. 矩阵元素间数量级相差很大，并且无一定规律

  2. 矩阵行列式值相对来说很小，或某些行（或列）近似线性相关

  3. 列主元消去法求解过程中出现数量级很小的主元素

  4. 数值求解过程中，计算解$\tilde{x}$的剩余向量$r=b-A\tilde{x}$已经很小，但是$\tilde{x}$仍然不符合要求

     对于第4点的解释：设$x$为方程组$Ax=b$的精确解，$\tilde{x}$为近似解

     则: $r=b-A\tilde{x}=Ax-A\tilde{x}=A(x-\tilde{x})$

     于是：$x-\tilde{x}=A^{-1}r$

     进而：$||x-\tilde{x}||\le ||A^{-1}||\cdot ||r||$

     进而：$\frac{||x-\tilde{x}||}{||x||}\le \frac{||A^{-1}||\cdot ||r||}{||x||}=\frac{||A^{-1}||\cdot ||A||\cdot ||r||}{||A||\cdot ||x||}\le Cond(A)\cdot \frac{||r||}{||b||}$

     可见：如果矩阵是病态的，即使剩余向量$||r||$很小，其过大的条件数也会使近似解失真

• 具体思想：

  通过原方程组构建预条件方程组：$\tilde{A}\tilde{x}=\tilde{b}$

  其中：$\tilde{A}=C^{-1}AC,\tilde{x}=Cx,\tilde{b}=C^{-1}b$， 可逆矩阵$C$称为预条件矩阵

  一般矩阵$C$满足如下要求：

  a. 条件数$Cond(\tilde{A})$比$Cond(A)$有明显改善

  b. 方程组$Cz=d$容易求解

  A为正定矩阵时，可取$C=D^{\frac{1}{2}}$, $D$为$A$的对角元素构成的对角矩阵

线性方程组的迭代改善

1. 设已求得方程组$Ax=b$的近似解$x^{(1)}$, 计算剩余向量：$r^{(1)}=b-A{x}^{(1)}$
2. 解余量方程组：$Ax=r^{(1)}$, 得到解${\tilde{x}}^{(1)}$
3. 计算$x^{(1)}$的迭代改善解：$x^{(2)}=x^{(1)}+{\tilde{x}}^{(1)}$
4. 如果${\tilde{x}}^{(1)}$是精确解，则由$A(x^1+{\tilde{x}}^{(1)})=(b-r^{(1)})+r^{(1)}=b$, $x^{(2)}$是方程组的精确解
5. 如果$x^{(2)}$仍然达不到理想精度，则继续迭代，直到满足精度要求

注：1. 如果系数矩阵条件数非常大，迭代过程可能不会收敛

​ 2. 迭代过程应采用$LU$分解来减小计算量