矩阵论-范数理论及其应用

本系列博文主要总结学习矩阵论的心得笔记，参考数目《矩阵论》–张凯院；整个文章的整理体系参照行书过程。

范数–非负实数，用于衡量线性空间元素（如：向量，矩阵）的大小。凡是满足范数定义三个性质的 实值映射 都可以定义一种范数。最常见的范数：向量的2范数–用于计度量向量的欧式长度。

2.1向量范数及其性质

–>开篇 向量空间 $R^n$ 中的 向量序列 $\{x^{(k)}\}$ 当 $k->\infty$ 时 每个分量都收敛于一个特定的值，则向量序列$\{x^{(k)}\}$收敛$x$。差值向量$\{x^{(k)}-x\}$在 $k->\infty$ ,应当收敛于零向量。

2.1.1向量范数的定义
$V$是数域$K$上的线性空间（线性空间：满足一定性质的集合），对于任意的$x\in V$，如果一个实值函数$||x||$满足下面三个性质，就说这个实值函数定义了一种向量范数。
1.非负性：当$x̸=0时，||x||>0,x=0时,||x||=0$
2.其次性：$||ax||=|a|||x||,(a\in Kx\in V)$
3.三角不等式：$||x+y||<=||x||+||y||$

要证明一个函数是否定义了一种范数，只要验证是否满足上面三个条件就可以了。

2.1.2性质3可以推导出：三角形任意两边的长度只差 < 第三边的长度:
$$|||x||-||y|||<=||x-y||$$

结合性质3，将用-y代替y,有
$$|||x||-||y|||<=||x+y||<=||x||+||y||$$

2.1.3常见的三种向量范数的定义：
1.向量的1范数：$||x||=\sum |x_i|$×××××××××××××××××元素的绝对值的和
2.向量的2范数：$||x||=(\sum x_i^2{)}^{\frac{1}{2}}$ ××××××××××××××元素平方和，再开方，最熟悉的欧式距离
3.向量的$\infty$范数：$||x||=\underset{i}{\max }|x_i|$ ×××××××××××××最大绝对值元素

对于三个定义，不难分别验证满足三条性质，即定义了三个范数。实际上，可以定义无限多种范数。

更一般的 $p$范数的定义（上面三个范数都是p范数的特例）：
$$||x|{|}_p=(\sum |x_i{|}^p{)}^{\frac{1}{p}}$$

2.1.4简单的 范数理解：在二维空间中两个点之间的距离度量方式可以为（1）两个点之间的欧氏距离–直线距离–2范数、（2）两个点之间的直角边和距离–1范数、（3）两个点之间最长直角边距离–无穷范数。

还可能会用到的范数：向量的椭圆范数、函数的积分范数P82

2.1.5向量范数的等价性：有限维线性空间的不同范数是等价的。如果向量序列对于某一范数下是收敛的，那么在其他范数下也是收敛的。

2.2矩阵范数

2.2.1 矩阵范数定义
->定义：$A\in C^{m\ast n}$，一个实值函数$||A||$ 满足以下三个条件，则定义了一个 广义矩阵范数。
1.非负性：当$A̸=O时,||A||>0;当A=O,||A||=0$
2.其次性：$||\alpha A||=|\alpha |||A||,(\alpha \in C)$
3,三角不等式：$||A+B||<||A||+||B||(B\in C^{m\ast n})$

在定义矩阵模时，考虑矩阵乘法 因素，就能够定义更常用的矩阵范数，同时满足4个的条件的实值映射$||A||$为$A$的 矩阵范数。
4 相容性：$||AB||<=||A||\ast ||B||$

->矩阵序列极限：当$A^k->A$，会有$||A^k||->||A||$

2.2.2 矩阵F-范数

相容定义：$C^{m\ast n}$上矩阵范数$||\ast |{|}_M$ 和 $C^m与C^n$的同类向量范数$||\ast |{|}_V$ 相容，当且仅当满足下式子：
$$||Ax|{|}_V<=||A_M||\times ||x|{|}_V$$

矩阵范数 与 向量范数 的 相容性=》 矩阵F-范数（各个元素平方和，再开方）

$$||A|{|}_F=(\sum _{i=1}^m\sum _{j=1}^n|a_{ij}{|}^2{)}^{\frac{1}{2}}=(tr(A^{H}A){)}^{\frac{1}{2}}$$

以上矩阵范数与向量2范数相容：首先要证明是一个矩阵范数(满足矩阵定义4条性质)，其次再证明与向量2范数相容。

依据酉矩阵与F-范数的关系，有推论：和A酉相似的矩阵，其F-范数是相同的。

2.2.3 向量范数 诱导 矩阵范数

$$||A||=\underset{||x||=1}{\max }||Ax||$$

右边向量范数形式 定义 左式的矩阵范数的形式，对应为：矩阵-1范数，2-范数，无穷-范数。

证明上式定义了一个矩阵范数：有向量范数是其分量的连续函数的性质可知，对于每一个A而言，这个最大值都是可以达到的。也就是说能找到这样一个向量$x_0$满足$||x_0||=1$使得$||A{x}_0||$最大。(p89证明4条性质成立)

方阵 的 诱导矩阵范数 =1，但是方阵的 其他矩阵范数>=1

由定义式导出三种矩阵范数的具体形式：
矩阵1范数-列和范数：$||A|{|}_1=\underset{j}{\max }{\sum }_{i=1}^m|a_{ij}|$

矩阵2范数-谱范数：$||A|{|}_2={\sqrt{\lambda }}_1({\lambda }_1是A^{H}A的最大特征值)$

矩阵无穷范数-行和范数：$||A|{|}_{\infty }=\underset{i}{\max }{\sum }_{j=1}^n|a_{ij}|$

2.2.4范数的一些应用
1.矩阵的谱半径 <= 矩阵范数(任意)

矩阵的谱半径(矩阵最大特征值 取绝对值)
$$\rho (A)=\underset{i}{\max }|{\lambda }_i|$$

$$\rho (A)<=||A||$$

2.矩阵可逆条件:如果矩阵A的某种范数$||A||<1$，则矩阵$I-A$可逆:
$$||(I-A{)}^{-1}||<=\frac{||I||}{1-||A||}$$

当A接近于$O$矩阵时$I与(I-A{)}^{-1}$的逼近程度有一个公式：p93

3.逆矩阵的摄动–矩阵存在扰动A 与 原矩阵 两个矩阵逆矩阵之间的关系。
矩阵的条件数：$cond(A)=||A||\times ||A^{-}1||$
一般来说，矩阵的条件数越大，扰动矩阵的逆 与 原矩阵的逆 之间的差距越大。