向量范数与矩阵范数（L0, L1, L2）

直观理解

在实数域中，数的大小和两个数之间的距离是通过绝对值来度量的。在解析几何中，向量的大小和两个向量之差的大小是“长度”和“距离”的概念来度量的。为了对矩阵运算进行数值分析，我们需要对向量和矩阵的“大小”引进某种度量。即范数是具有“长度”概念的函数。范数是绝对值概念的自然推广。

向量范数Vector Norm

定义
如果向量 x∈Rn 的某个实值函数f(x)=||x||满足：

1. 正定性： ||x||≥0，且||x||=0当且仅当x=0；
2. 齐次性：对任意实数 α ，都有||αx||=|α| ||x||
3. 三角不等式：对任意x,y∈Rn，都有||x+y||≤||x||+||y||

则称||x|| 为 Rn上的一个向量范数

常用向量范数
L1 范数

                        ||x||1=|x1|+|x2|+⋯+|xn|=∑in|xi|

L1 范数有很多名字，比如“稀疏规则算子”（Lasso regularization），还有曼哈顿范数(Manhattan norm)

L2范数

                      ||x||2=(|x1|2+|x2|2+⋯+|xn|2)12=∑inx2i−−−−−√

L2范数也被称为Euclidean Norm。即如果用于计算两个向量之间的不同，即是Euclidean Distance

Lp范数

                  ||x||p=(|x1|p+|x2|p+⋯+|xn|p)1p=∑inxpi−−−−−√p

L∞ 范数

               ||x||∞=max1≤i≤n|xi|

很明显L1和L2是Lp范数的特例，而且经证明，L∞ 也是Lp的特例，即

             limp→∞||x||p=||x||∞

L0范数
另外还有L0，工程界一般将L0范数定义为

       ||x||0=∑inI(xi≠0)

即向量中非零元素的数量

注意此时L0范数不满足齐次性，因此严格意义上讲L0范数并不是范数

例子
求向量x=(1,4,3,−1)T的各种常用范数

||x||0=4
||x||1=|x1|+|x2|+|x3|+|x4|=9
||x2||=12+42+32+(−1)2−−−−−−−−−−−−−−−−−√=27−−√
||x||∞=4

矩阵范数Matrix Norm

定义
如果矩阵A∈Rn×n 的某个实值函数f(X)=||A|| 满足

正定性： ||A||≥0且||A|| = 0当且仅当A=0
齐次性：对任意实数α ，都有||αA||=|α| ||A||
三角不等式：对任意A,B∈Rn×n都有 ||A+B||≤||A||+||B||
相容性：对任意A,B∈Rn×n ，都有||AB||≤||A|| ||B||

则称||A||为 Rn×n 上的一个矩阵范数

常用矩阵范数

列范数

     ||A||1=max1≤j≤n∑in|aij|

A的每列绝对值之和的最大值, 称A的列范数

行范数

      ||A||∞=max1≤i≤n∑jn|aij|

A的每行绝对值之和的最大值, 称A的行范数

L2范数

      ||A||2=λmax(ATA)−−−−−−−−−√

称 A 的 2 − 范数

其中λmax为ATA的特征值的绝对值的最大值

F-范数

     ||A||F=(∑in∑jna2ij)12

结语
谈了那么多的范数，那么L0, L1, L2中的L到底代表什么呢？其实L代表了法国数学家Henri Léon Lebesgue(昂利·莱昂·勒貝格)，另一个著名的勒贝格积分也是以他命名的。

另外想必大家见到范数最多的地方就是规则项那里了，至于每种范数对算法的作用和影响可查看Reference 3和8 ，讲得非常棒。

---