范数

一、范数的定义及意义

1、范数的定义

范数，是具有“长度”概念的函数。在线性代数、泛函分析及相关的数学领域，范数是一个函数，满足正定，齐次，三角不等式的关系就称作范数。

2、范数的意义

对于标量，我们可以很直观的比较其大小；而向量与矩阵无法像标量直接比较大小。范数就是通过将矩阵或者向量映射为可以比较大小的实数，进而去比较矩阵或者向量的大小。

• 向量的范数表示这个原有集合的大小
• 矩阵的范数表示这个变化过程的大小的一个度量

二、向量范数（均以向量$x$举例）

• 0范数：向量中非零元素个数，记作$||x|{|}_0$
• 1范数：向量中所有元素绝对值之和，记作$||x|{|}_1$
  $$||x|{|}_1=\sum _{i=1}^N|x_i|$$
• 2范数：所有元素绝对值平方和再开平方，即欧几里得范数，记作$||x|{|}_2$，也可以省略下标，记作$||x||$，实际上也就是向量的模长。
  $$||x|{|}_2=\sqrt{\sum _{i=1}^N{x}_i^2}$$
• $p$范数：向量中元素绝对值的$p$次方之和的$1/p$次幂，记作$||x|{|}_p$
  $$||x|{|}_p=(\sum _{i=1}^N|x_i{|}^p{)}^{\frac{1}{p}}$$
• $\infty$范数：向量中所有元素绝对值中的最大值，记作$||x|{|}_{\infty }$
  $$||x|{|}_{\infty }=\underset{i}{\max }|x_i|$$
• $-\infty$范数：向量中所有元素绝对值中的最大值，记作$||x|{|}_{-\infty }$
  $$||x|{|}_{-\infty }=\underset{i}{\min }|x_i|$$

三、矩阵范数（以大小为$m\times n$矩阵A为例）

• 1范数：又称列范数，列和范数，是矩阵中所有列向量绝对值之和的最大值，记作$||A|{|}_1$
  $$|A|{|}_1=\underset{j}{\max }\sum _{i=1}^m|a_{i,j}|$$
• 2范数：又称谱范数，是$A^{T}A$最大特征值再开平方，记作$||A|{|}_2$
  $$|A|{|}_2=\sqrt{{\lambda }_{\max }}$$
  其中${\lambda }_{\max }$是$A^{T}A$最大特征值
• $\infty$范数：又称行范数，行和范数，矩阵中行向量绝对值之和的最大值，记作$||A|{|}_{\infty }$
  $$||A|{|}_{\infty }=\underset{i}{\max }\sum _{j=1}^n|a_{i,j}|$$
• $F$范数，矩阵所有元素绝对值的平方和再开平方，记作$||A|{|}_F$
  $$||A|{|}_F={\left(\sum _{i=1}^m\sum _{j=1}^n|a_{i,j}{|}^2\right)}^{\frac{1}{2}}$$
• 核范数，矩阵所有奇异值之和，记作$||A|{|}_{\ast }$
  $$|A|{|}_{\ast }=\sum _{i=1}^n{\lambda }_i$$其中，${\lambda }_i$是矩阵$A$的奇异值

四、范数的$n$次方

这种情况一般省去了（），如$p$范数的$n$次方记作：
$$|x|{|}_p^n$$
实际上就是：
$$(||x|{|}_p{)}^n$$