范数（norm）

什么是范数（norm）？

范数(norm)是线性代数中的一个基本概念。在泛函分析中，它定义在赋范线性空间中，并满足一定的条件，即①非负性；②齐次性；③三角不等式，它常常被用来度量某个向量空间（或矩阵）中的每个向量的长度或大小。
划重点：
范数的三个特性（满足条件）：非负性、齐次性、三角不等式。
外文名：$norm$
作用：常常被用来度量某个向量空间（或矩阵）中的每个向量的长度或大小。
记号：$f(x)=\Vert x\Vert$
我们常用${\Vert x\Vert }_{symb}$表示具体范数，其中下标$symb$是区分范数的助记符号，如${\Vert x\Vert }_0$、${\Vert x\Vert }_1$、${\Vert x\Vert }_2$、${\Vert x\Vert }_{\infty }$。

范数是对向量$x$的长度的度量。我们可以用两个向量$x$和$y$的差异的长度度量它们之间的距离，即：
$$dist(x,y)=\Vert x-y\Vert$$
我们用$dist(x,y)$来表示两个向量$x$和$y$之间用范数$\Vert \cdot \Vert$表示的距离。

在线性代数中，常用到范数这个概念。对于一维空间的实数集，标准的范数就是绝对值；那么将绝对值的概念推广到多维空间就叫做范数，即范数是绝对值函数的推广。

范数和距离（或长度）的关系

我们知道距离的定义是一个宽泛的概念，只要满足非负、自反、三角不等式就可以称之为距离。范数是一种强化了的距离概念，它在定义上比距离多了一条数乘的运算法则。有时候为了便于理解，我们可以把范数当作距离来理解。

在数学上，范数包括向量范数和矩阵范数，向量范数表征向量空间中向量的大小，矩阵范数表征矩阵引起变化的大小。一种非严密的解释就是，对应向量范数，向量空间中的向量都是有大小的，这个大小如何度量，就是用范数来度量的，不同的范数都可以来度量这个大小，就好比米和尺都可以来度量远近一样；对于矩阵范数，学过线性代数，我们知道，通过运算$AX=B$，可以将向量$X$变化为$B$，矩阵范数就是来度量这个变化大小的。

这里简单地介绍以下几种向量范数的定义和含义。

L-p范数（L-p norm）

$\ell$-p范数的定义如下：
$$L_p={\Vert x\Vert }_p=\sqrt[p]{\sum _{i=1}^n|x_i{|}^p}={\left(\sum _{i=1}^n|x_i{|}^p\right)}^{1/p},i=1,2,\cdots ,n$$
${\ell }_p$范数只是一个概念上宽泛的说法。取$p=1$，就得到了${\ell }_1$范数；取$p=2$，就得到了${\ell }_2$范数（${\ell }_2$范数又称为Euclid范数，即欧几里得范数，欧几里得距离，欧式距离）。

L0范数

当$p=0$时，就是${\ell }_0$范数。${\ell }_0$范数并不是一个真正的、有意义的范数。用上面${\ell }_p$范数的定义可以得到${\ell }_0$范数的定义：
$$L_0={\Vert x\Vert }_0=\sqrt[0]{\sum _{i=1}^n|x_i{|}^0},i=1,2,\cdots ,n$$
这里就有点问题了，开0次方是什么鬼？所以不好说明${\ell }_0$范数的意义。
在通常情况下，${\ell }_0$范数主要被用来度量向量中非零元素的个数。${\ell }_0$范数定义为：
$$L_0={\Vert x\Vert }_0=\#(x_i|x_i\ne 0),i=1,2,\cdots ,n$$
即：范数${\Vert x\Vert }_0$表示向量$x$中非零元素的个数。

L1范数

当$p=1$时，就是${\ell }_1$范数。L1范数是我们经常见到的一种范数，定义如下：
$$L_1={\Vert x\Vert }_1=|x_1|+|x_2|+\cdots +|x_n|=\sum _{i=1}^n|x_i|,i=1,2,\cdots ,n$$
即：表示向量$x$中的绝对值之和。
L1范数有好多名字，例如：我们熟悉的曼哈顿距离、最小绝对误差等。使用L1范数可以度量两个向量之间的差异，如绝对误差和（Sum of Absolute Difference）:
$$SAD(x_1,x_2)=\sum _{i=1}^n|x_{1i}-x_{2i}|,i=1,2,\cdots ,n$$

L2范数

当$p=2$时，就是${\ell }_2$范数。${\ell }_2$范数是我们最常见的范数。比如欧氏距离（Euclid distance，欧几里得距离）就是一种${\ell }_2$范数。定义如下：
$$L_2={\Vert x\Vert }_2=\sqrt[]{\sum _{i=1}^n{x}_i^2},i=1,2,\cdots ,n$$
即：表示向量$x$的各元素平方和后再开方。

像L1范数一样，L2也可以度量两个向量之间的差异，如平方差和（Sum of Squared Difference）：
$$SSD(x_1,x_2)=\sqrt{\sum _{i=1}^n(x_{1i}-x_{2i}{)}^2},i=1,2,\cdots ,n$$
即差值平方和之后，再开方。

$L_{\infty }范数$

当$p=\infty$时，也就是${\ell }_{\infty }$范数。与${\ell }_0$范式一样，${\ell }_{\infty }$通常情况下表示为：
$$L_{\infty }={\Vert x\Vert }_{\infty }=max(|x_i|),i=1,2,\cdots ,n$$
它主要被用来度量向量中绝对值的最大值。

————————————————
版权声明：本文为CSDN博主「Norstc」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/a493823882/article/details/80569888