范数,是具有“长度”概念的函数。
在线性代数、泛函分析及相关的数学领域,范数是一个函数,是矢量空间内的所有矢量赋予非零的正长度或大小。
我们知道距离的定义是一个宽泛的概念,只要满足非负、自反、三角不等式就可以称之为距离。范数是一种强化了的距离概念,它在定义上比距离多了一条数乘的运算法则。有时候为了便于理解,我们可以把范数当作距离来理解。
在数学上,范数包括向量范数和矩阵范数,向量范数表征向量空间中向量的大小,矩阵范数表征矩阵引起变化的大小。一种非严密的解释就是,对应向量范数,向量空间中的向量都是有大小的,这个大小如何度量,就是用范数来度量的,不同的范数都可以来度量这个大小,就好比米和尺都可以来度量远近一样;对于矩阵范数,学过线性代数,我们知道,通过运算 AX = B,可以将向量 X 变化为 B,矩阵范数就是来度量这个变化大小的。
这里简单地介绍以下几种向量范数和矩阵范数定义和含义。
P-范数(向量元素绝对值的 p 次幂加和之后,开 p 次方根)norm(x, p)
在三维空间中绘制范数图形,如下:
根据上图 p 的取值不同,p-范数图形有着不同的变化,一个经典的有关 p-范数示意图,如下:
上图表示了 p 从无穷到 0 变化时,三维空间中到原点的距离(范数)为 1 的点构成的图形的变化情况。以常见的 2-范数(p = 2)为例,此时的范数也即欧氏距离,空间中到原点的欧氏距离为 1 的点构成了一个球面。一般没加下标的范数,是省略了下标 2,代表的意思为求向量模长。
∞-范数(所有向量元素绝对值中的最大值)norm(x, inf)
-∞-范数(所有向量元素绝对值中的最小值)norm(x, -inf)
1-范数(列和范数,A 每一列元素绝对值之和的最大值)norm(A, 1)
2-范数(谱范数,A’A 矩阵的最大特征值的平方根)norm(A, 2)
∞-范数(行和范数,A 每一行元素绝对值之和的最大值)norm(A, inf)
F-范数(Frobenius 范数,矩阵元素的平方和再开方)norm(A, ‘fro’)
SVD 应用中,F-范数与奇异值分解 A = UΣV 联系,A 的 F-范数为 Σ 的 F-范数,即奇异值平方加和再开根号。此外,矩阵的近似最优中,若 r(X) < r(A),则 A - X 的 F-范数,即各自 Σ 的 F-范数之差。
对文章内容有不解,请随时留言。