矩阵篇（一）-- 向量范数与矩阵范数的认识

        最近学习了矩阵论，对范数相关知识进行了学习，而之前只是在论文和计算方法里提到1-范数、2-范数、$\infty$范数，下面我会从范数的定义，性质，以及范数的用途进行总结。

1 范数的物理意义

        我们可以从函数、几何、矩阵的角度去理解，几何是函数形象表达，函数是几何抽象描述，几何研究“形”，函数研究“数”，函数与几何图形往往是有对应的关系。函数图像联系了函数和几何，表达了两个数之间的变化关系，函数是几何图像的数学概括，而几何图像是函数的高度形象化，比如一个函数对应几何空间上若干点组成的图形。

        但当函数与几何超出三维空间时，就难以获得较好的想象，于是就有了映射的概念，映射表达的就是一个集合通过某种关系转为另外一个集合。数学书一般会先说映射，然后再讨论函数，这是因为函数是映射的一个特例。映射推广了函数的概念，使得自变量不再仅仅局限于一个数，也不再局限于一维，任何事物都可以拿来作映射，维数可以是任意维，传统的函数图象已无法直观地表达高维对象之间的映射关系，这就要求我们在观念中，把三维的几何空间推广到抽象的 $n$ 维空间。

        由于映射的对象可以是任何事物，为了便于研究映射的性质以及数学表达，我们首先需要对映射的对象进行“量化”，取定一组“基”，确定事物在这组基下的坐标，事物同构于我们所熟悉的抽象几何空间中的点，事物的映射可以理解为从一个空间中的点到另一个空间的点的映射，而映射本身也是事物，自然也可以抽象为映射空间中的一个点，这就是泛函中需要研究的对象——函数。

        从一个线性空间到另一个线性空间的线性映射，可以用一个矩阵来表达，矩阵被看线性作映射，线性映射的性质可以通过研究矩阵的性质来获得。这里的矩阵就是表征上述空间映射的线性关系。于是，我们可以这样理解，一个集合（向量），通过一种映射关系（矩阵），得到另外一个集合（另外一个向量）。

        矩阵的秩反映了线性映射值域空间的维数，可逆矩阵反映了线性映射的可逆，而矩阵的范数反映了线性映射把一个向量映射为另一个向量，向量的“长度”缩放的比例。换言之，向量的范数，就是表示这个原有集合的大小；而矩阵的范数，就是表示这个变化过程的大小的一个度量。

        范数是把一个事物映射到非负实数，且满足非负性、齐次性、三角不等式，符合以上定义的都可以称之为范数，所以，范数的具体形式有很多种（由内积定义可以导出范数，范数还也可以有其他定义，或其他方式导出）。在数学上，范数包括向量范数和矩阵范数。向量范数表征向量空间中向量的大小，矩阵范数表征矩阵引起变化的大小。简单的的解释就是，对应向量范数，向量空间中的向量都是有大小的，这个大小如何度量，就是用范数来度量的，不同的范数都可以来度量这个大小，可以简单形象地理解为向量的长度，或者向量到零点的距离，或者相应两个点的距离；对于矩阵范数，反映了线性映射把一个向量映射为另一个向量，向量的“长度”缩放的比例。

        声明：以上内容是对CSDN博主「jizhihang2000」的文章：范数的物理意义 的简单总结和补充。

---

2 向量范数

2.1 定义与性质

1. 定义
        设 $V$ 是数域 $K$ 上的线性空间，对于 $V$ 的任意向量 $xx$，对应着一个实值函数 $\left|\left|xx\right|\right|$，它满足以下3个条件：
（1）正定性：当 $xx\ne 00$ 时，$\left|\left|xx\right|\right|>0$；当且仅当 $xx=00$ 时，$\left|\left|xx\right|\right|=0$；
（2）齐次性：$\left|\left|kxx\right|\right|=\left|k\right|\left|\left|xx\right|\right|，k\in K$；
（3）三角不等式：$\left|\left|xx+yy\right|\right|=\left|\left|xx\right|\right|+\left|\left|yy\right|\right|，xx,yy\in V$。
        则称 $\left|\left|xx\right|\right|$ 为 $V$ 上向量 $xx$ 的范数(norm)。

2. 性质
        向量范数的等价性： 设${\left|\left|xx\right|\right|}_{\alpha }$和${\left|\left|xx\right|\right|}_{\beta }$为有限维线性空间 $V$ 的任意两种向量范数(它们不限于 $p-$范数)，则存在两个与向量 $xx$ 无关的正常数$c_1$和$c_2$，使满足：
$$c_1{\left|\left|xx\right|\right|}_{\beta }\le {\left|\left|xx\right|\right|}_{\alpha }\le c_2{\left|\left|xx\right|\right|}_{\beta }\text{\hspace{1em}(2-1)}$$

        特殊的范数关系式：
$$\begin{gathered} {\left|\left|xx\right|\right|}_2\le {\left|\left|xx\right|\right|}_1\le \sqrt{n}{\left|\left|xx\right|\right|}_2 \\ {\left|\left|xx\right|\right|}_{\infty }\le {\left|\left|xx\right|\right|}_2\le \sqrt{n}{\left|\left|xx\right|\right|}_{\infty } \\ {\left|\left|xx\right|\right|}_{\infty }\le {\left|\left|xx\right|\right|}_1\le n{\left|\left|xx\right|\right|}_{\infty } \\ {\left|\left|xx\right|\right|}_{\infty }\le {\left|\left|xx\right|\right|}_2\le n{\left|\left|xx\right|\right|}_1\text{\hspace{1em}(2-2)} \end{gathered}$$

2.2 范数的分类

        设 $xx=(x_1,x_2,\cdots ,x_n{)}^T\in {\mathbb{R}}^n$，则有以下常用范数：

2.2.1 从范数的定义出发

1. $l_p$范数
        $l_p$ 范数不是一个范数，而是一组范数，其定义如下：
$$l_p=\Vert xx{\Vert }_p=(\sum _{i=1}^n{\left|x_i\right|}^p{)}^{1/p}p\ge 1\text{\hspace{1em}(2-3)}$$
        随着$p$的变化，范数也有着不同的变化，如下图为$p$从无穷到0变化的时候，三维空间中到原点的距离（范数）为1的点构成的图形的变化情况。

2. $l_0$范数
        当 $p=0$ 时，也就是 $l_0$范数，由上面的定义可知，$l_0$范数并不是一个真正的范数，它主要被用来度量向量中非零元素的个数。用上面的 $l_p$范数定义可以得到的 $l_0$范数的定义为：

KaTeX parse error: Got group of unknown type: 'internal'

        上面的公式可能会让我们疑惑，因为非零元素的零次方等于1，但非零数开零次方是什么含义呢，其实是0的指数和平方根严格意义上是受限条件下才成立的。因此在实际应用中，多数人给出下面的替代定义：

$${\left|\left|xx\right|\right|}_0=\#\left(i\right)with{x}_i\ne 0\text{\hspace{1em}(2-5)}$$

        其表示向量中所有非零元素的个数。如果我们使用$l_0$范数来规则化参数向量$xx$，就是希望$xx$的元素大部分都为零。$l_0$范数的这个属性，使得其非常适合机器学习中稀疏编码。在特征选择中，通过最小化 $l_0$范数，来寻找最少最优的稀疏特征项。但不幸的是，$l_0$范数的最小化问题在实际应用中是NP问题。而$l_1$范数是$l_0$范数的最优凸近似，它比$l_0$范数要更容易求解。因此，优化过程将会被转换为更高维的范数（例如$l_1$范数）问题。

3. $l_1$范数
        $l_1$范数为向量 $xx$ 各个元素绝对值之和，即：
$${\left|\left|xx\right|\right|}_1=\sum _{i=1}^n\left|x_i\right|\text{\hspace{1em}(2-6)}$$

        由于$l_1$范数的天然性质，对$l_1$优化的解是一个稀疏解，因此$l_1$范数也被叫做稀疏规则算子。通过$l_1$可以实现特征的稀疏，去掉一些没有信息的特征。

4. $l_2$范数
        范数中最常见的就是 $l_2$范数，$l_2$范数又称Euclidean范数或者Frobenius范数，为向量 $xx$ 各个元素平方和的1/2次方，即：
$${\left|\left|xx\right|\right|}_2=\sqrt{\sum _{i=1}^n{x}_i^2}\text{\hspace{1em}(2-7)}$$

        $l_2$范数通常会被用来做优化目标函数的正则化项，防止模型为了迎合训练集而过于复杂造成过拟合的情况，从而提高模型的泛化能力。

5. $l_{\infty }$范数

KaTeX parse error: Got group of unknown type: 'internal'
        上面的式子看起来比较复杂，下面进行简单的数学变换，假设 $x_j$是向量中最大的元素，则根据无限大的特性，我们可以得到：
$$x_j^{\infty }>>x_i^{\infty }\wedge j\ne i\text{\hspace{1em}(2-9)}$$
        则可知
$$\sum _{i=1}^n{x}_i^{\infty }=x_j^{\infty }\text{\hspace{1em}(2-10)}$$
        于是可以得到：
KaTeX parse error: Got group of unknown type: 'internal'

        因此，我们可以说 $l_{\infty }$范数是向量中最大元素的长度。

$${\left|\left|xx\right|\right|}_{\infty }=\max \left(\left|x_j\right|\right)\text{\hspace{1em}(2-12)}$$

6. 椭圆范数
        设$A$是任意一个$n$阶实对称正定矩阵，列向量 $x\in {\mathbb{R}}^n$，则函数
$${\left|\left|xx\right|\right|}_A=(x^{T}Ax{)}^{1/2}\text{\hspace{1em}(2-13)}$$
        是一种向量函数，称为加权范数或椭圆范数。

2.2.2 从距离的定义出发

        给定一个集合$V$，在$V$上定义一种新的运算：距离：$V\times V\to \mathbb{R}，\forall x,y\in V$，在 $\mathbb{R}$ 中都有唯一的元素$\delta$与之对应，称为$x,y$之间的距离，满足的条件如下：
（1）非负性：$d(x,y)=0\iff x=y$
（2）三角不等式：$d(x,y)⩽d(x,y)+d(y,z)$
（3）自反性：$d(x,y)=d(y,x)$

1. 闵可夫斯基距离(Minkowski Distance)——对应$l_p$范数

        闵氏距离不是一种距离，而是一组距离的定义。闵氏距离的定义：两个$n$维向量（或者两个$n$维空间点）$x_1{x}_1(x_{11},x_{12},\cdots ,x_{1n})$与 $x_2{x}_2(x_{21},x_{22},\cdots ,x_{2n})$ 间的闵可夫斯基距离定义为：
$$d(x_1{x}_1,x_2{x}_2)=\sqrt[p]{\sum _{k=1}^n{|x_{1k}-x_{2k}|}^p}\text{\hspace{1em}(2-14)}$$
        其中 $p$ 是一个变参数。当 $p=1$ 时，就是曼哈顿距离；当 $p=2$ 时，就是欧氏距离；当 $p\to \infty$ 时，就是切比雪夫距离。根据变参数的不同，闵氏距离可以表示一类的距离。

2. 曼哈顿距离(Manhattan Distance)——对应$l_1$范数

        曼哈顿距离是在欧几里得空间的固定直角坐标系上两点所形成的线段对轴产生的投影的距离总和。需要注意的是，曼哈顿距离依赖座标系统的转度，而非系统在座标轴上的平移或映射。
        曼哈顿距离的定义：两个$n$维向量（或者两个$n$维空间点）$x_1{x}_1(x_{11},x_{12},\cdots ,x_{1n})$与 $x_2{x}_2(x_{21},x_{22},\cdots ,x_{2n})$ 间的曼哈顿距离定义为：
$$d(x_1{x}_1,x_2{x}_2)=\sum _{k=1}^n|x_{1k}-x_{2k}|\text{\hspace{1em}(2-15)}$$

3. 欧式距离(Euclidean Distance)——对应$l_2$范数

        欧氏距离即两点之间或多点之间的距离表示法，又称之为欧几里得度量，它定义于欧几里得空间中。$n$维空间中两个点$x_1{x}_1(x_{11},x_{12},\cdots ,x_{1n})$与 $x_2{x}_2(x_{21},x_{22},\cdots ,x_{2n})$间的欧氏距离：
$$d(x_1{x}_1,x_2{x}_2)=\sqrt{\sum _{k=1}^n{(x_{1k}-x_{2k})}^2}\text{\hspace{1em}(2-16)}$$
        也可以用向量的运算形式表示出来：
$$d(x_1{x}_1,x_2{x}_2)=\sqrt{(x_1{x}_1-x_2{x}_2)(x_1{x}_1-x_2{x}_2{)}^T}\text{\hspace{1em}(2-17)}$$

4. 切比雪夫距离————对应$l_{\infty }$范数
        若两个向量或两个点 $x_1{x}_1$ 和 $x_2{x}_2$，其坐标分别为$x_1{x}_1(x_{11},x_{12},\cdots ,x_{1n})$与 $x_2{x}_2(x_{21},x_{22},\cdots ,x_{2n})$，则二者的切比雪夫距离为：
$$d(x_1{x}_1,x_2{x}_2)=\underset{k}{\max }|x_{1k}-x_{2k}|\text{\hspace{1em}(2-18)}$$
        上述表达式有下面的等价形式：
$$d(x_1{x}_1,x_2{x}_2)=\underset{k\to \infty }{\lim }(\sum _{k=1}^n|x_{1k}-x_{2k}{|}^k{)}^{1/k}\text{\hspace{1em}(2-19)}$$

        因此切比雪夫距离也称为$l_{\infty }$度量。

        小结： 由上面的对比我们可以看出来，距离的定义是一个宽泛的概念，只要满足非负、自反、三角不等式就可以称之为距离。范数是一种强化了的距离概念，它在定义上比距离多了一条数乘的运算法则。有时候为了便于理解，我们可以把范数当作距离来理解。

---

3 矩阵范数

        矩阵范数主要有三种类型：算子范数（我们经常接触的）、元素形式范数和Schatten范数。

3.1 定义

1. 定义
        对于 $m\times n$ 复矩阵空间 ${\mathbb{C}}^{m\times n}$，我们也希望定义一个长度衡量矩阵的大小，定义距离比较两个矩阵之间的接近程度，由此我们引进了矩阵范数。
        设 $AA\in {\mathbb{C}}^{m\times n}$，定义一个实值函数 $\left|\left|A\right|\right|$，满足下面的条件：
（1）正定性：$\forall AA\in {\mathbb{C}}^{m\times n}$，当 $AA\ne 0$ 时，$\left|\left|AA\right|\right|>0$；当且仅当 $AA=0$ 时，$\left|\left|AA\right|\right|=0$；
（2）齐次性：$\forall AA\in {\mathbb{C}}^{m\times n},\forall \alpha \in \mathbb{C}$，有$\Vert \alpha AA\Vert =|\alpha |\cdot \Vert AA\Vert$
（3）三角不等式：$\forall AA,BB\in {\mathbb{C}}^{m\times n}$ $\Vert AA+BB\Vert \le \Vert AA\Vert +\Vert BB\Vert$
（4）乘法相容性：$\forall AA,BB\in {\mathbb{C}}^{m\times n}$有 $\Vert ABAB\Vert \le \Vert AA\Vert \Vert BB\Vert$
        则称 $\left|\left|AA\right|\right|$ 为 $AA$ 的矩阵范数。

2. 相容性

        在计算中经常出现矩阵和向量的乘积，希望矩阵范数和向量范数间有某种协调性，于是提出了矩阵范数和向量范数的相容性：
        设 $\Vert \cdot {\Vert }_p$ 是 ${\mathbb{C}}^n$ 上的向量范数，$\Vert \ast {\Vert }_m$ 是 ${\mathbb{C}}^{m\times n}$ 上的矩阵范数，且
$$\Vert AxAx{\Vert }_p\le \Vert AA{\Vert }_m\Vert xx{\Vert }_p\text{\hspace{1em}(3-1)}$$
        则称 $\Vert \ast {\Vert }_m$ 为与向量范数 $\Vert \cdot {\Vert }_p$ 相容的矩阵范数。
        注：不是所有的矩阵范数都与向量范数相容，只有满足该条件的矩阵范数才与向量范数是相容的。

3.2 算子范数

        在介绍该范数之前，需要先了解矩阵的算子范数（诱导范数），矩阵的算子范数，是由向量范数导出的。

        设 $\Vert xx{\Vert }_p$ 是 ${\mathbb{C}}^n$上的向量范数，$AA\in {\mathbb{C}}^{m\times n}$，则
$$\Vert xx{\Vert }_p\stackrel{def}{=}\underset{\mathbf{x}\ne 0}{\max }\frac{\Vert AxAx{\Vert }_p}{\Vert \mathbf{x}{\Vert }_p}(=\underset{\Vert \mathbf{x}{\Vert }_p=1}{\max }\Vert AxAx{\Vert }_p)\text{\hspace{1em}(3-2)}$$
        是与向量范数 $\Vert \mathbf{x}{\Vert }_p$相容的矩阵范数。称此矩阵范数为从属于向量范数 $\Vert \mathbf{x}\Vert$ 的算子范数。

        从线性变换的角度理解该范数：矩阵 $AA$ 作用于向量 $\mathbf{x}$，相当于对向量$\mathbf{x}$施加了一次线性变换，（向量 $xx$ 的算子范数 $\Vert \mathbf{x}{\Vert }_p$ 相当于该向量长度的一种度量方式）则向量线性变换前后的长度之比为 $\Vert AxAx{\Vert }_p/\Vert xx{\Vert }_p$，亦即线性变换 $\mathbf{Ax}$ 相对于 $\mathbf{x}$ 的放大倍数。因此，矩阵 $\mathbf{A}$ 的算子范数是由 $\mathbf{A}$ 产生的最大放大倍数。

（1）列和范数（$p=1$）
$$||\mathbf{A}|{|}_1=\underset{\mathbf{x}\ne 0}{\max }\frac{\Vert \mathbf{Ax}{\Vert }_1}{\Vert \mathbf{x}{\Vert }_1}=\underset{1\le j\le n}{\max }\sum _{i=1}^m|a_{i,j}|\text{\hspace{1em}(3-3)}$$
        即矩阵的各列元素绝对值之和的最大值（最大绝对列和）。

（2）谱范数（$p=2$）
$$||\mathbf{A}|{|}_2=\underset{\mathbf{x}\ne 0}{\max }\frac{\Vert \mathbf{Ax}{\Vert }_2}{\Vert \mathbf{x}{\Vert }_2}=\sqrt{{\lambda }_{}max({\mathbf{A}}^H\mathbf{A})}=\sqrt{\underset{1\le i\le n}{\max }|{\lambda }_i|}，其中{\lambda }_i为{\mathbf{A}}^H\mathbf{A}的特征值\text{\hspace{1em}(3-4)}$$
        即矩阵 $\mathbf{A}$ 的最大奇异值。（这里的${\mathbf{A}}^H$代表$\mathbf{A}$的共轭转置）

（3）行和范数（$p=\infty$）
$$||\mathbf{A}|{|}_{\infty }=\underset{\mathbf{x}\ne 0}{\max }\frac{\Vert \mathbf{Ax}{\Vert }_{\infty }}{\Vert \mathbf{x}{\Vert }_{\infty }}=\underset{1\le i\le m}{\max }\sum _{j=1}^n|a_{i,j}|\text{\hspace{1em}(3-5)}$$
        即矩阵的各行元素绝对值之和的最大值（最大绝对行和）。

3.3 元素形式范数

        将 $m\times n$ 矩阵先按照列堆栈的形式，排列成一个 $mn\times 1$ 向量，然后采用向量的范数定义，即得到矩阵的范数。由于这类范数是使用矩阵的元素表示的，故称为元素形式范数。定义如下：
$${\left|\left|\mathbf{A}\right|\right|}_p\stackrel{def}{=}{\left(\sum _{i=1}^m\sum _{j=1}^n{\left|a_{ij}\right|}^p\right)}^{1/p}\text{\hspace{1em}(3-6)}$$
        最常用的元素形式范数是 $p=1,2,\infty$ 三种情况：
（1）$l_1$范数（和范数）（$p=1$）
$${\left|\left|AA\right|\right|}_1=\sum _{i=1}^m\sum _{j=1}^n\left|a_{ij}\right|\text{\hspace{1em}(3-7)}$$
（2）Frobenius范数（F-范数）（$p=2$）
$$||AA|{|}_F=\sqrt{\left(\sum _{i=1}^m\sum _{j=1}^n|a_{i,j}{|}^2\right)}=\sqrt{tr({AA}^{H}AA)}\text{\hspace{1em}(3-8)}$$
        即矩阵的各个元素平方之和再开平方根。
        矩阵的Frobenius范数有时也称Euclidean范数、 Schur范数、Hilbert-Schmidt范数或者$l_2$范数。
（3）最大范数（max norm）（$p=\infty$）
$${\left|\left|AA\right|\right|}_p=max\left\{\left|a_{ij}\right|\right\},i=1,\cdot \cdot \cdot ,m;j=1,\cdot \cdot \cdot ,n\text{\hspace{1em}(3-9)}$$

3.4 Schatten范数

        Schatten范数是用矩阵的奇异值定义的范数。在介绍 Schatten 范数之前，有必要先来简单了解一下酉不变范数的概念：
        若 $UU\in {\mathbb{C}}^{m\times m}$ 和 $VV\in {\mathbb{C}}^{n\times n}$是两个酉矩阵，满足 $\left|\left|AA\right|\right|=\left|\left|UAVUAV\right|\right|$ 的范数称为酉不变范数。令矩阵 $AA\in {\mathbb{C}}^{m\times n}$ 有奇异值分解 $AA=UU\Sigma {VV}^H$ 。显然，$\left|\left|AA\right|\right|=\left|\left|{UU}^{H}AVAV\right|\right|=\left|\left|\Sigma \right|\right|$ 是一酉不变范数。令：
$$\sigma \sigma =[{\sigma }_i,\cdot \cdot \cdot ,{\sigma }_k{]}^T,k=min\left\{m,n\right\}\text{\hspace{1em}(3-10)}$$
        表示矩阵 ${AA}_{m\times n}$ 的全部奇异值组成的向量，则 Schatten-p范数定义如下：
$${\left|\left|AA\right|\right|}_p\stackrel{def}{=}{\left|\left|\sigma \sigma \right|\right|}_p=(\sum _{i=1}^{min\left\{m,n\right\}}{\sigma }_i^p{)}^{1/p}\text{\hspace{1em}(3-11)}$$
        最常用的Schatten范数是 $p=1,2,\infty$ 三种情况：
（1）$p=1$ 时的Schatten范数称为核范数（nuclear norm），定义为——矩阵的所有奇异值之和
$${\left|\left|AA\right|\right|}_{\ast }=\sum _{i=1}^{min\left\{m,n\right\}}{\sigma }_i=tr(\sqrt{{AA}^{H}AA})\text{\hspace{1em}(3-12)}$$
        即矩阵的奇异值（将矩阵SVD分解）之和，这个范数可以用来低秩表示（因为最小化核范数，相当于最小化矩阵的秩——低秩）。
（2）$p=2$ 时的Schatten范数与 Frobenius范数等价
$${\left|\left|AA\right|\right|}_2={\left|\left|AA\right|\right|}_F=\sqrt{\sum _{i=1}^{min\left\{m,n\right\}}{\sigma }_i^2}=\sqrt{tr({AA}^{H}AA)}=\sum _{i=1}^m\sum _{j=1}^n{\left|a_{ij}\right|}^2\text{\hspace{1em}(3-13)}$$

（3） $p=\infty$ 时的 Schatten范数与算子范数谱范数相同，即
$${\left|\left|AA\right|\right|}_{\infty }={\sigma }_{max}(AA)\text{\hspace{1em}(3-14)}$$
        即矩阵 $AA$ 的最大奇异值。

---

参考

• 范数的物理意义：https://blog.csdn.net/jizhihang2000/article/details/7977600
• 范数的概念：https://blog.csdn.net/skybirdhua1989/article/details/17584797
• 范数与距离的关系：https://www.cnblogs.com/wt869054461/p/5935961.html
• 浅谈L0、L1、L2范数及其应用：http://t.hengwei.me/post/浅谈l0l1l2范数及其应用.html
• 机器学习中的范数规则化之（一）L0、L1与L2范数：https://blog.csdn.net/zouxy09/article/details/24971995?spm=1001.2014.3001.5501
• 从K近邻算法、距离度量谈到KD树、SIFT+BBF算法：https://blog.csdn.net/v_july_v/article/details/8203674
• 如何通俗易懂地解释「范数」：https://zhuanlan.zhihu.com/p/26884695
• 矩阵基础 | 向量范数与矩阵范数：https://zhuanlan.zhihu.com/p/265713608