向量和矩阵范数

参考：
https://en.wikipedia.org/wiki/Matrix_norm#Frobenius_norm
https://blog.csdn.net/Michael__Corleone/article/details/75213123
数值分析–朱晓临
需要理解的是，范数也是一种函数，是一种度量向量和矩阵大小的函数。它常常被用来度量某个向量空间（或矩阵）中的每个向量的长度或大小。

一 、向量范数

暂时没时间写……

二 、矩阵范数

约定：A代表m×n的矩阵，aij代表矩阵内的元素，i表示行，j表示列。
并且有一实例矩阵A如下：

矩阵的列范数

矩阵的列范数定义如下：

即将矩阵每列看做一个整体，求每列各个元素绝对值的和，取列元素绝对值的和最大的数为矩阵列范数的值。
如对前面提到的3×3的矩阵A，其列范数为：

矩阵的行范数

矩阵的行范数的定义为：

同矩阵列范数相似，行范数求得是每行元素绝对值的和，取和的最大值。
针对前面提到的实例A的行范数，我们有：

矩阵的2范数

矩阵的2范数又称为谱范数，，λ是A的转置和A相乘得到的矩阵的最大特征值。

矩阵的frobenius范数（F范数）

矩阵的frobenius范数定义为，也叫F-范数，通常也叫做矩阵的L2范数，它是一个平滑的凸函数。定义为：

通俗地说，即对应元素的平方和然后再开方。

矩阵的L21范数

矩阵的L21范数可以表达组稀疏，但却是非平滑的，而函数的平滑性与连续可微性有关，即L21范数不是处处可微的。其定义式为：
Ai表示矩阵A的第i列，

具体来说，先以矩阵每一列为单位，求每一列的F范数（也可认为是向量的2范数），然后再将得到的结果求L1范数（也可认为是向量的1范数）。

矩阵的L0范数

L0范数求得就是矩阵中非0元素的个数。通常用L0来表示稀疏，L0范数越小0元素越多，也就越稀疏。但是L0不可导，所以常常使用L1范数来代替L0。

矩阵的L1范数

L1范数求得是矩阵中的每个元素绝对值之和，它是L0范数的最优凸近似，因此它也可以表示稀疏。但是L1范数是一个非平滑的函数，即不是处处可微的。对于梯度下降算法是无法求解包含L1范数的目标函数的。

矩阵的核范数

矩阵的核范数即：矩阵的奇异值（将矩阵svd分解）之和，这个范数可以用来表示低秩（因为最小化核范数，相当于最小化矩阵的秩——低秩）。