7.3 矩阵范数

定义

   向量有范数，矩阵也有范数，定义和向量范数类似，不过多了一条要求。它的定义如下：

1. 正定性positivity,$\parallel A\parallel \ge 0$，只有$A=0$时才取等号；
2. 非负齐次性homogeneity或scaling, $\parallel kA\parallel =|k|\parallel A\parallel$
3. 劣可加性subadditivity或三角不等式triangle inequality，$\parallel A+B\parallel \le \parallel A\parallel +\parallel B\parallel$。
4. 相容条件submultiplicativity，$\parallel AB\parallel \le \parallel A\parallel \parallel B\parallel$。

  只满足前三个条件的是广义矩阵范数。当然也有国外一些教材把满足前三条的叫矩阵范数，把满足第四条的叫相容矩阵范数Consistent Matrix Norms。矩阵的范数有点多，有和范数、Frobenius范数、最大范数、行范数、列范数、谱范数等，后面三个叫诱导范数。

和范数

  向量的各个分量模长的和，叫做1-范数。但是矩阵各个位置模长的和可不能叫1-范数。至于为什么不能叫，因为矩阵的1-范数属于诱导范数，我会另外写一篇诱导范数的文章来说。矩阵各个位置模长的和叫和范数sum norm，定义如下：
$$\parallel A{\parallel }_S=\sum _{i=1}^m\sum _{j=1}^n|a_{ij}|$$
  求和范数的Python代码就比较简单了：

    def sum_norm(self):
        result = 0
        for vector in self.__vectors:
            for e in vector:
                result += abs(e)
        return result

Frobenius范数

  同样，矩阵各位置元素模长的平方和再开根号，不能叫2-范数，因为2-范数属于诱导范数。那应该叫什么呢？有个专门的名字Frobenius范数Frobenius norm,或者叫F范数。定义如下：
$$\parallel A{\parallel }_F=\sqrt{\sum _{i=1}^m\sum _{j=1}^n|a_{ij}{|}^2}$$
  F范数是考试热门。因为它性质特别多。首先有：
$$\parallel A{\parallel }_F=\sqrt{tr(A^{H}A)}$$
  这个就无需证明了，因为一阶迹是所有对角线元素的和。而复数乘以自己的共轭就等于模长的平方。还有F-范数等于$A^{H}A$所有特征值的和开根号。这也无需证明，因为一阶迹就是所有特征值的和。
  F-范数等于奇异值的平方和再开根号：
$$\parallel A{\parallel }_F=\sqrt{\sum _{i=1}^n{\sigma }_i^2}$$
  奇异值那个希腊字母很少见，读做西格玛是求和符号的小写形式。
  Python代码：

    # F-范数
    def frobenius_norm(self):
        result = 0
        for vector in self.__vectors:
            for e in vector:
                result += abs(e)**2
        return math.sqrt(result)

最大范数

  矩阵所有元素的模长的最大值同样不能叫无穷范数，所以矩阵范数难受的是向量范数用过的名词都不能用了，要换个名词了，这次换成了最大范数max norm。最大范数不是相容范数，所以属于广义矩阵范数。它的定义如下：
$$\parallel A{\parallel }_M=max(|a_{ij}|)$$
  最大范数为什么不相容？我们只要找个$\parallel AB\parallel >\parallel A\parallel \parallel B\parallel$的反例就行了。现在就给一个：
∥ 1 1 1 1 ∥ M = 1 ( 1 1 1 1 ) ( 1 1 1 1 ) = ( 2 2 2 2 ) ∥ 2 2 2 2 ∥ M = 2 \begin{Vmatrix}1 & 1\\ 1 & 1\\ \end{Vmatrix}_M=1\\ \begin{pmatrix}1 & 1\\ 1 & 1\\ \end{pmatrix}\begin{pmatrix}1 & 1\\ 1 & 1\\ \end{pmatrix}=\begin{pmatrix}2 & 2\\ 2 & 2\\ \end{pmatrix}\\ \begin{Vmatrix}2 & 2\\ 2 & 2\\ \end{Vmatrix}_M=2\\ ​11​11​ ​M​=1(11​11​)(11​11​)=(22​22​) ​22​22​ ​M​=2
  Python代码：

    # 最大范数
    def max_norm(self):
        array = [[abs(e) for e in vector] for vector in self.__vectors]
        max_vectors = [max(vector) for vector in array]
        return max(max_vectors)