7.4.1 矩阵低秩近似、矩阵范数

矩阵低秩近似、矩阵范数

根据奇异值分解，秩为 $r$ 的任意矩阵 $A$ 可分解为 $r$ 个简单矩阵（秩为 $1$） ${\sigma }_i{\mathbf{u}}_i{\mathbf{v}}_i^T$ 之和，且 ${\sigma }_1\ge {\sigma }_2\ge \cdots {\sigma }_r>0$，按重要性排序，即 $A=U\Sigma V^T={\sigma }_1{\mathbf{u}}_1{\mathbf{v}}_1^T+\cdots +{\sigma }_r{\mathbf{u}}_r{\mathbf{v}}_r^T$ 。如果我们用秩为 $k<r$ 的矩阵 $B$ 来最优近似矩阵 $A$ ，则 $B$ 为多少呢？大家猜测应该是 $B_k={\sigma }_1{\mathbf{u}}_1{\mathbf{v}}_1^T+\cdots +{\sigma }_k{\mathbf{u}}_k{\mathbf{v}}_k^T$ 即取 $A$ 前 $k$ 个主成分近似 $A$ ，这个就是 Eckart-Young-Mirsky 定理，称为矩阵低秩近似定理。

这里面有个问题是，矩阵 $B$ 最优近似矩阵 $A$，那如何度量两个矩阵相似度？我们度量向量相似度是利用向量范数，即 $\Vert \mathbf{a}-\mathbf{b}\Vert$ 越小则向量越相似。矩阵是一种变换，矩阵越相似则变换也越相似，即同一向量变换后的向量应该越相似，利用这个性质可以定义矩阵相似度。令 ${\mathbf{x}}_A=A\mathbf{x}$ ，${\mathbf{x}}_B=B\mathbf{x}$ ，记 $\Vert A-B\Vert$ 为矩阵相似度度量，为实数，值越小矩阵越相似，称为矩阵 $A-B$ 范数，则
$$\Vert A-B\Vert =\Vert {\mathbf{x}}_A-{\mathbf{x}}_B\Vert =\Vert A\mathbf{x}-B\mathbf{x}\Vert =\Vert (A-B)\mathbf{x}\Vert$$

当 $\mathbf{x}=0$ 是零向量时，$\Vert A-B\Vert$ 等于 $0$ ，即任意矩阵都完全相似，这显然不符合常识，故需对向量 $\mathbf{x}$ 进行限定。不失一般性，令 $\Vert \mathbf{x}\Vert =1$ 即 $\mathbf{x}$ 限定为单位向量。

向量 $(A-B)\mathbf{x}$ 的范数随单位向量 $\mathbf{x}$ 改变而改变，故应该采用 $(A-B)\mathbf{x}$ 最大范数来度量矩阵范数 $\Vert A-B\Vert$ 。

矩阵之差范数 $\Vert A-B\Vert =ma{x}_{\mathbf{x}}\Vert (A-B)\mathbf{x}\Vert$， $\mathbf{x}$ 为单位向量。

根据矩阵 $A-B=U\Sigma V^T$ 奇异值分解，得
$$\begin{gathered} (A-B)\mathbf{x}=(U\Sigma V^T)\mathbf{x} \\ =({\sigma }_1{\mathbf{u}}_1{\mathbf{v}}_1^T+\cdots +{\sigma }_r{\mathbf{u}}_r{\mathbf{v}}_r^T)\mathbf{x} \\ ={\sigma }_1{\mathbf{u}}_1{\mathbf{v}}_1^T\mathbf{x}+\cdots +{\sigma }_r{\mathbf{u}}_r{\mathbf{v}}_r^T\mathbf{x} \\ =({\sigma }_1{\mathbf{v}}_1^T\mathbf{x}){\mathbf{u}}_1+\cdots +({\sigma }_r{\mathbf{v}}_r^T\mathbf{x}){\mathbf{u}}_r \end{gathered}$$

由于 ${\mathbf{u}}_i$ 正交，故
$$\begin{gathered} \Vert (A-B)\mathbf{x}\Vert =\Vert ({\sigma }_1{\mathbf{v}}_1^T\mathbf{x}){\mathbf{u}}_1+\cdots +({\sigma }_r{\mathbf{v}}_r^T\mathbf{x}){\mathbf{u}}_r\Vert \\ =\sqrt{({\sigma }_1{\mathbf{v}}_1^T\mathbf{x}{)}^2+\cdots +({\sigma }_r{\mathbf{v}}_r^T\mathbf{x}{)}^2} \\ \le \sqrt{({\sigma }_1{\mathbf{v}}_1^T\mathbf{x}{)}^2+\cdots +({\sigma }_1{\mathbf{v}}_r^T\mathbf{x}{)}^2} \\ ={\sigma }_1\sqrt{({\mathbf{v}}_1^T\mathbf{x}{)}^2+\cdots +({\mathbf{v}}_r^T\mathbf{x}{)}^2} \\ \le {\sigma }_1\sqrt{({\mathbf{v}}_1^T\mathbf{x}{)}^2+\cdots +({\mathbf{v}}_r^T\mathbf{x}{)}^2+\cdots +({\mathbf{v}}_n^T\mathbf{x}{)}^2} \\ ={\sigma }_1\Vert \mathbf{x}\Vert \\ ={\sigma }_1 \end{gathered}$$

所以矩阵之差范数 $\Vert A-B\Vert ={\sigma }_1$，即矩阵 $A-B$ 最大奇异值。

根据矩阵低秩近似定理，$A-B_k={\sigma }_{k+1}{\mathbf{u}}_{k+1}{\mathbf{v}}_{k+1}^T+\cdots +{\sigma }_r{\mathbf{u}}_r{\mathbf{v}}_r^T$ ，故 $\Vert A-B_k\Vert ={\sigma }_{k+1}$ 即最优近似矩阵 $B_k$ 与矩阵 $A$ 之差范数为 ${\sigma }_{k+1}$ ，对其它任意秩为 $k$ 的矩阵 $B$ 均有 $\Vert A-B\Vert \ge \Vert A-B_k\Vert$ 。

根据矩阵之差范数 $\Vert A-B\Vert ={\sigma }_1$，令矩阵 $B=\mathbf{O}$ 为零矩阵，得矩阵范数 $\Vert A\Vert ={\sigma }_1$，即矩阵 $A$ 最大奇异值。 根据范数定义，对任意单位向量 $\mathbf{v}$ 有 $\Vert A\mathbf{v}\Vert \le \Vert A\Vert ={\sigma }_1$ 成立，所以矩阵范数就是变换单位向量的最大长度， $\mathbf{v}={\mathbf{v}}_1$ 时等号成立。

根据范数定义，范数具有如下性质：

齐次性：对任意实数 $k$，$\Vert kA\Vert =|k|\Vert A\Vert$；

范数相融性：对任意向量 $\mathbf{x}$，有 $\Vert A\mathbf{x}\Vert \le \Vert A\Vert \Vert \mathbf{x}\Vert$ 成立。

三角不等式：$\Vert A+B\Vert \le \Vert A\Vert +\Vert B\Vert$ 。

证：根据向量范数三角不等式，对任意单位向量 $\mathbf{x}$ ，$\Vert (A+B)\mathbf{x}\Vert =\Vert A\mathbf{x}+B\mathbf{x}\Vert \le \Vert A\mathbf{x}\Vert +\Vert B\mathbf{x}\Vert$ ，两边取范数得证。

矩阵乘积不等式：$\Vert AB\Vert \le \Vert A\Vert \Vert B\Vert$ 。

证：根据范数相融性，对任意单位向量 $\mathbf{x}$ ，$\Vert AB\mathbf{x}\Vert \le \Vert A\Vert \Vert B\mathbf{x}\Vert$ ，两边取范数得证。

范数还具有如下性质：$\Vert A^T\Vert =\Vert A\Vert ；\Vert A^{T}A\Vert =\Vert A{A}^T\Vert =\Vert A{\Vert }^2$，$\Vert A{A}^{+}\Vert =\Vert A^{+}A\Vert =1$。
任意正交矩阵 $U,V$，有 $\Vert U\Vert =1；\Vert A\Vert =\Vert UA\Vert =\Vert AV\Vert =\Vert UAV\Vert$ 。

任意可逆矩阵 $A$，有 $\Vert A^{-1}\Vert =1/{\sigma }_n$ ，故 $\Vert A\Vert \Vert A^{-1}\Vert ={\sigma }_1/{\sigma }_n\ge 1$ ，$\Vert A{A}^{-1}\Vert =1$。

根据 ${\sigma }_1=\Vert A\Vert \ge \Vert A\mathbf{v}\Vert$ 可知最大奇异值或矩阵范数很大，大于矩阵任意列向量的长度和任意元素，取 $\mathbf{v}={\mathbf{e}}_i$ 得 ${\sigma }_1=\Vert A\Vert \ge \Vert A{\mathbf{e}}_i\Vert =\Vert {\mathbf{a}}_i\Vert \ge |a_{ji}|$ 。由于 $\Vert A^T\Vert =\Vert A\Vert$ 故最大奇异值或矩阵范数大于矩阵任意行向量的长度。

奇异值有个重要且有趣的结论：任意矩阵 $A$ 有 ${\sigma }_1^2+\cdots +{\sigma }_r^2={\sum }_{ij}{a}_{ij}^2$ 即奇异值平方和等于所有元素平方和，这个相当于能量守恒定律，矩阵能量是为所有元素平方和（类似动能为速度平方），奇异值能量为奇异值平方和。因为 $r\ll mn$ 可知奇异值很大。
证：根据 $A^{T}A=V{\Sigma }^2{V}^T$ 证明。
$$A^{T}A=\left[\begin{array}{cc}{\mathbf{a}}_1^{\mathbf{T}}{\mathbf{a}}_1& {\mathbf{a}}_1^{\mathbf{T}}{\mathbf{a}}_2\cdots ,{\mathbf{a}}_1^{\mathbf{T}}{\mathbf{a}}_{\mathbf{n}}\\ ⋮& \\ {\mathbf{a}}_{\mathbf{n}}^{\mathbf{T}}{\mathbf{a}}_1& {\mathbf{a}}_{\mathbf{n}}^{\mathbf{T}}{\mathbf{a}}_2\cdots ,{\mathbf{a}}_{\mathbf{n}}^{\mathbf{T}}{\mathbf{a}}_{\mathbf{n}}\end{array}\right]$$
矩阵 $A^{T}A$ 对角元素之和为 ${\mathbf{a}}_1^{\mathbf{T}}{\mathbf{a}}_1+\cdots +{\mathbf{a}}_{\mathbf{n}}^{\mathbf{T}}{\mathbf{a}}_{\mathbf{n}}={\sum }_{ij}{a}_{ij}^2$ 为所有元素平方和。由于矩阵对角元素之和很重要，为此定义矩阵的迹。
矩阵迹 方阵对角元素之和，记为 $trA={\sum }_i{a}_{ii}$ 。
矩阵迹重要性质：对同型方阵 $A,B$，有 $trAB=trBA$ 成立，这表明矩阵迹满足矩阵乘法交换律。
则 $tr(V{\Sigma }^2{V}^T)=tr(V^{T}V{\Sigma }^2)=tr({\Sigma }^2)={\sum }_i{\sigma }_i^2$ ，故 ${\sum }_{ij}{a}_{ij}^2={\sum }_i{\sigma }_i^2$ 得证。

现证 $trAB=trBA$ 。
$$trAB={\mathbf{a}}_{\mathbf{r}1}^{\mathbf{T}}{\mathbf{b}}_1+\cdots +{\mathbf{a}}_{\mathbf{r}\mathbf{n}}^{\mathbf{T}}{\mathbf{b}}_{\mathbf{n}}=\sum _{ij}{a}_{ij}{b}_{ji}$$

$$trBA={\mathbf{b}}_{\mathbf{r}1}^{\mathbf{T}}{\mathbf{a}}_1+\cdots +{\mathbf{b}}_{\mathbf{r}\mathbf{n}}^{\mathbf{T}}{\mathbf{a}}_{\mathbf{n}}=\sum _{ij}{b}_{ij}{a}_{ji}=\sum _{ij}{a}_{ij}{b}_{ji}=trAB$$

根据对称矩阵谱分解定理 $S=Q\Lambda Q^T$，可得矩阵迹另一重要性质，$trS=tr(Q\Lambda Q^T)=tr(Q^{T}Q\Lambda )=tr\Lambda ={\sum }_i{\lambda }_i$ 即对称矩阵的迹等于特征值之和。