奇异值分解与低秩矩阵近似

奇异值分解

  任何实矩阵\(\textbf{A} \in \mathbb{R}^{m \times n}\)都可以分解为

$\textbf{A} = \textbf{U}\Sigma\textbf{V}^T$, (1)

其中, \(\textbf{U} \in \mathbb{R}^{m \times m}\)和\(\textbf{V} \in \mathbb{R}^{n \times n}\)分别为满足\(\textbf{U}^T\textbf{U} = \textbf{I}\)以及\(\textbf{V}^T\textbf{V} = \textbf{I}\)的m阶与n阶酉矩阵. 其中\((\Sigma)_{ii} = \sigma_i\)且其它位置的元素均为0, \(\sigma_i\)为非负实数且满足\(\sigma_1 \geqslant \sigma_2 \geqslant ... \geqslant 0\).

  式(1)为奇异值分解(SVD), 其中\(\textbf{U}\)的列向量\(\textbf{u}_i \in \mathbb{R}^m\)称为\(\textbf{A}\)的左奇异向量, \(\textbf{V}\)的列向量\(\textbf{v}_i \in \mathbb{R}^n\)称为\(\textbf{A}\)的右奇异向量, \(\sigma^i\)称为奇异值. 矩阵的秩就等于非零奇异值的个数。

低秩矩阵近似

  给定一个秩为\(r\)的矩阵\(\textbf{A}\), 欲求其最优\(k\)秩近似矩阵\(\widetilde{\textbf{A}}, k \leqslant{r}\), 该问题可形式化为

$\min \limits_{\widetilde{A} \in \mathbb{R}^{m \times n}}\| \textbf{A} - \widetilde{\textbf{A}}\|_F$, (2)  $s.t. \ rank(\widetilde{\textbf{A}}) = k .$

  对矩阵\(\textbf{A}\)进行奇异值分解后，将矩阵\(\Sigma\)中的 \(r\ - \ k\) 个最小的奇异值置零获得矩阵\(\Sigma_k\), 仅保留最大的\(k\)个奇异值, 则

\(\textbf{A}_k = \textbf{U}_k\Sigma_k\textbf{V}^T_k\), (3)
就是(2)的最优解，其中 \(\textbf{U}_k\)和 \(\textbf{V}_k\)分别是式(1)中前k列组成的矩阵. （Eckart-Young-Mirsky定理）

  
  
  
reference:
  《机器学习》 by 周志华