矩阵理论（二）特征值分解和SVD分解

特征值分解和SVD分解是两种将矩阵进行分解的经典方法，两者在机器学习的各类算法中被广泛使用（如PCA降维、文本LSI、推荐算法等等）、

一、特征值分解

定义：对于方阵$\mathbf{A}$，若存在向量$\nu$，使得线性变换$\mathbf{A}\nu$相当于对$\nu$进行了伸缩变换：$\mathbf{A}\nu =\lambda \nu$，则将$\nu$称为方阵$\mathbf{A}$的特征向量，而对应的$\lambda$称为特征值。

若$\mathbf{A}$存在与维度相同的$n$个实数特征值（包括重根），则存在矩阵$\mathbf{V}$（其各列即为各特征向量）和对角矩阵$\mathbf{\Lambda }$（其对角线值为各特征值，一般从大到小排列）使得$\mathbf{A}\mathbf{V}=V\Lambda$，上式又可写成$\mathbf{A}=\mathbf{V}\mathbf{\Lambda }{\mathbf{V}}^{-1}$。
也就是说$\mathbf{A}\sim \Lambda$，根据相似矩阵的性质，线性算子$\mathbf{A}$与在${\mathbf{V}}^{-1}$基定义下的线性算子$\Lambda$作用一样，若${\mathbf{V}}^{-1}$各向量可写为单位正交向量，而$\mathbf{\Lambda }$为对角阵，这些优势的性质使得矩阵运算更加方便。

若$\mathbf{A}$为对称阵，可证明其不同特征值的特征向量两两正交，其特征向量构成的空间（特征空间）即为$\mathbf{A}$的列空间。此时$\mathbf{A}=\mathbf{V}\mathbf{\Lambda }{\mathbf{V}}^{-1}=\mathbf{V}\mathbf{\Lambda }{\mathbf{V}}^{\mathbf{T}}$

假设${\mathbf{V}}^{-1}$中各特征向量的重要性一致，则各特征向量对应的特征值则体现了该方向特征的重要性。通过保留最大的若干个特征方向，可以在减小特征的基础上尽量的保证数据信息。

二、SVD分解

特征分解存在优良的性质，但其缺点是非常明显的——仅适用于方阵。真实的数据环境下，意味着特征维度=数据维度，这个前提过于严苛。而对于更一般的长方形矩阵，能否进行类似的基变换和矩阵分解呢？这就是更普适的SVD分解。

定义：对于长方形矩阵$\mathbf{A}$，若存在向量$\mathbf{u}$和向量$\mathbf{v}$，以及一个标量$\sigma$，使得$\mathbf{A}\mathbf{v}=\sigma \mathbf{u}$且${\mathbf{A}}^{\mathbf{T}}\mathbf{u}=\sigma \mathbf{v}$，则称$\mathbf{u}$和$\mathbf{v}$分别是$\mathbf{A}$的左奇异向量和右奇异向量，$\sigma$是$\mathbf{A}$的一个奇异值。对于所有这样的列向量构成的左奇异矩阵$\mathbf{U}$和右奇异矩阵$\mathbf{V}$，以及对应奇异值构成的对角阵$\mathbf{\Sigma }$，其与$\mathbf{A}$满足如下的的奇异值分解：
$$\mathbf{A}=\mathbf{U}\mathbf{\Sigma }{\mathbf{V}}^{\mathbf{T}}$$
特殊的，如果能否进一步取两组单位正交基分别构成左奇异矩阵$\mathbf{U}$和右奇异矩阵$\mathbf{V}$，从而通过长方形矩阵$\mathbf{A}$及其转置可以实现这两组基之间的相互转换，那就更好不过了。

现假设存在一组单位正交基${\mathbf{v}}_{\mathbf{i}},...,{\mathbf{v}}_{\mathbf{j}}$，要使线性变换后仍为正交基，即${\mathbf{u}}_{\mathbf{i}}\ast {\mathbf{u}}_{\mathbf{j}}={\mathbf{v}}_{\mathbf{i}}^{\mathbf{T}}{\mathbf{A}}^{\mathbf{T}}\mathbf{A}{\mathbf{v}}_{\mathbf{j}}=0$，若取${\mathbf{v}}_{\mathbf{i}}$为${\mathbf{A}}^{\mathbf{T}}\mathbf{A}$的特征向量，则上式可进一步写成${\mathbf{u}}_{\mathbf{i}}\ast {\mathbf{u}}_{\mathbf{j}}={\lambda }_j{\mathbf{v}}_{\mathbf{i}}^{\mathbf{T}}{\mathbf{v}}_{\mathbf{j}}=0$，显然变换后的向量满足正交性。对该向量进行单位化，取$${\mathbf{u}}_{\mathbf{i}}=\frac{\mathbf{A}{\mathbf{v}}_{\mathbf{i}}}{||\mathbf{A}{\mathbf{v}}_{\mathbf{i}}|{|}_2}=\frac{\mathbf{A}{\mathbf{v}}_{\mathbf{i}}}{\sqrt{{\mathbf{v}}_{\mathbf{i}}^{\mathbf{T}}{\mathbf{A}}^{\mathbf{T}}\mathbf{A}{\mathbf{v}}_{\mathbf{i}}}}=\frac{\mathbf{A}{\mathbf{v}}_{\mathbf{i}}}{\sqrt{{\lambda }_i}}$$
称${\sigma }_i=\sqrt{{\lambda }_i}$为奇异值，则${\sigma }_i{\mathbf{u}}_{\mathbf{i}}=\mathbf{A}{\mathbf{v}}_{\mathbf{i}}$，两边同乘以${\mathbf{A}}^T$，可得${\sigma }_i{\mathbf{v}}_{\mathbf{i}}={\mathbf{A}}^{\mathbf{T}}{\mathbf{u}}_{\mathbf{i}}$，这就是前面所提到两组正交基之间可通过矩阵及其转置相互转换。

值的注意的是：${\mathbf{A}}^{\mathbf{T}}\mathbf{A}$为对称阵，若为实对称阵，其特征值也为实数。根据$Rank({\mathbf{A}}^{\mathbf{T}}\mathbf{A})\le Rank(\mathbf{A})$，可见对于${\mathbf{A}}_{m\times n}$，特征数$n$一般小于样本数$m$，这也意味着特征值可能会取0，此时对应左奇异向量和右奇异向量又该怎么取？

我们回到奇异值分解的最终目标上：
$$\mathbf{A}=\mathbf{U}\mathbf{\Sigma }{\mathbf{V}}^{\mathbf{T}}$$
$\mathbf{U}$中的列向量可以视为$\mathbf{A}$中的列空间的单位正交基；$\mathbf{V}$中的列向量可以视为$\mathbf{A}$中的行空间的单位正交基。根据矩阵的4个子空间，$\mathbf{A}$的零空间与行空间向量彼此正交，而左零空间与列空间向量彼此正交。因此，我们可以用$\mathbf{A}$的左零空间补充$\mathbf{U}$中的剩余列向量；而用$\mathbf{A}$的零空间补充$\mathbf{V}$中的剩余列向量。

用分块矩阵可写成：
$$\mathbf{A}=\mathbf{U}\mathbf{\Sigma }{\mathbf{V}}^{\mathbf{T}}=\left[\begin{array}{cc}{U}_1& U_2\end{array}\right]\left[\begin{array}{cccc}{\sigma }_1& 0& ...& 0\\ 0& {\sigma }_2& ...& 0\\ ...& ...& {\sigma }_k& ..\\ 0& 0& ...& 0\end{array}\right]{\left[\begin{array}{cc}{V}_1& V_2\end{array}\right]}^{\mathbf{T}}$$
其中各向量的意义为：
${\mathbf{V}}_1$: $\mathbf{A}$的行空间对于的单位正交基。
${\mathbf{V}}_2$：$\mathbf{A}$的零空间对于的单位正交基。
${\mathbf{U}}_1$：$\mathbf{A}$的列空间对于的单位正交基。
${\mathbf{U}}_2$：$\mathbf{A}$的左零空间对于的单位正交基。

从线性算子的角度来看，奇异值分解可视为将线性算子$\mathbf{A}$分解为三个子线性算子，对应于三个简单的线性变换：
（1）将输入向量投影到右奇异向量上；
（2）将右奇异向量按照对应的奇异值进行拉伸变换；
（3）将拉伸后的结果再投影到左奇异向量上。

通常将奇异值大小从大到小进行有序排列，对应的有序集合叫矩阵的谱，包含了矩阵的大量信息，比如奇异值之间的差异影响着矩阵解的稳定性，最大和最小的奇异值绝对值之间的比 率（ 条件数 ）影响着一个迭代求解器找到矩阵解的速度。
奇异值往往衰减特别快，因此可以用少量的几个奇异值和对应的奇异值向量去描述高维的空间。即：
$${\mathbf{A}}_{\mathbf{m}\times \mathbf{n}}={\mathbf{U}}_{\mathbf{m}\times \mathbf{k}}{\mathbf{\Sigma }}_{\mathbf{k}\times \mathbf{k}}{\mathbf{V}}_{\mathbf{k}\times \mathbf{m}}^{\mathbf{T}}$$
所以奇异值广泛用于数据降维、噪声过滤、信息提取等领域。