奇异值分解

奇异值分解（Singular Value Decomposition，SVD）：

定义：

  任意的实矩阵都可以分解为：
  
  其中，是满足的阶酉矩阵（unitary matrix）；是满足的阶酉矩阵；的矩阵，其中且其他位置的元素均为，为非负实数且满足。
  其中的列向量称为的坐奇异向量，的列向量称为的右奇异向量，称为奇异值。

奇异值分解的用途：

  如果想要描述好一个变换，那就描述这个变换主要的方向就行。特征值分解得到的矩阵是一个对角举证，里面的特征值是由大到小的排列的，这些特征值所对应的特征向量就是描述这个矩阵变化方向（从主要到次要），当矩阵是高维的情况下，这个变换也同样有很多的变换方向，我们通过特征值分解得到的前个特征向量，那么就对应了这个矩阵的最主要的个变化方向，但是特征值分解的局限，就是变化矩阵必须是方阵，对于非方阵而言，我们就只能进行奇异值分解。
  而在实际中，大部分矩阵都不是方阵，奇异值分解就是用来解决这个问题的，奇异值分解是一个能适用于任意的矩阵的一种分解方法：
  
首先，将矩阵就得到一个方阵，利用这个方阵得到：
  
这里的就是右奇异值向量，
  
  
奇异值跟特征值类似，在矩阵中也是从大到小排列，而且的减少特别的快，在很多情况下，前10%甚至1%的奇异值的和就占了全部的奇异值之和的99%以上，也就是说可以用前大的奇异值来近似描述矩阵。