奇异值分解（SVD）原理及直观理解

• SVD定理

A是mxn维矩阵，根据svd定理可以被表示为$A=U\Sigma V^T$
其中$U$为mxm维正交矩阵，$V$为nxn维正交矩阵，$\Sigma$为mxn维矩阵，其rxr维的submatrix对角线元素为A矩阵的奇异值，r为A矩阵的rank，表示线性无关的行或列的个数。

• 直观理解
  如下图所示A可以被表示成一组连续的transformation，该过程可以被分解成先后应用$V^T,\Sigma ,U$三个transformations。
  $V^T$的作用为在n维空间进行basis change，在该例子中左上图中向量维度为2，故V的维度为2x2
  $\Sigma$起到scale各维度对应的奇异值倍并且将n维map到m维，该例子中为从2维map到3维
  $U$作用为在m维进行basis change
  

整个流程为从左上到右上。