关于矩阵分解，SVD方面

原文链接： https://www.cnblogs.com/pinard/p/6251584.html

非奇异矩阵也就是可逆矩阵
假设A是一个$n\times n$维的矩阵，$\lambda$为矩阵A的一个特征值，$x$为其对应的特征向量。假设$A$矩阵的n个特征值为${\lambda }_1$,${\lambda }_2$,${\lambda }_3$…${\lambda }_n$，这n个特征值对应的特征向量为$w_1$,$w_2$,$w_3$…$w_n$则矩阵A可以进行分解

对特征向量进行标准化，则n个特征向量变成了标准正交基，满足$W^{T}W=I$
则特征分解可以转化为下面

上述的矩阵的分解针对的都是$n$阶方阵，而针对$m\times n$大小的矩阵，我们该如何分解？

SVD

假设A为$m\times n$的矩阵，则矩阵A可以奇异值分解上面的形式，其中，$U$为$m\times m$维的矩阵，$V$为$n\times n$维的矩阵，且满足$U^{T}U=I$,$V^{T}V=I$。
那么$U$和$V$到底如何计算而来？


$A^T\times A$和$A\times A^T$分别为$n\times n$,$m\times m$维，现在就剩下奇异值矩阵$\Sigma$没有求解了，我们按照下图求解，

上面还有一个问题没有讲，就是我们说$A^T\times A$的特征向量组成的就是我们SVD中的V矩阵，而的$A\times A^T$特征向量组成的就是我们SVD中的U矩阵，这有什么根据吗？这个其实很容易证明，我们以V矩阵的证明为例。
从这里又可以推导出奇异值的另外一种计算方法：

对$A^T\times A$或者$A\times A^T$的特征值进行求根号。

SVD的性质

对于奇异值,它跟我们特征分解中的特征值类似，在奇异值矩阵中也是按照从大到小排列，而且奇异值的减少特别的快，在很多情况下，前10%甚至1%的奇异值的和就占了全部的奇异值之和的99%以上的比例。也就是说，我们也可以用最大的k个的奇异值和对应的左右奇异向量来近似描述矩阵。

其中k要比n小很多，也就是一个大的矩阵A可以用三个小的矩阵来表示。如下图所示，现在我们的矩阵A只需要灰色的部分的三个小矩阵就可以近似描述了

参考：https://www.cnblogs.com/pinard/p/6251584.html