矩阵奇异值分解SVD，线性判别LDA，主元分析PCA

一 特征值分解：

       对于方阵A进行特征值分解有：

         其中是A矩阵的特征向量且中各向量为正交向量，是A的特征值

     进一步可表示分解形式为：，由Q为特征向量形成矩阵，是一个对角线上为特征值的对角矩阵。

   

二、奇异值分解

     对于非方阵A进行奇异值分解时，需要先求方阵之后再进行分解：

      与特征值分解对应起来，求解得 的特征值与特征矩阵。

    ，  这里的σ就是上面说的奇异值，u就是上面说的左奇异向量。

     更清楚地表示为：

   

 三、PCA与奇异值分解

     在  中，可推导为：

 

          用ＰＣＡ将Ａ进行列压缩，形式为：；　具体表示为：

　　对于行压缩形式为：；具体表示为：

详细内容参见：

博客：强大的矩阵奇异值分解(SVD)及其应用

线性判别分析（LDA）, 主成分分析(PCA)这里资料很好理解