PCA学习笔记

常常看到论文的标题里带有矩阵分解的方法，最常见的有四个PCA, SVD, LDA和NMF。之前看论文内容一看到矩阵公式基本就不看，水平有限，短期内啃也啃不动。看来该学的还是绕不出去，只能慢慢补上了…
 
很早就听说主成分分析这个名词了，看到一个人写的博文，写得通俗易懂，一看就能明白
http://www.pinkyway.info/2010/08/31/covariance/
http://www.pinkyway.info/2011/02/24/covariance-pca/
本来想贴个我的WORD总结，后来发现公式图片太多了，就算了,
 
基本上可以可以这么认为，PCA就是要让样本矩阵S 的协方差矩阵C上的对角线尽可能大，其余的地方为0。达到降噪和去冗余的目的，
为了达到这个目的，找到一个正交矩阵P，满足：PTCP=L 

  
  
  
  

   
   
   
   （为啥可以这样，因为线代里有这么条定理：设A为n阶对称阵, 则必有正交阵P, 使P-1AP=PTAP=L, 其中L是以A的n个特征值为对角元的对角矩阵，协方差矩阵是对称的嘛，这个定理也不是一下子就冒出来的，但我也没精力再走一遍了）。
  
  
  
  

  
  
  
  

   
   
   
   分解出P之后，通过过滤较小的特征值和对应特征向量，得到 S1= S 乘P1  。也就是S进行一个投影，得到一个新的矩阵，这个矩阵具有我们需要的良好性质~~
  
  
  
  

  
  
  
  

   
   
   
    
  
  
  
  

  
  
  
  

   
   
   
   很建议去看看两篇博文，讲解得很细致~
  
  
  
  
  
  
  
  

   
   
   
   

  
  
  
  
  
  
  
  

   
   
   
   我在baidu hi也写了篇一样的...感觉hi这这里写博客要好用，这个字体怎么改不了的啊？难道不支持chrome？受不了。。。