PCA

又是很容易忘的一个知识点,记下来!

目的

找到一组正交基P,使得PX=Y,且使变换后的矩阵Y方差最大,即使得Y的协方差矩阵为对角阵。

推导:
变换矩阵为P,则PX=Y
S_{Y}=\frac{1}{n-1}Y Y^{T} =\frac{1}{n-1}P X X^{T}P^{T} =\frac{1}{n-1}P E D E^{T}P^{T}
P=E^{T}S_Y=\frac{1}{n-1}D,则S_Y为对角阵。

操作

由上式推导可知,要做PCA,可分为如下几步:

  • 减去均值
  • 计算XX^{T},即X的协方差矩阵
  • 计算XX^{T}的特征值矩阵D和特征向量E
  • 排序
  • P=E^{T}

Reference

机器学习中SVD和PCA一直没有搞的特别清楚,应该如何理解呢? - 覃含章的回答 - 知乎
https://www.zhihu.com/question/38319536/answer/131029607

你可能感兴趣的:(PCA)