PCA 以及 SPCA

本文主要为PCA(principal component analysis)的学习记录以及SPCA(sparse principal component analysis)的学习记录

因为关于PCA的原理很多博客以及书本介绍了很多，这个不单独记录。

首先是PCA即变化过程：
1.假设原始的数据为X 是一个n*p的矩阵， p为数据的维度， n为数据的个数。
2.将X的每一行进行零均值化。
3.计算X的协方差矩阵。 C=1mXXT
4.求出 C 的特征值以及特征向量
5.将特征向量对应特征值大小从左到右按列排成矩阵，取前K列组成P矩阵
6. Y=PTX 为降到K为的数据。

在此，我们改变一下第5和第6步。
首先，我们不取前K列而是取所有列为P’矩阵，
那么 Y=P′TX 我们看成Y是关于X的线性变化。

而在PCA存在这么一个性质，即 X≈P′P′TX
其中 P′TP′=I
我们把上述过程可以理解成一个关于的X的线性变化过程，那么就可以认为是 P′T 是X线性变化的参数，通过对线性变化求解来得到我们需要的 P′T
则可以表示成如下公式：

mPinimizef(P′)=||X−P′P′TX||2

subjecttoP′P′T=I

未完待续