PCA主成分分析

今天来讲下PCA，如果大家对多元统计分析和矩阵形式比较熟悉的话，看起来会很轻松。

假设表示n个样本，每个样本包含p维特征。则数据集的协方差矩阵为

其中为每维特征的均值。

我们希望协方差矩阵是对角化的，这样就表示每维特征是不相关的。但是实际上并不是对角化的。所以我们需要用PCA来预处理数据，使变换后数据的协方差矩阵式对角化的。
PCA实际上就是将X做变换，投影到另一组标准正交基U=(u₁,u₂,...)上，设变换后的数据集为XU，我们希望XU的协方差矩阵是对角化的，这样就表明变换后的特征是不相关的。

处理步骤

我们记变换后的数据集为

记Y的协方差矩阵为

我们希望为对角阵。根据线性代数知，的特征值构成（从大到小排列表示特征的重要程度）。的特征向量构成U=(u₁,u₂,...)，是正交基。

 

PCA完成！