主成分分析笔记

主成分分析是指在尽量减少失真的前提下，将高维数据压缩成低微的方式。

减少失真是指最大化压缩后数据的方差。

记$P$矩阵为$n\times m$（$n$行$m$列）的矩阵，表示一共有$m$组数据，每组数据有$n$个维度。

欲将此数据集降为$k$维，即求$k\times m$的矩阵$A$。

思路是获得一种针对$n$维的变换方法，将$n$位列向量转为$k$位列向量。然后对全部$m$组数据分别应用此变换，这样就得到答案。

变换方法是使用形如$A=XP$的算式。问题变为求$k\times n$矩阵$X$。

引入协方差的概念。

协方差是刻画两个列向量$X=\{x_1,x_2,\dots ,x_n{\}}^{\text{T}},Y=\{y_1,y_2,\dots ,y_n{\}}^{\text{T}}$的相异程度。对于同一行来说，两个列向量在此行的数值相差越大，就会使协方差越大。
$$Cov(X,Y)=\sum _{i=1}^n(x_i-\hat{x})(y_i-\hat{y})$$

接下来的部分需要线性代数理论进行推导，在此只给出结论。

对于数据集的$n$个维度来说，方差越大，说明数据之间的差异越大，说明越能区分不同数据，说明此维度越重要，越应该被保留。可以用协方差刻画差异。

本例中将关于$n$维的所有协方差写成一个$n$阶方阵$Q$，其中$Q_{i,j}$表示$Cov(P_i,P_j)$，$P_i$表示$P$的第$i$行，也就是所有数据的第$i$个维度。

至此便直接给出计算方法。

1. 计算$Q$；
2. 求$Q$的$n$个特征值及其对应的特征（行）向量，将它们按照特征值从大到小的顺序排列，组成新的方阵$R$；
3. 取$R$的前$k$行，即$k\times n$的矩阵$X$；
4. $A=XP$。