数据压缩（二）——主成分分析（步骤应用代码实现）

主成分分析是把多个变量进行数学降维组成新的彼此互不相干的代表性变量，但能代表原始变量的大部分信息。数学上采用的方法为将原来的变量做线性组合，选取方差最大的第一主成分记作F1，若F1无法代表全部的原始信息，再选取F2，以此类推。

数学模型

$x=(x_1,x_2,...,x_p)$
$x_j=(x_{1j},x_{2j},...,x_{nj}),j=1,2,...,p$
把p个变量，变成新的p个变量
$F_j=a_{j1}\ast x_1+a_{j2}\ast x_2+...+a_{jp}\ast x_p,j=1,2,...,p$

满足条件：

1. $F_i,F_j$互不相干,$i\ne j,j=1,2,...,p$
2. $F_1>F_2>...>F_p$
3. $a_{j1}^2+a_{j2}^2+...+a_{jp}^2=1$

主成分的导出

$F_i,F_j$互不相干,$i\ne j,j=1,2,...,p$

• 主成分之间的协方差阵为对角阵，
• $F=AX$,
  $Var(F)=Var(AX)=(AX)(AX{)}^{\prime }=AX{X}^{\prime }{A}^{\prime }=\left[\begin{array}{cccc}{\lambda }_1& & & \\ & {\lambda }_2& & \\ & & ...& \\ & & & {\lambda }_p\end{array}\right]$
• 原始数据协方差阵➡新的协方差阵=相关矩阵，即$V=R=X{X}^{\prime }$
• $A{A}^{\prime }=I$
  $\{\begin{array}{l}(r_{11}-{\lambda }_1)a_{11}+r_{12}a12+...+r_{1p}{a}_{1p}=0\\ (r_{11}-{\lambda }_1)a_{11}+r_{12}a12+...+r_{1p}{a}_{1p}=0\\ ...\\ (r_{11}-{\lambda }_1)a_{11}+r_{12}a12+...+r_{1p}{a}_{1p}=0\end{array}$
  列系数矩阵，求齐次解
  $R-{\lambda }_{1}I=0$
  推得相关矩阵为对角矩阵，系数矩阵$I$为正交矩阵。

步骤

step1:对原始数据进行标准化处理
$$x_{ij}^{\ast }=\frac{x_{ij}-\widehat{x_j}}{\sqrt{var(x_j)}},i=1,2,...,n,j=1,2,...,p$$其中，$\widehat{x_j}=\frac{1}{n}{\sum }_{i-1}^n{x}_{ij}$,$var(x_j)=\frac{1}{n-1}{\sum }_{i-1}^n(x_{ij}-\widehat{x_j}{)}^2$

step2:计算样本相关系数矩阵
$$R=\left(\begin{array}{cccc}{r}_{11}& r_{12}& \cdots & r_{1p}\\ r_{21}& r_{22}& \cdots & r_{2p}\\ ⋮& ⋮& \ddots & ⋮\\ r_{n1}& r_{n2}& \cdots & r_{np}\end{array}\right)\Rightarrow r_{ij}=\frac{1}{n-1}\sum _{t-1}^n{x}_{ti}{x}_{tj}$$

step3:计算相关系数矩阵的特征值和特征向量

step4:选择主成分
选择标准为 $$贡献率=\frac{{\lambda }_i}{{\sum }_{i-1}^p}＞85\%$$

代码实现（matlab）

stdr=std(x);   %求各变量的标准差  
[n,m]=size(x);   %矩阵的行与列  
sddata=x./stdr(ones(n,1),:);   %标准化变换  
[p,princ,egenvalue]=princomp(sddata);  %调用主成分  
p=p(:,1:3);  %输出前3主成分系数  
sc=princ(:,1:3);   %前3主成分量
egenvalue;   %相关系数矩阵的特征值，即各主成分所占比例per=100*egenvalue/sum(egenvalue);   %各个主成分所占百分比