PCA——主成分分析

介绍

主成分分析是一种降维算法，它能将多个指标转换为少数几个主成分，这些主成分是原始变量的线性组合，且彼此之间互不相关，其能反映出原始数据的大部分信息。一般来说，当研究的问题涉及到多变量且变量之间存在很强的相关性时，我们可考虑使用主成分分析的方法来对数据进行简化

例子

某人做一件上衣要测量很多尺寸，如身长，袖长，胸围，腰围，肩宽，肩厚等十几项指标，但某服装厂要生产一批新型服装绝不可能把尺寸的型号分得过多，而是从多种指标中综合成几个少数的综合指标，作为分类的型号，利用主成分分析将十几项指标综合成3项指标，一项是反映长度的指标，一项是反映胖瘦的指标，一项是反映特殊体型的指标。

思想

假设有$n$个样本，$p$个指标，则可构成大小为$n\times p$的样本矩阵$x$:
$$x=\left|\begin{array}{cccc}{x}_{11}& x_{12}& \cdots & x_{1p}\\ x_{21}& x_{22}& \cdots & x_{2p}\\ ⋮& ⋮& ⋮& ⋮\\ x_{n1}& x_{n2}& \cdots & x_{np}\end{array}\right|$$
假设我们想找到新的一组变量$z_1,z_2,\cdots ,z_m(m\le p)$,且它们满足：
$$\{\begin{array}{l}{z}_1=l_{11}{x}_1+l_{12}{x}_2+\cdots +l_{1p}{x}_p\\ z_2=l_{21}{x}_1+l_{21}{x}_2+\cdots +l_{2p}{x}_p\\ ⋮\\ z_m=l_{ml}{x}_1+l_{m2}{x}_2+\cdots +l_{mp}{x}_p\end{array}$$
系数l_{ij}的确定原则：
（1）$z_i$与$z_j(i\ne j,j=1,2,\cdots ,m)$相互无关；
（2）$z_1$是$x_1,x_2,\cdots ,x_p$的一切线性组合中方差最大者；
（3）$z_2$是与$z_1$不相关的$x_1,x_2,\cdots ,x_p$的所有线性组合中方差最大者；
（4）依次类推，$z_m$是与$z_1,z_2,\cdots ,z_{m-1}$不相关的$x_1,x_2,\cdots ,x_p$的所有线性组合中方差最大者；
（5）新变量指标$z_1,z_2,\cdots ,z_m$分别称为原变量指标$x_1,x_2,\cdots ,x_p$的第一，第二，…，第m主成分

计算步骤

标准化处理

按列计算均值$\overline{x}=\frac{1}{n}{\sum }_{i=1}^n{x}_{ij}$和标准差$S_j=\sqrt{\frac{{\sum }_{i-1}^n(x_{ij}-\overline{x_j})}{n-1}}$计算得标准化数据$X_{ij}=\frac{x_{ij}-\overline{x_j}}{S_j}$,原始样本矩阵经过标准化变为
$$X=\left|\begin{array}{cccc}{X}_{11}& X_{12}& \cdots & X_{1p}\\ X_{21}& X_{22}& \cdots & X_{2p}\\ ⋮& ⋮& ⋮& ⋮\\ X_{n1}& X_{n2}& \cdots & X_{np}\end{array}\right|=(X_1,X_2,\cdots ,X_p)$$

计算标准化样本的协方差矩阵

$$R=\left|\begin{array}{cccc}{r}_{11}& r_{12}& \cdots & r_{1p}\\ r_{21}& r_{22}& \cdots & r_{2p}\\ ⋮& ⋮& ⋮& ⋮\\ r_{p1}& r_{p2}& \cdots & r_{pp}\end{array}\right|$$
其中$r_{ij}=\frac{1}{n-1}{\sum }_{k=1}^n(X_{ki}-\overline{X_i})(X_{kj}-\overline{X_j})=\frac{1}{n-1}{\sum }_{k=1}^n{X}_{ki}{X}_{kj}$
注意：上面12两步可直接合并为一步：直接计算x矩阵的样本相关系数矩阵）
$$R=\frac{{\sum }_{k=1}^n(x_{ki}-\overline{x_i})(x_{kj}-\overline{x_j})}{{\sum }_{k=1}^n(x_{ki}-\overline{x_i}{)}^2{\sum }_{k=1}^n(x_{kj}-\overline{x_j}{)}^2}$$

计算R的特征值和特征向量

特征值：${\lambda }_1\ge {\lambda }_2\ge \cdots \ge {\lambda }_p\ge 0(R$是半正定矩阵，且$tr(R)={\sum }_{k=1}^p{\lambda }_k=p)$
特征向量：
$$a_1=\left|\begin{array}{c}{a}_{11}\\ a_{21}\\ ⋮\\ a_{p1}\end{array}\right|,a_2=\left|\begin{array}{c}{a}_{12}\\ a_{22}\\ ⋮\\ a_{p2}\end{array}\right|,\cdots ,a_p=\left|\begin{array}{c}{a}_{1p}\\ a_{2p}\\ ⋮\\ a_{pp}\end{array}\right|$$

计算主成分贡献率以及累计贡献率

贡献率=$\frac{{\lambda }_i}{{\sum }_{k=1}^p{\lambda }_k}(i=1,2,\cdots ,p)$
累计贡献率=$\frac{{\sum }_{k=1}^i{\lambda }_k}{{\sum }_{k=1}^p{\lambda }_k}(i=1,2,\cdots ,p)$

写出主成分

一般取累计贡献率超过$80$%的特征值所对应的第一、第二、…、第$m(m\le p)$个主成分，第i主成分：$F_i=a_{1i}{X}_1+a_{2i}{X}_2+\cdots +a_{pi}{X}_p(i=1,2,\cdots ,m)$

根据系数分析主成分代表的意义

对于某个主成分而言，指标前面的系数越大，代表该指标对于该主成分的影响越大

利用主成分的结果进行后续的分析

（1）主成分得分:可用于评价类模型吗？（千万别用!!!）
（2）主成分可用于聚类分析（方便画图）
（3）主成分可用于回归分析

例题

$F_1=0.469X_1+0.404X_2+0.394X_3+0.408X_4+0.337X_5+0.427X_6$
$F_2=-0.365X_1-0.397X_2+0.397X_3-0.365X_4+0.569X_5+0.308X_6$
$F_3=0.092X_1+0.613X_2-0.279X_3-0.705X_4+0.164X_5+0.119X_6$
$X_i$均是标准化后的指标，$x_i$:身高、坐高、胸围、手臂长、肋围和腰围
第一主成分$F_1$对所有（标准化）原始变量都有近似相等的正载荷，故称第一主成分为（身材）大小成分
第二主成分$F_2$在$X_3,X_5,X_6$上有中等程度的正载荷，而在$X_1,X_2,X_4$上有中等程度的负载荷，称第二主成分为形状成分（或胖瘦成分）。
第三主成分$F_3$在$X_2$上有大的正载荷，在$X_4$上有大的负载荷，而在其余变量上的载荷都较小，可称第三主成分为臂长成分
注：由于第三主成分的贡献率不高（7.65%）且实际意义也不太重要，因此我们也可以考虑只取前两个主成分进行分析

主成分分析的说明

在主成分分析中，我们首先应保证所提取的前几个主成分的累计贡献率达到一个较高的水平，其次对这些被提取的主成分必须都能够给出符合实际背景和意义的解释

主成分分析时变量降维的一种重要、常用的方法，简单的说，该方法要应用得成功，一是靠原始变量的合理选取，二是靠“运气”

代码

%% 第一步：对数据x标准化为X
X=zscore(x);
%% 第二步：计算样本协方差矩阵
R=cov(X);
%% 注意：以上两步可合并为下面一步：直接计算样本相关系数矩阵
%% R=corrcoef(x);
%% 第三步：计算R的特征值和特征向量
[V,D]=eig(R); % V特征向量矩阵，D特征值构成的对角矩阵
%% 第四步：计算主成分贡献率和累计贡献率
lambda=diag(D); % diag函数用于得到一个矩阵的主对角线元素值（返回的是列向量）
lambda=lambda(end:-1:1);% 因为lambda向量是从小到大排序的，我们将其调个头
% 计算贡献率
contribution_rate=lambda/sum(lambda);
% 计算累计贡献率 cumsum是求累加值的函数
cum_contribution_rate=cumsum(lambda)/sum(lambda);
% 注意：这里的特征向量要和特征值一一对应，之前特征值相当于颠倒过来了，因此特征向量的各列需要颠倒过来
% rot90函数可以使一个矩阵逆时针旋转90度，然后再转置，就可以实现将矩阵的列颠倒的效果
V=rot90(V)';