【多元统计分析】18.主成分分析

十八、主成分分析

1.寻找主成分

主成分分析是一种“降维”的方式，将高维空间中的信息嵌入到低维空间的同时，尽可能保留原始样本中的信息。这样做的好处，主要是降低问题研究的复杂性，因为维数过高不论是在空间存储上，还是在运算时间上，都是一种浪费。如果能够将部分不重要的分量加以组合，形成一个更有用的分量，自然能降低运算的负担。

这样的降维有两个主要目标：一是尽可能地压缩样本空间的维数，二是尽可能多地保留样本的信息。主成分分析的方法，是用总体不同维度的线性组合，构成新的变量（变量组），从而用这个低维的变量（变量组）来代替原来的样本。而线性组合总可以用一个权重向量来表示。

比如说，总体是$X=(X_1,\cdots ,X_p{)}^{\prime }$，就引入一个向量$w=(w_1,\cdots ,w_p{)}^{\prime }$用来表达一个线性组合$w^{\prime }X$。因为这个向量具有“权重”性，我们施以约束$w^{\prime }w=1$，这样就可以用这个向量代表线性组合中各个分量的重要性。信息的保留程度用方差来刻画，如果一个线性组合的方差越大，就说明保留的信息越完整。因此，如果$\mathrm{D}(X)=\Sigma$，寻找主成分就变成如下的规划问题：
$$\max z=w^{\prime }\Sigma w,\mathrm{s}.\mathrm{t}.w^{\prime }w=1.$$
用Lagrange乘数法很容易求出合适的$w$，也就是
$$L=w^{\prime }\Sigma w-\lambda (w^{\prime }w-1),$$
求偏导得到
$$\begin{gathered} \frac{\partial L}{\partial w}=2(\Sigma -\lambda I)w=0, \\ \frac{\partial L}{\partial \lambda }=w^{\prime }w-1=0. \end{gathered}$$
这说明$w$就是$\Sigma$的某个特征向量，为了确定具体是哪一个特征向量，要从其方差入手，注意到
$$w\Sigma w^{\prime }=w^{\prime }\lambda w=\lambda ,$$
所以要使$w\Sigma w^{\prime }$最大实际是要让$\lambda$最大，因此，$w$是最大特征值对应的特征向量。

如果一个线性组合，即使它是最好的，也压缩了过多的信息，我们自然会想着用多个线性组合作补充。为了避免信息的冗余，我们会限制两个线性组合之间不相关，也就是$\mathrm{C}\mathrm{o}\mathrm{v}(w_{1}X,w_{2}X)=w_1^{\prime }\Sigma w_2=0$，在此要求下，结合$w_2^{\prime }{w}_2=1$的限制，寻找使得$\mathrm{D}(w_{2}X)$最大的向量$w_2$。

结合刚才Lagrange乘子法的表现，我们已经知道了，向量$w$必定是$\Sigma$的特征向量（即使施加了不相关约束，原有的步骤也是不变的），且对应的特征值就是线性组合的方差。结合不同特征值对应的特征向量线性无关的特点，自然会想到次大的特征值对应的特征向量，或者同样是对应特征值最大但与$w_1$线性无关的特征向量。我们将寻找主成分的步骤归结如下：

主成分：设$X=(X_1,\cdots ,X_p{)}^{\prime }$为$p$维随机向量，称$Z_i=a_i^{\prime }X$为$X$的第$i$主成分$(i=1,\cdots ,p)$，如果：

1. $a_i^{\prime }{a}_i=1$（权重性约束）；
2. 当$i>1$时，$a_i^{\prime }\Sigma a_j=0(j=1,\cdots ,i-1)$（不相关性约束）；
3. $\mathrm{D}(Z_i)=\underset{a^{\prime }a=1,a^{\prime }\Sigma a_j=0}{\max }\mathrm{D}(a^{\prime }X)$（最大方差约束）。

寻找主成分：设$X=(X_1,\cdots ,X_p{)}^{\prime }$是$p$维随机向量，$\Sigma$是其协方差阵，且其特征值为${\lambda }_1\ge {\lambda }_2\ge \cdots \ge {\lambda }_p=0$，相应的单位正交向量是$a_1,a_2,\cdots ,a_p$，则$X$的第$i$主成分为
$$Z_i=a_i^{\prime }X(i=1,\cdots ,p).$$
主成分矩阵：设$Z=(Z_1,\cdots ,Z_p{)}^{\prime }$是$p$维随机向量，则其分量$Z_i$是$X$的第$i$主成分的充要条件是：

1. $Z=A^{\prime }X$，这里$A$为正交矩阵，这表明$Z_i$是$X$的正交线性组合，且两两不相关。
2. $\mathrm{D}(Z)=\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}({\lambda }_1,\cdots ,{\lambda }_n)$，即协方差阵是对角阵，这说明$Z_i$两两不相关。
3. ${\lambda }_1\ge {\lambda }_2\ge \cdots \ge {\lambda }_n$。

2.主成分的性质

现在，我们已经知道给定总体如何求出其主成分了，主成分是对总体的正交变换，也恰好是总体自协方差矩阵的线性无关特征向量，因此，具有以下的性质。

主成分的协方差：$\mathrm{D}(Z)=\Lambda$，即$p$个主成分的方差为$\mathrm{D}{Z}_i={\lambda }_i$，且互不相关。

既然主成分是一种信息压缩的表征，那么如何衡量主成分压缩过程中信息的保留程度就是值得注意的。因为主成分的方差就是特征值，因此我们会从特征值出发，定义信息的保留程度。假设原总体的自协方差矩阵为$\Sigma =({\sigma }_{ij}{)}_{p\times p}$，则$\Sigma$的主对角线之和代表原总体的总方差，就视为原总体蕴含的信息量。

总方差：定义${\sum }_{i=1}^p{\lambda }_i={\sum }_{i=1}^p{\sigma }_{ii}$为原总体$X$的总方差，或总惯量。

在主成分分解下，可以用前$m$个特征值来近似逼近原总体的总方差，即${\sum }_{i=1}^m{\lambda }_i\approx {\sum }_{i=1}^p{\sigma }_{ii}$，这也就达到了降维的同时充分保留信息的目的。一般我们会要求信息保留超过70%，也就是选择$m$使得
$$\sum _{i=1}^m{\lambda }_i\ge 0.7\sum _{i=1}^p{\lambda }_i.$$

这一概念可以用贡献率来描述。

贡献率：称主成分$Z_k$的贡献率为$\frac{{\lambda }_k}{{\sum }_{i=1}^p{\lambda }_k}$，主成分$Z_1,\cdots ,Z_m$的累计贡献率为
$$\frac{{\sum }_{k=1}^m{\lambda }_k}{{\sum }_{i=1}^p{\lambda }_i}.(m<p)$$

贡献率描述的是主成分对整体的贡献，接下来的定义则注重于总体的某一个维度。

因子载荷：定义主成分$Z_k$与原始变量$X_i$的相关系数$\rho (Z_k,X_i)$为因子载荷量，也就是
$$\rho (Z_k,X_i)=\frac{\sqrt{{\lambda }_k}{a}_{ik}}{\sqrt{{\sigma }_{ii}}}.$$
因子载荷的性质：
$$\begin{gathered} \sum _{k=1}^p{\rho }^2(Z_k,X_i)=1, \\ \sum _{i=1}^p{\sigma }_{ii}{\rho }^2(Z_k,X_i)={\lambda }_k. \end{gathered}$$

有了因子载荷，结合其关于某一维度的平方为1的特点，可以定义主成分对原始变量的贡献率，这表示每个变量被提取信息的多少。

主成分对原始变量$X_i$的贡献率：定义为$X_i$与前$m$个主成分$Z_1,\cdots ,Z_m$的相关系数的平方，即
$${\nu }_i^{(m)}=\sum _{k=1}^m\frac{{\lambda }_k{a}_{ik}^2}{{\sigma }_{ii}}.$$

3.样本的主成分

在实际生活中，总体的协方差矩阵往往未知，需要通过样本来估计。总体的协方差矩阵可以用样本协方差阵来估计，设数据阵为$X_{n\times p}$，样本数为$n$，则样本协方差阵为
$$S=\frac{1}{n-1}A=\frac{1}{n-1}{X}^{\prime }X=\frac{1}{n-1}\sum _{t=1}^n(X_{(t)}-\bar{X})(X_{(t)}-\bar{X}{)}^{\prime }\stackrel{\mathrm{d}\mathrm{e}\mathrm{f}}{=}(s_{ij}{)}_{p\times p}.$$
将$S$作为$\Sigma$的估计后，就可以求$S$的特征值${\lambda }_1,\cdots ,{\lambda }_p$与特征向量$a_1,\cdots ,a_p$，也就是$p$个主成分$Z_1,\cdots ,Z_p$。每一个主成分对每个样本的发挥不同，把第$t$个样品$X_{(t)}$代入第$k$个主成分$Z_k$，得到的值为$z_{tk}$称为第$t$个样品在第$i$个主成分的得分，构成矩阵$Z=(z_{ij}{)}_{n\times p}$，它与数据矩阵是同规模的，这里第$t$行是第$t$个样品在$p$个主成分的得分（记作$Z_{(t)}$），第$k$列是第$k$主成分对$n$个样品的得分（记作${\mathsf{Z}}_k$）。

样本主成分也具有贡献率、累计贡献率，并且有以下的性质：

正交性：$\bar{Z}=\frac{1}{n}{\sum }_{t=1}^n{Z}_{(t)}=0$，且当$i\ne j$时${\mathsf{Z}}_i^{\prime }{\mathsf{Z}}_j=0$，也就是不同主成分得分向量相互正交。

得分向量的模：${\mathsf{Z}}_i^{\prime }{\mathsf{Z}}_i=(n-1){\lambda }_i$，这里${\lambda }_i$是样本协方差阵的第$i$特征值。

不仅如此，样本主成分还能最小化残差平方和，这里的残差平方和指的是选取$m$个主成分作回归：
$$X_{p\times 1}=B_{p\times m}{Z}_{m\times 1}+{\epsilon }_{p\times 1},$$
找一个$B_{p\times m}=(b_{ij}{)}_{p\times m}$使得残差平方和${\epsilon }_{1\times p}^{\prime }{\epsilon }_{p\times 1}=Q(B)$最小，而这里每一个维度，都有$n$个观测值作为样本。

最优分解：样本主成分具有使残差平方和最小的优越性。

回顾总结

1. 主成分分析的目的是，用少数几个指标值代替高维样本空间，在降维的同时尽可能保留信息，一般希望保留的信息达到70%以上。

2. 总体的主成分，就是自协方差矩阵$\Sigma$的按大小排列特征值的对应特征向量，记每个主成分的贡献为
   $$\frac{{\lambda }_k}{{\sum }_{i=1}^p{\lambda }_i}.$$
   前$m$个主成分的累计贡献率就是各自贡献率的加总。

3. 定义第$k$个主成分与第$i$个维度变量的相关系数为因子载荷$\rho (Z_k,X_i)$，有${\sum }_{k=1}^p{\rho }^2(Z_k,X_i)$。用因子载荷衡量主成分对某个变量的贡献率，即
   $$\sum _{k=1}^m{\rho }^2(Z_k,X_i).$$

4. 用样本协方差阵替代总体协方差阵计算特征值和特征向量，能得到样本主成分，且样本主成分具有使残差平方和最小的特性。