个人学习笔记（十七）主成分分析

       一直都抽不出时间写第十七篇读书笔记，直到前两天去面PDD被问到主成分分析的推导，完全想不起来的同时也决定回来把PCA这个坑给填上，顺便加深一下记忆。主成分分析(principal component analysis, PCA)利用正交变换把由线性相关变量表示的观测数据转换为少数几个由线性无关变量表示的数据，这些线性无关的变量被称为主成分。

一、总体主成分分析

       主成分分析中，首先对给定数据进行规范化，使得数据每一变量的平均值为0，方差为1，再对数据进行正交变换，把原来线性相关变量表示的数据，变成若干个线性无关的新变量表示的数据。这里认为新变量的方差表示新变量上信息的大小，因此为了尽量保存更多的信息，新变量选择所有可能的正交变换中变量的方差最大的若干个。
       设$x=(x_1,x_2,\cdots ,x_m{)}^T$是$m$维随机变量，其均值向量是$\mu$，即
$$\mu =E(x)=({\mu }_1,{\mu }_2,\cdots ,{\mu }_m)$$       注意，上面的$x_i$是随机变量，可以想象成$x_i$是个列向量，它在不同的样本中有不同的取值，而${\mu }_i$是一个值，可以想象成$x_i$在所有样本中的平均值。接着计算$x$的协方差矩阵$\Sigma$
$$\Sigma =cov(x,x)=E[(x-E(x))(x-E(x){)}^T]=E[(x-\mu )(x-\mu {)}^T]$$       接着我们来考虑对$m$维随机变量$x$进行多个线性变换，第$i$个$y_i$线性变换就可以表示为
$$y_i={\alpha }_i^{T}x={\alpha }_{1i}{x}_1+{\alpha }_{2i}{x}_2+\cdots +{\alpha }_{mi}{x}_m$$       如果我们有$m$个线性变换，就可以得到由$x$变换而来的新的$m$维随机变量$y=(y_1,y_2,\cdots ,y_m{)}^T$。我们对新的$m$维随机变量进行研究，注意，这里是对单个$y_i$随机变量进行探讨，所以下面的$E(y_i),var(y_i),cov(y_i,y_j)$所指代的都是一个值，而非矩阵或者向量。
       首先来看新随机变量$y_i$的均值$E(y_i)$
$$E(y_i)=E({\alpha }_i^{T}x)={\alpha }_i^{T}E(x)={\alpha }_i^T\mu$$       再来看$y_i$的方差$var(y_i)$，由于
$$var(y_i)=E[(y_i-E(y_i))(y_i-E(y_i){)}^T]$$       代入$y_i,E(y_i)$的表达式可得
$$var(y_i)=E[({\alpha }_i^{T}x-{\alpha }_i^T\mu )({\alpha }_i^{T}x-{\alpha }_i^T\mu {)}^T]={\alpha }_i^{T}E[(x-\mu )(x-\mu {)}^T]{\alpha }_i$$       即
$$var(y_i)={\alpha }_i^T\Sigma {\alpha }_i$$       最后来看两个新随机变量$y_i,y_j$的协方差$cov(y_i,y_j)$
$$cov(y_i,y_j)=E[({\alpha }_i^{T}x-{\alpha }_i^T\mu )({\alpha }_j^{T}x-{\alpha }_j^T\mu {)}^T]={\alpha }_i^T\Sigma {\alpha }_j$$       推导出这一系列公式后，下面给出总体主成分需要满足的三个条件。
       （1）${\alpha }_i$是单位向量，即${\alpha }_i^T{\alpha }_i=1$。
       （2）变量$y_i,y_j$互不相关，即$cov(y_i,y_j)=0$。
       （3）变量$y_1$是所有线性变换中方差最大的，$y_2$是所有与$y_1$不相关的线性变换中方差最大的，依次类推。
       因此，设$\Sigma$是$m$维随机变量$x$的协方差矩阵，且$\Sigma$的特征值分别是${\lambda }_1\ge {\lambda }_2\ge \cdots \ge 0$，特征值对应的特征向量分别是${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_m$，则$x$的第$k$主成分是
$$y_k={\alpha }_k^{T}x$$       $x$的第$k$主成分的方差是
$$var(y_k)={\alpha }_k^T\Sigma {\alpha }_k={\lambda }_k,k=1,2,\cdots ,m$$       因此有
$$\Sigma {\alpha }_k={\lambda }_k{\alpha }_k$$       用矩阵表示即为
$$\Sigma A=A\Lambda$$       这里的$A=[a_{ij}{]}_{m\times m}$，$\Lambda$是对角矩阵，由上式可以得到两个公式
$$A^T\Sigma A=\Lambda$$$$\Sigma =A\Lambda A^T$$       下面叙述总体主成分的性质
       （1）总体主成分$y$的协方差矩阵是对角矩阵
$$cov(y)=cov(A^{T}x)=A^{T}cov(x)A=A^T\Sigma A=\Lambda$$       （2）总体主成分$y$的方差之和等于随机变量$x$的方差之和
$$\sum _{i=1}^{m}var(x_i)=\sum _{i=1}^m{\sigma }_{ii}=tr(\Sigma )=tr(A\Lambda A^T)=tr(\Lambda )=\sum _{i=1}^m{\lambda }_i=\sum _{i=1}^{m}var(y_i)$$       上面${\sigma }_{ii}$是随机变量$x_i$的方差，即协方差矩阵$\Sigma$的对角线元素。
       （3）第$k$个主成分$y_k$与变量$x_i$的相关系数为
$$\rho (y_k,x_i)=\frac{\sqrt{{\lambda }_k}{\alpha }_{ik}}{\sqrt{{\sigma }_{ii}}}$$       （4）第$k$个主成分$y_k$与$m$个变量的因子负荷量满足
$$\sum _{i=1}^m{\sigma }_{ii}{\rho }^2(y_k,x_i)={\lambda }_k$$       （5）$m$个主成分与第$i$个变量$x_i$的因子负荷量满足
$$\sum _{k=1}^m{\rho }^2(y_k,x_i)=1$$       主成分分析的主要目的是降维，所以一般选择$k(k\le m)$个主成分来使问题得以简化。具体选择$k$的方法，通常利用方差贡献率。
       第$k$主成分$y_k$的方差贡献率定义为$y_k$的方差与所有方差之和的比，记作${\eta }_k$
$${\eta }_k=\frac{{\lambda }_k}{{\sum }_{i=1}^m{\lambda }_i}$$       通常取$k$使得累计方差贡献率达到规定的百分比以上。
       接下来要讨论的是规范化变量的总体主成分分析，设$x$是$m$维随机变量，令
$$x_i^{\ast }=\frac{x_i-E(x_i)}{\sqrt{var(x_i)}},i=1,2,\cdots ,m$$       显然，规范化随机变量$x^{\ast }$的协方差矩阵就是相关矩阵$R$，因此规范化随机变量的总体主成分$y^{\ast }$有以下性质：
       （1）$y^{\ast }$的协方差矩阵是
$${\Lambda }^{\ast }=diag({\lambda }_1^{\ast },{\lambda }_2^{\ast },\cdots ,{\lambda }_m^{\ast })$$       其中${\lambda }_1^{\ast }\ge {\lambda }_2^{\ast }\ge \cdots {\lambda }_m^{\ast }\ge 0$是相关矩阵$R$的特征值。
       （2）$y^{\ast }$的协方差矩阵的特征值之和为$m$
$$\sum _{k=1}^m{\lambda }_k^{\ast }=m$$

二、样本主成分分析

       上面一节讲述的是总体主成分分析，针对的是$x$这个$m$维随机变量，但在实际问题中没有随机变量，只有一个变量在$n$个样本上的观测值，这需要用到样本主成分分析了。
       设观测数据用样本矩阵$X$表示，记作
$$X=[x_1,x_2,\cdots ,x_n]$$       给定样本矩阵后，可以估计样本均值向量$\bar{x}$
$$\bar{x}=\frac{1}{n}\sum _{j=1}^n{x}_j$$       也可以计算任意两个特征向量$i,j$的协方差与相关系数
$$s_{ij}=\frac{1}{n-1}\sum _{k=1}^n(x_{ik}-{\bar{x}}_i)(x_{jk}-{\bar{x}}_j)$$$$r_{ij}=\frac{s_{ij}}{\sqrt{s_{ii}{s}_{jj}}}$$       进而计算出样本协方差矩阵$S$与样本相关矩阵$R$
$$S=[s_{ij}{]}_{m\times m}$$$$R=[r_{ij}{]}_{m\times m}$$       这里的$S$与$R$都是对总体的无偏估计。
       在使用样本主成分时，一般假设样本数据都是规范化的，即
$$x_{ij}^{\ast }=\frac{x_{ij}-{\bar{x}}_i}{\sqrt{s_{ii}}}$$       这时样本协方差矩阵$S$就是样本相关矩阵$R$
$$R=\frac{1}{n-1}X{X}^T$$
       接着叙述主成分分析的求解方法，传统的求解方法是通过数据的相关矩阵特征值分解进行的，具体步骤为：
       （1）对数据矩阵$X$进行规范化处理，仍以$X$表示
       （2）计算样本相关矩阵
$$R=\frac{1}{n-1}X{X}^T$$       （3）求$R$的$k$个特征值和对应的单位特征向量
       除了传统的特征值分解求法，现在常用的是通过数据矩阵的奇异值分解进行，首先定义一个新的$n\times m$矩阵$X^{\prime }$
$$X^{\prime }=\frac{1}{\sqrt{n-1}}{X}^T$$       由于
$$X^{\prime T}{X}^{\prime }=\frac{1}{n-1}X{X}^T=R$$       因此对$X^{\prime }$求截断奇异值分解$X^{\prime }=U\Sigma V^T$后，$V$的列向量就是$R$的单位特征向量。对$X^{\prime }$进行截断奇异值分解，得到
$$X^{\prime }=U\Sigma V^T$$       矩阵$V$的前$k$列构成$k$个样本主成分，最终求得$k\times n$样本主成分矩阵
$$Y=V^{T}X$$