统计学习方法学习笔记：第十六章.主成分分析

第十六章：主成分分析（PCA:principal component analysis）

利用$正交变换$把由线性相关变量表示的观测数据转换为少数几个$由线性无关变量表示$的数据，同时尽可能的保留较多的原始数据信息，$线性无关的变量称为主成分，$属于$降维方法$

总体主成分分析

基本思想：首先对给定数据进行$规范化$（这里是标准化，即减均值，除标准差），使得数据的$每一个变量均值为0，方差为1$，再进行$正交变换$，得到若干个$线性无关的新变量$，依次将这些新变量称为第一主成分、第二主成分等；

$主成分分析在旋转变换中选取离样本点的距离平方和最小的轴（这样，变换后的方差才能最大）作为第一主成分；$
第二主成分等的选取，在$保证与已选坐标轴正交$的条件下，类似的进行；

m维向量 x 到 m 维向量的线性变换：

$y_i=a_i^{T}x=a_{1i}{x}_1+a_{2i}{x}_2+\cdots +a_{mi}{x}_m，i=1,2,...,m$

$cov(y_i,y_j)=a_i^T\Sigma a_j=0,表示y_i,y_j线性无关，\Sigma 为x的协方差矩阵$

其中，$a_i^T$是单位向量

而$y_1$是所有线性变换中方差最大的，也就是第一主成分；$y_i$是与$y_1,y_2,...,y_{i-1}$线性无关的x的线性变换中方差最大的；

$这里意思就是求解系数向量a_i^T使得方差cov(y_i,y_i)=a_i^T\Sigma a_i最大$

定理：用于求解主成分
x 是 m 维随机变量（总体），$\Sigma$是其协方差矩阵，特征值为${\lambda }_1\ge {\lambda }_2\ge \cdots \ge {\lambda }_m\ge 0$,对应的单位特征向量为$a_1,a_2,\cdots ,a_m$，则 x 的第 k 主成分为：

$y_k=a_k^{T}x（拉格朗日乘数法求得）；方差为var(y_k)=a_k^T\Sigma a_k={\lambda }_k；$

第一主成分即对应最大的特征值及其相应的特征向量；

$即：y=A^{T}x,cov(y)=diag({\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_m)=A^T\Sigma A,A为正交矩阵，列向量为上述的单位特征向量$

性质：

1. $\sum _{i=1}^m{\lambda }_i=\sum _{i=1}^m{\sigma }_{ii}$：主成分的方差之和等于随机变量 x 的方差之和；
2. 因子负荷量：第 k 个主成分与变量 $x_i$的相关系数：$\rho (y_k,x_i)=\frac{\sqrt{{\lambda }_k}{a}_{ik}}{\sqrt{{\sigma }_{ii}}}$,且有$\sum _{i=1}^m{\sigma }_{ii}{\rho }^2(y_k,x_i)={\lambda }_k,\sum _{k=1}^m{\rho }^2(y_k,x_i)=1$

主成分个数 k 的选择：

k 个主成分的累计方差贡献率：保留信息的比例，根据需要达到的贡献率要求来选取合适的 k 值
$\sum _{i=1}^k{\eta }_i=\frac{\sum _{i=1}^k{\lambda }_i}{\sum _{i=1}^m{\lambda }_i};$

对某一个原有变量$x_i$保留信息的比例：$v_i=\sum _{j=1}^k{\rho }^2(y_j,x_i);$

规范化变量的总体主成分：

把原有数据各个变量规范化后（均值为0，方差为1）进行主成分分析，这时 x 的协方差矩阵即为 相关矩阵 R，主成分分析是在相关矩阵上进行的；对照之前的性质，可以相应得到这里的性质；（只是将协方差矩阵用相关矩阵代替，比如，相关矩阵对角线上的值都为1）

样本主成分分析

样本主成分与总体主成分具有相同的性质，$用样本协方差代替总体协方差$,规范化后的样本矩阵 X 的协方差矩阵即为样本相关矩阵：

$R=\frac{1}{n-1}X{X}^T，这里X的列向量为一个观测样本，行向量对应某一个变量的n组观测值$

主成分分析求解：

相关矩阵的特征值分解算法：

$根据主成分与协方差矩阵或相关矩阵的特征值和特征向量的关系来求解主成分$

数据矩阵的奇异值分解算法：

由奇异值分解性质：$V的列向量为A^{T}A的单位特征向量$

那么构造矩阵：
$X^{\prime }=\frac{1}{\sqrt{n-1}}{X}^T,则X的协方差矩阵（这里是关系矩阵）$

$S_X=X^{\prime T}{X}^{\prime },所以对X^{\prime }进行截断奇异值分解，V的前k列构成k个样本主成分$

$得到k\times n样本主成分矩阵：Y=V^{T}X$