《统计学习方法》学习笔记 第十六章 PCA(principal component analysis)

1 总体主成分分析

1.1 基本想法

（以前学过，很好理解，不放了）

1.2 定义和导出

$\mathbf{x}=(x_1,x_2,\cdots ,x_m{)}^T$
$\mathbf{\mu }=E(\mathbf{x})=({\mu }_1,{\mu }_2,\cdots ,{\mu }_m)$
$\Sigma =\mathbf{c}\mathbf{o}\mathbf{v}(\mathbf{x},\mathbf{x})=E[(\mathbf{x}-\mathbf{\mu })(\mathbf{x}-\mathbf{\mu }{)}^T]$

${\alpha }_i=({\alpha }_{1i},{\alpha }_{2i},\cdots ,{\alpha }_{mi}{)}^T,i=1,2,\cdots ,m$
$y_i={\alpha }_i^T\mathbf{x}={\alpha }_{1i}{x}_1+{\alpha }_{2i}{x}_2+\cdots +{\alpha }_{mi}{x}_m(1)$

Properties
①$E(y_i)={\alpha }_i^T\mu ,i=1,2,\cdots ,m$
②$\mathbf{v}\mathbf{a}\mathbf{r}(y_i)={\alpha }_i^T\Sigma {\alpha }_i,i=1,2,\cdots ,m$
③$\mathbf{c}\mathbf{o}\mathbf{v}(y_i,y_j)={\alpha }_i^T\Sigma {\alpha }_j,i,j=1,2,\cdots ,m$

Definition(总体主成分) 给定一个如(1)所示的线性变换，如果它们满足下列条件：
①${\alpha }_i^T\alpha =1,i=1,2,\cdots ,m$
②$\mathbf{c}\mathbf{o}\mathbf{v}(y_i,y_j)=0(i\ne j)$
③一般地，$y_i$是与$y_1,y_2,\cdots ,y_{i-1}(i=1,2,\cdots ,m)$都不相关的$\mathbf{x}$的所有线性变换中方差最大的

1.3 主要性质

Theorem 设$\mathbf{x}$是m维随机向量，$\Sigma$的特征值为${\lambda }_1\ge {\lambda }_2\ge \cdots \ge {\lambda }_m\ge 0$，特征值对应的单位特征向量分别是${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_m$，则$\mathbf{x}$的第k主成分是
$y_k={\alpha }_k^{T}x={\alpha }_{1k}{x}_1+{\alpha }_{2k}{x}_2+\cdots +{\alpha }_{mk}{x}_m,k=1,2,\cdots ,m$
$\mathbf{x}$的第k主成分的方差是$\mathbf{v}\mathbf{a}\mathbf{r}(y_k)={\alpha }_k^T\Sigma {\alpha }_k={\lambda }_k,k=1,2,\cdots ,m$
(证明略)

推论 $\mathbf{y}=(y_1,y_2,\cdots ,y_m{)}^T$的分量依次是$\mathbf{x}$的第一主成分到第m主成分的充要条件是：
①$\mathbf{y}=A^T\mathbf{x}$，A是正交矩阵
$A=\left[\begin{array}{cccc}{\alpha }_{11}& {\alpha }_{12}& \cdots & {\alpha }_{1m}\\ {\alpha }_{21}& {\alpha }_{22}& \cdots & {\alpha }_{2m}\\ ⋮& ⋮& & ⋮\\ {\alpha }_{m1}& {\alpha }_{m2}& \cdots & {\alpha }_{mm}\end{array}\right]$
②$\mathbf{c}\mathbf{o}\mathbf{v}(\mathbf{y})=diag({\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_m),{\lambda }_1\ge {\lambda }_2\ge \cdots \ge {\lambda }_m$

$\Sigma {\alpha }_k={\lambda }_k{\alpha }_k$
$\Sigma A=A\Lambda$
$\Sigma =A\Lambda A^T$,$\Lambda =A^T\Sigma A$

总体主成分的性质
①$\mathbf{c}\mathbf{o}\mathbf{v}(\mathbf{y})=diag({\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_m)$
②$\sum _{i=1}^m{\lambda }_i=\sum _{i=1}^m{\sigma }_{ii}$ (利用trace的性质)
③factor loading
第k个主成分$y_k$与变量$x_i$的相关系数$\rho (y_k,x_i)$称为因子负荷量，$\rho (y_k,x_i)=\frac{cov(y_k,x_i)}{\sqrt{var(y_k)var(x_i)}}=\frac{cov({\alpha }_k^T\mathbf{x},e_i^T\mathbf{x})}{\sqrt{{\lambda }_k{\sigma }_{ii}}}=\frac{{\alpha }_k^T\Sigma e_i}{\sqrt{{\lambda }_k{\sigma }_{ii}}}=\frac{e_i^T\Sigma {\alpha }_k}{\sqrt{{\lambda }_k{\sigma }_{ii}}}=\frac{\sqrt{{\lambda }_k}{e}_i^T{\alpha }_k}{\sqrt{{\sigma }_{ii}}}=\frac{\sqrt{{\lambda }_k}{\alpha }_{ik}}{\sqrt{{\sigma }_{ii}}}$
④$\sum _{i=1}^m{\sigma }_{ii}{\rho }^2(y_k,x_i)=\sum _{i=1}^m{\lambda }_k{\alpha }_{ik}^2={\lambda }_k$
⑤$\sum _{k=1}^m{\rho }^2(y_k,x_i)=1$

1.4 主成分的个数

取$\mathbf{x}$的前q个主成分时，能够最大限度地保留原有变量方差的信息；舍弃变量$\mathbf{x}$的后p个主成分时，原有变量的方差的信息损失最少。

Definition(方差贡献率) ${\eta }_k=\frac{{\lambda }_k}{\sum _{i=1}^m{\lambda }_i},\sum _{i=1}^k{\eta }_i=\frac{\sum _{i=1}^k{\lambda }_i}{\sum _{i=1}^m{\lambda }_i}$

Definition k个主成分$y_1,y_2,\cdots ,y_k$对原有变量$x_i$的贡献率定义为$x_i$与$(y_1,y_2,\cdots ,y_k)$的相关系数的平方，记作$v_i$
$v_i={\rho }^2(x_i,(y_1,y_2,\cdots ,y_k))=\sum _{j=1}^k{\rho }^2(x_i,y_j)$

1.5 规范化变量的总体主成分

$x_i^{\ast }=\frac{x_i-E(x_i)}{\sqrt{var(x_i)}}$，协方差矩阵换为相关矩阵。性质类似，自己推。

2 样本主成分分析

2.1 样本主成分

样本矩阵$\mathbf{X}=\left[\begin{array}{cccc}{x}_{11}& x_{12}& \cdots & x_{1n}\\ x_{21}& x_{22}& \cdots & x_{2n}\\ ⋮& ⋮& & ⋮\\ x_{m1}& x_{m2}& \cdots & x_{mn}\end{array}\right]$
$\bar{x}=\frac{1}{n}\sum _{j=1}^n{x}_j$
${\bar{x}}_i=\frac{1}{n}\sum _{k=1}^n{x}_{ik},{\bar{x}}_j=\frac{1}{n}\sum _{k=1}^n{x}_{jk}$
$S=[s_{ij}{]}_{m\times m}$
$s_{ij}=\frac{1}{n-1}\sum _{k=1}^n(x_{ik}-{\bar{x}}_i)(x_{jk}-{\bar{x}}_j)$
$R=[r_{ij}{]}_{m\times m},r_{ij}=\frac{s_{ij}}{\sqrt{s_{ii}{s}_{jj}}}$

样本主成分的定义类似，就是用S代替$\Sigma$。

2.2 相关矩阵的特征值分解方法

①对观测数据进行规范化处理，得到规范化数据矩阵，仍以X表示
②计算$R=[r_{ij}{]}_{m\times m}=\frac{1}{n-1}X{X}^T$
③$|R-\lambda I|=0\Rightarrow {\lambda }_1\ge {\lambda }_2\ge \cdots \ge {\lambda }_m$
选择方差贡献率达到预定值的主成分个数k，对应的单位特征向量为$a_i=(a_{1i},a_{2i},\cdots ,a_{mi}{)}^T,i=1,2,\cdots ,k$
④求k个样本主成分 $y_i={\alpha }_i^{T}x$
⑤计算k个主成分$y_j$与原变量$x_i$的相关系数$\rho (x_i,y_j)$，以及k个主成分对原变量$x_i$的贡献率$v_i$
⑥计算n个样本的k个主成分值

2.3 数据矩阵的奇异值分解算法

输入：$m\times n$样本矩阵X，其每一行元素的均值为0
输出：$k\times n$样本主成分矩阵Y
参数：主成分个数k
①$X^{\prime }=\frac{1}{n-1}{X}^T,S_X=X^{\prime T}{X}^{\prime }$
②对矩阵$X^{\prime }$进行截断奇异值分解，得到$X^{\prime }=U\Sigma V^T$
③求$k\times n$样本主成分矩阵，$Y=V^{T}X$

总结

知识点不难，而自用者实难！