PCA-1 主成分分析--主成分

主成分分析(principal component analysis,PCA ) 是一种的常见的无监督学习方法，这一方法利用正交变换把由线性相关变量表示的观测数据转换为少数几个有线性无关变量表示的数据。
这些线性无关的变量被称为主成分，主成分的个数通常小于原始变量。

所以主成分是观测数据(样本)的,不同的观测数据(样本)的主成分是不一样的。
可以理解成观测数据的另外一个维度。

1. PCA的定义(主要介绍样本主成分)

考虑由m维随机变量$x={\left[\begin{array}{llll}{x}_1& x_2& \cdots & x_m\end{array}\right]}^{\top }$到m维随机变量$y={\left[\begin{array}{llll}{y}_1& y_2& \cdots & y_m\end{array}\right]}^{\top }$的线性变换：
$$\mathbf{y}=A^{\mathrm{T}}\mathbf{x}$$
即：
$$\left[\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_m\end{array}\right]=\left[\begin{array}{cccc}{a}_{11}& a_{21}& \cdots & a_{m1}\\ a_{12}& a_{22}& \cdots & a_{m2}\\ ⋮& ⋮& & ⋮\\ a_{1m}& a_{2m}& \cdots & a_{mm}\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_m\end{array}\right]$$

$$y_i={\alpha }_i^{\mathrm{T}}\mathbf{x}=\sum _{k=1}^m{\alpha }_{ki}{x}_k,i=1,2,\cdots ,m$$
其中${\alpha }_i^{\mathrm{T}}=\left({\alpha }_{1i},{\alpha }_{2i},\cdots ,{\alpha }_{mi}\right)$。

如果该线性变换满足一下条件，则称$y_i$为主成分：
(1) ${\alpha }_i^{\mathrm{T}}{\alpha }_i=1,i=1,2,\cdots ,m$ 。${\alpha }_i$是一个长度为1的向量。

(2) $\mathrm{cov}\left(y_i,y_j\right)=0(i\ne j)$，主成分都是线性无关的。

(3) $x$经过不同的${\alpha }_i$线性变换会得到不同的结果$y_i$,在所有线性变换中存在一个线性变换使得变量$y_i$方差是最大的；

$y_2$是与$y_1$不相关的$x$的所有线性变换中方差最大的；

一般地，$y_i$是与$y_1,y_2,\cdots ,y_{i-1},(i=1,2,\cdots ,m)$都不相关的$x$的所有线性变换中方差最大的；这时分别称$y_1,y_2,\cdots ,y_m$为$x$的第一主成分，第二主成分，… 第m住成分。

参考资料

《统计学习方法》,李航