PCA降维全过程

PCA的目的

• 将原有的d维数据集，转换成k维的数据（k
• 新生成的k维数据尽可能的包含原来d维数据的信息

PCA的数学推导

假设对n个样本$x_i$进行PCA处理，先对数据进行中心化，即将数据的均值变为0（为了后面计算的方便，不用减去mean）
$$\frac{1}{N}\sum _{i=1}^N{x}_i=0$$
则数据集的协方差矩阵为
$$Cov(x_i,x_j)=\frac{1}{n}\sum _{i=1}^n(x_i-{\mu }_i)(x_j-{\mu }_j)$$
由于上面已经将数据中心化${\mu }_i,{\mu }_j$均为0，所以这里的协方差可以简化为下面的式子
$$Cov(x_i,x_j)=\frac{1}{n}\sum _{i,j=1}^n{x}_i^T{x}_j$$
PCA的主要目的是找到一个线性变换，让数据投影的方差最大化

[补充]内积：

现有两个向量$A=(a_1,a_2),B=(b_1,b_2)$，$AB$的内积是$a_1{b}_1+a_2{b}_2$

当$a,b$表示在二维坐标系中

$AB=|A||B|cos(\theta )$，当$B$是单位向量时$A$在$B$上的投影就是$|A|cos(\theta )$，$AB$的内积就是$A$到$B$的投影长度

假设找到线性变化$u_1$（单位向量）,对$x_i$做线性变化的投影，由上[补充]可知：
$$x_i=u_1^T{x}_i$$
然后计算投影后的均值和方差
$$\begin{gathered} \frac{1}{n}\sum _{i=1}^n{u}_1^T{x}_i=u_1^T\sum _{i=1}^n\frac{1}{n}{x}_i=0 \\ \frac{1}{n}\sum _{i=1}^n(u_1^T{x}_i{)}^2=\frac{1}{n}\sum _{i=1}^n{u}_1^T{x}_i{x}_i^T{u}_1= \\ \frac{1}{n}{u}_1^T\sum _{i=1}^n{x}_i{x}_i^T{u}_1=u_1^{T}S{u}_1（S是原数据的协方差矩阵） \end{gathered}$$

我们要投影后的方差取最大，可以得到优化函数，如下
$$\begin{gathered} \underset{u_1}{\max }{u}_1^{T}S{u}_1（1） \\ s.t.||u_1|{|}^2=1（2） \end{gathered}$$
这里的（1）是我们的目标函数，（2）是约束条件，然后构建拉格朗日函数得
$$\begin{gathered} u_1^{T}S{u}_1+\lambda (1-||u_1|{|}^2)=0 \\ 对u_1求 \\ 2u_{1}S+\lambda (-2u_1)=0 \\ S{u}_1=\lambda u_1 \end{gathered}$$
要求得（1）式的max，即要$\lambda$最大，而$\lambda$是矩阵S的特征值，问题就转换为求S的最大特征值，求解的方法有SVD矩阵分解和特征值分解。

$U^{T}SU=U^T\lambda U=\lambda$，$\lambda$ 和$U$是S的特征值和特征向量组

PCA降维的过程

• x投影后的方差，就是x协方差矩阵的特征值，想要方差最大，就是要找协方差矩阵最大的特征值，最佳投影方向就是最大特征值对应的特征向量
• 协方差的特征值有${\lambda }_1,{\lambda }_2,...,{\lambda }_n$,特征向量有$u_1,u_2,...,u_n$
• 将所有特征值从大到小排列，将相应的特征向量随之排列，选择特征向量的前k行组成的矩阵$(u_1,u_2,...,u_k)$乘以原始数据矩阵X，就得到我们需要的降维后的数据矩阵Y

PCA的流程

假设n个d维样本$x_i$，进行PCA处理

• 将原始数据按列组成d行n列矩阵X
• 将X的每一行去中心化，即减去这一行的均值
• 求出X的协方差矩阵
• 求出协方差矩阵的特征值和对应的特征向量
• 将特征向量根据对应的特征值大小从上到下按行排列，取前m行组成矩阵P
• Y=PX即为降维到m维的数据