PCA主成分分析（降维）过程推导

主成分分析的作用是降维。当数据量有多个维度时，有些维度对于数据的贡献大，有些维度对数据的贡献小。通过主成分分析，找到重要的维度，能大大减少计算量。

PCA的中心思想：

一个中心：原始特征空间的重构。

两个基本点：最大投影方差，最小重构距离。

---------------------------------------------------------------------------------------------------------------------------------

最小重构距离通过下面的式子来构建。

重构前：(xn是去中心化的每个样本)

表示原始的点，能表示成d个向量（d个维度）的和。通过分解，它能够分解到两组向量上，PCA保留了一部分，舍弃了一部分，舍弃了这部分，保留了这部分。a是每个分解的向量u上的长度，相乘后求和就可以重构原样本。

一个点投影到u_m上的效果，和所有点投影到紫色的线上的效果（二维转化为一维）

 

 

 

重构后：

重构的代价就是使重构前后的距离最小：（两个式子相减后剩下后面这部分）

这里的S是协方差矩阵。

则损失函数为：

使用拉格朗日乘子约束优化，式子变成：

(1)拉格朗日优化后

(2)求导

则：

（3）结果：

 表示S的特征向量，表示特征值 。

---------------------------------------------------------------------------------------------------------------------------------

则PCA的步骤为：

1.求平均值，去中心化

2.计算协方差矩阵

3.特征分解

矩阵分解的过程就像下面这样子

4.用特征值对U的列进行排序

5.选择M个特征向量，形成

6.进行投影