主成分分析（Principal Component Analysis,PCA）

输入： 原始数据$X\in R^{d\times n}$ 、降维后的维数k
输出： Y=PX，即降维后的数据。

算法步骤：

• 1.将X的每一行进行零均值化，即减去这一行的均值
• 2.求出协方差矩阵$C=\frac{1}{m}X{X}^T$
• 3.求出协方差矩阵的特征值和特征向量
• 4.将特征向量按对应的特征值的大小从上到下按行排列成矩阵，取前k行组成矩阵P
• 5.$Y=PX$即为降维后的数据

最优化方法的推导证明：

我们希望变化后的数据，协方差为0且数据内方差尽可能大

本点 $x_i$在基 $w$ 下的坐标为： $(x_i,w)=x_i^{T}w$ ，于是我们有方差：

$$\begin{gathered} D(x)=\frac{1}{m}\sum _{i=1}^m(x_i^{T}w{)}^2 \\ =\frac{1}{m}{\Sigma }_{i=1}^m(x_i^{T}w{)}^T(x_i^{T}w) \\ =\frac{1}{m}{\Sigma }_{i=1}^m{w}^T{x}_i{x}_i^{T}w \\ =w^T(\frac{1}{m}{\Sigma }_{i=1}^m{x}_i{x}_i^T)w \end{gathered}$$

我们看到 $\frac{1}{m}{\Sigma }_{i=1}^m{x}_i{x}_i^T$ 就是原样本的协方差，我们另这个矩阵为 Λ ，于是我们有：

$$\{\begin{array}{l}max{w}^T\Lambda w\\ s.t.w^{T}w=1\end{array}$$
然后构造拉格朗日函数：
$$L(w)=w^t\Lambda w+\lambda (1-w^{T}w)$$
对 w 求导：

$$\Lambda w=\lambda w$$
此时我们的方差为：

$$D(x)=w^T\Lambda w=\lambda w^{T}w=\lambda$$
x 投影后的方差就是协方差矩阵的特征值。要找到最大方差也就是协方差矩阵最大的特征值，最佳投影方向就是最大特征值所对应的特征向量，次佳就是第二大特征值对应的特征向量，以此类推。

至此完成了基于最大可分性的 PCA 数学证明