主成分分析(principal components analysis, PCA)是一个简单的机器学习算法，可以通过基础的线性代数知识推导。

假设在Rⁿ空间中有m个点。

编码这些点的一种方式是用低维表示。对于每个点

，会有一个对应的编码向量

。如果l比n小，那么我们便对原来的数据进行了有损压缩，我们希望找到一个编码函数，根据输入返回编码，

;我们也希望找到一个解码函数，给定编码重构输入

PCA由我们选择的解码函数而定。为了简化解码器，我们使用矩阵乘法将编码映射回Rⁿ,即

, 其中

是定义解码的矩阵。

目前为止，所描述的问题可能会有多个解，因为如果我们按比例缩小所有点对应的编码向量c⁽ⁱ⁾，那么只需按比例放大D⁽ⁱ⁾即可保持结果不变，为了使问题有唯一解，我们限制D中所有列向量都有单位范数。

计算这个解码器的最优编码可能是一个困难的问题。为了使编码问题简单一些，PCA限制D的列向量彼此正交(注意，除非l=n，否则严格意义上D不是一个正交矩阵)。

为了将这个基本想法变为我们能够实现的算法，首先我们需要明确如何根据每一个输入x得到一个最优编码c。一种方法是最小化原始输入向量x和重构向量g(c)之间的距离。我们使用范数来衡量他们之间的距离。在PCA算法中，我们使用L2范数

我们可取平方L2范数代替L2范数，

该最小化函数可以简化成

因为第一项x^Tx不依赖于c，所以我们可以忽略它，得到以下优化目标：

更进一步，带入g(c)的定义：

我们可以通过向量微积分来求解这个最优化问题

最优编码x只需要一个矩阵-向量乘法操作。

为了编码向量，我们使用编码函数

进一步使用矩阵乘法，我们也可以定义PCA重构操作：

。
接下来，我们需要挑选编码矩阵D。因为用相同的矩阵D对所有点进行编码，我们不能再孤立的看待每个点。反之，我们必须最小化所有位数和所有点上的误差矩阵的Frobenius范数：

为了推到用于寻求D的算法，我们首先考虑l=1的情况，在这种情况下，D是一个单一向量d，问题简化为：

此时，使用单一矩阵来重述问题，比将问题写成求和形式更有帮助，这有助于我们使用更紧凑的符号，将表示各点的向量堆叠成一个矩阵，记为

，其中

，原问题可重述为，

暂不考虑约束，我们可以将Frobenius范数简化成下面的形式：

此时，我们再来考虑约束条件

利用拉格朗日函数可以得到：

对d求导有

即为

这个优化问题可以通过特征分解来求解，具体来讲，最优的d是X^TX最大特征值对应的特征向量。

以上推到特定于l=1的情况，仅得到了一个主成分，更一般的，当我们希望得到主成分的基时，矩阵D由前1个最大的特征值对应的特征向量组成。

如果你熟悉谱聚类的优化过程，就会发现和PCA的非常类似，只不过谱聚类是求前k个最小的特征值对应的特征向量，而PCA是求前k个最大的特征值对应的特征向量。

PCA算法流程

输入：n维样本集

,要降维到n'。

输出：降维后的样本集D'

对所有的样本进行中心化(去均值)：

计算样本的协方差矩阵XX^T
对矩阵XX^T进行特征值分解
取出最大的n'个特征值对应的特征向量

将所有的特征向量标准化后，组成特征向量矩阵W。

对样本集中的每一个样本x⁽ⁱ⁾，转换为新的样本z⁽ⁱ⁾=W^Tx⁽ⁱ⁾
得到输出样本集D'=(z⁽¹⁾,z⁽²⁾,...,z^(m))
有时候，我们不指定降维后的n'的值，而是换种方式，指定一个降维到主成分比重阈值t。这个阈值t在(0,1]之间。假如我们的n个特征值为

，则n'可通过下式得到：

PCA实例

下面举一个简单的例子，说明PCA的过程。

假设我们的数据集有10个二维数据(2.5,2.4), (0.5,0.7), (2.2,2.9), (1.9,2.2), (3.1,3.0), (2.3, 2.7), (2, 1.6), (1, 1.1), (1.5, 1.6), (1.1, 0.9)，需要用PCA降到1维特征。

首先我们对样本中心化，这里样本的均值为(1.81, 1.91),所有的样本减去这个均值后，即中心化后的数据集为(0.69, 0.49), (-1.31, -1.21), (0.39, 0.99), (0.09, 0.29), (1.29, 1.09), (0.49, 0.79), (0.19, -0.31), (-0.81, -0.81), (-0.31, -0.31), (-0.71, -1.01)。

现在我们开始求样本的协方差矩阵，由于我们是二维的，则协方差矩阵为：

协方差矩阵

求出特征值为(0.490833989, 1.28402771)，对应的特征向量分别为：
(0.735178656, 0.677873399)^T，(−0.677873399, −0.735178656)^T,由于最大的k=1个特征值为1.28402771，对于的k=1个特征向量为(−0.677873399, −0.735178656)^T，则我们的W=(−0.677873399, −0.735178656)^T。我们对所有的数据集进行投影

，得到PCA降维后的10个一维数据集为：
(-0.827970186， 1.77758033， -0.992197494， -0.274210416， -1.67580142， -0.912949103， 0.0991094375， 1.14457216, 0.438046137， 1.22382056)

核主成分分析KPCA

在上面的PCA算法中，我们假设存在一个线性的超平面，可以让我们对数据进行投影。但是有些时候，数据不是线性的，不能直接进行PCA降维。这里就需要用到和支持向量机一样的核函数的思想，先把数据集从n维映射到线性可分的高维N>n,然后再从N维降维到一个低维度n', 这里的维度之间满足n'

使用了核函数的主成分分析一般称之为核主成分分析(Kernelized PCA, 以下简称KPCA。假设高维空间的数据是由n维空间的数据通过映射ϕ产生。

则对于n维空间的特征分解：

映射为：

通过在高维空间进行协方差矩阵的特征值分解，然后用和PCA一样的方法进行降维。一般来说，映射ϕ不用显式的计算，而是在需要计算的时候通过核函数完成。由于KPCA需要核函数的运算，因此它的计算量要比PCA大很多。

PCA算法总结

这里对PCA算法做一个总结。作为一个非监督学习的降维方法，它只需要特征值分解，就可以对数据进行压缩，去噪。因此在实际场景应用很广泛。为了克服PCA的一些缺点，出现了很多PCA的变种，比如为解决非线性降维的KPCA，还有解决内存限制的增量PCA方法Incremental PCA，以及解决稀疏数据降维的PCA方法Sparse PCA等。

PCA算法的主要优点有：

仅仅需要以方差衡量信息量，不受数据集以外的因素影响。
各主成分之间正交，可消除原始数据成分间的相互影响的因素。
计算方法简单，主要运算是特征值分解，易于实现。

PCA算法的主要缺点有：

主成分各个特征维度的含义具有一定的模糊性，不如原始样本特征的解释性强。
方差小的非主成分也可能含有对样本差异的重要信息，因降维丢弃可能对后续数据处理有影响。

本文参考
https://www.cnblogs.com/pinard/p/6239403.html
以及花书2.12

花书---实例：主成分分析