机器学习初探：（十一）主成分分析

主成分分析（Principal Component Analysis）

​ 图片出处

导论

王小明就读的M市某高中举行了一次数学、英语学科的新生摸底测试，学校想通过400名学生的测试成绩将新生分进合适的班级中。

教务老师需要将二维的考试成绩转化为一维的有区分度的评估指标，以便于给学生们分班。我们要寻找的这个评估指标，需要能尽可能保留原始成绩中包含的信息；同时，这一评估指标对整体的400名学生来说，要具有足够的区分度。所以，我们可以使用一种常见的降维方法：主成分分析（Principal Component Analysis） 求解这个评估指标。

为了方便说明，从400个学生中， 随机抽取了20个学生的成绩如下：

学生编号	数学/150	英语/150
1	51	78
2	142	122
3	130	102
4	60	55
5	23	95
6	112	110
7	126	122
8	120	103
9	117	90
10	43	119
11	48	68
12	56	56
13	64	103
14	70	82
15	76	91
16	92	120
17	108	116
18	10	90
19	80	108
20	85	65

主成分分析

什么是主成分分析

主成分分析（Principal Component Analysis，PCA）， 是最重要的降维方法之一。 在数据压缩消除冗余和数据噪音消除等领域都有广泛的应用。¹

顾名思义，其基本思想就是“总结”出数据里最主要的特点，用数据里最主要的特点来代替原始数据。

具体的，假如我们的数据集是 $n$ 维的，共有 $m$ 个数据$（x_1,x_2,\dots ,x_m）$。现在对这些点进行压缩，我们希望将这 $m$ 个数据的维度从 $n$ 维降到 $k$ 维$（k<n）$（即，投影到 $k$ 维空间），同时这 $m$ 个 $k$ 维的数据集尽可能地代表原始数据集的绝大部分信息。我们知道数据从 $n$ 维降到 $k$ 维肯定会有信息丢失，但是我们希望信息损失尽可能的少。在前述的例子中，$n=2$, $k=1$，也就是将数据从二维降维到一维。

有趣的是，PCA“总结”数据特点时，并不是从 $n$ 个特征中选出 $k$ 个然后丢弃其余。相反，它基于原始特征的线性组合构建一些新特征，结果这些新特征能够很好地总结我们的数据。

那么这 $k$ 个新特征具体指什么？又是如何构建的呢？以前述的例子来看，不妨从以下两个角度来考虑²：第一，不同学生对两门课程内容掌握的程度不一样，新特征要能够尽可能体现学生成绩间的差异。事实上，想象你得到了一个对于大多数学生而言都一样的特性。那不会很有用的，对不对？第二，基于原本的数据特征"重构"新特征。同样，想象你得出了一个和原本成绩没什么关系的新特征，你不可能重构原本的特征！这又将是个不好的“总结”。

令人惊讶的是，结果这两个目标是等效的，所以PCA可以一箭双雕。

以下图1²为例来进行说明，假设坐标轴分别代表了两门课程的成绩，不同学生的散点图可能是这样的：

图1 “成绩云”

在这片“成绩云”的中央画一条直线，将所有点投影到这条直线上，我们可以构建一个新的特征。这一新特征将由原始特征的线性组合定义，即 ${\omega }_1{x}_1+{\omega }_2{x}_2$, 其中，$x_1$ 和 $x_2$ 即为两门课程的成绩（即，原始特征），${\omega }_1$ 和 ${\omega }_2$ 的取值定义不同直线。

观察，下图2²中，随着直线的旋转（即改变 ${\omega }_1$ 和 ${\omega }_2$ 的取值），不同直线上的投影是如何变化的（红点是蓝点的投影）：

图2 PCA原理示意图

正如我们前面介绍的，PCA会从两个角度出发找到”最佳“的直线（在三维及以上的特征空间中，这条直线表示为超平面）。首先，这条直线上的点应差异最大化。注意观察当直线旋转的时候，红点是何时达到”散布“（我们称之为“方差”）最大化的。其次，如果我们基于新特征（红点的位置）重构原本的两个特征（蓝点的位置），连接红线的长度代表了重构误差。注意观察当直线旋转的时候，红线的总长度是何时达到最小的。

如何你凝视图2中的动画有一会儿的话，你会注意到”最大方差“和”最小误差“将同时达到。 即，旋转的直线运动到玫红色标记处时，同时能满足这两点。玫红色直线代表的这个新属性称为”第一主成分“，相对应的，与其垂直的灰色直线代表”第二主成分“。

主成分分析中的超平面应该有两个特质：

• 最近重构性：重构后的样本映射回原空间，与原样本的距离都足够的近；
• 最大可分性：样本在这个超平面上的投影尽可能分开。

主成分分析可以做什么

主成分分析主要被用于数据降维、特征重构、噪音消除等领域³。

• 数据降维，从 $n$ 维降至 $k$ 维（$k<n$），如下图3⁴示例。在经济、金融等领域中，需要处理的高维数据通常非常多，就比较适合用主成分分析法进行数据降维。此外，在图像处理领域，也可以通过数据降维的方式进行图片压缩。

图3 数据降维

• 特征重构：将 $n$ 维特征映射到 $k$ 维上，称这 $k$ 维特征为主成分。在原始特征之间相互有关的情况下，重构后的特征之间相互无关。如下图4⁵就是用不同数量的主成分重构出的人脸。

图4 特征重构

• 噪音消除：能剔除和类标签无关的特征，减少噪音和冗余，如下图5⁶所示。

图5 减少噪音与冗余

理论推理

下面，我们来看一下PCA实现过程的数学原理⁷。

二维坐标系总有各自的标准正交基（也就是两两相交、模长为1的基），一般用 $e_1$ 和 $e_2$ 表示，如下图6中所示。在某坐标系有一个点，$a=\left(\genfrac{}{}{0ex}{}{x}{y}\right)$，它可以表示为该坐标系下标准正交基 $e_1$，$e_2$ 的线性组合（只是在不同坐标系中，$x$，$y$ 的值会有所不同）：
$$a=\left(\genfrac{}{}{0ex}{}{x}{y}\right)=x{e}_1+y{e}_2$$
下图6中，设样本数据离散地分布在二维空间内，且进行了零均值化的数据预处理，即所有点的中心是$(0,0)$。如果数据点在一种比较特殊的情况下，即所有的点在一条直线上，那一条能穿过所有样本数据点的直线，就能反映它们最主要的特征。

以原点为圆心，旋转坐标轴，不会使得数据点到原点的距离产生变化，所以，在某坐标系下分配给 $x$ 较多，那么分配给 $y$ 的就必然较少，反之亦然。于是我们可以一直旋转坐标轴，直到新的 $x^{\prime }$ 轴穿过这些点，如图6所示。此时，$y^{\prime }$ 轴上的分量为0，$y^{\prime }$ 轴没有传达任何信息就可以略去。那么在这个坐标系中，就可以降维了，去掉 $y^{\prime }$ 并不会丢失信息。

图6 旋转x轴，使它穿过所有数据点

但是更多时候，数据点并不总是在一条通过原点的直线上，如下图7中所示。现在二维平面上有两个数据点 $a=\left(\genfrac{}{}{0ex}{}{a_1}{b_1}\right)$ 与 $b=\left(\genfrac{}{}{0ex}{}{a_2}{b_2}\right)$，为了降维，我们希望在新的坐标系下，$e_1$上的分量尽可能大，而$e_2$上的分量尽可能小。对应到图7中，也就是 $a$ 点在 $x^{\prime }$ 上的分量红色线 $x_1$ 、$b$ 点在 $x^{\prime }$ 上的分量蓝色线 $x_2$ 尽可能长，而两点在 $y^{\prime }$ 上的分量紫色线尽可能短。

术语上，这个旋转后的坐标系 $x^{\prime }$ 被称作“主成分1（或，主元1）”、$y^{\prime }$ 被称为“主成分2（或，主元2）”。

图7 旋转x轴，使红线与蓝线尽可能长

设新的坐标轴基向量 $e_1=\left(\begin{array}{c}{e}_{11}\\ e_{12}\end{array}\right)$，$e_2=\left(\begin{array}{c}{e}_{21}\\ e_{22}\end{array}\right)$，（图7中黑色的一组基向量），是我们需要求解的变量。在新的坐标系下，样本点 $a$、$b$ 低维空间的坐标为：$x_1=a\cdot e_1=\left(\begin{array}{c}{a}_1\\ b_1\end{array}\right)\left(\begin{array}{c}{e}_{11}\\ e_{12}\end{array}\right)=a_1{e}_{11}+b_1{e}_{12}$，$x_2=b\cdot e_2=\left(\begin{array}{c}{a}_2\\ b_2\end{array}\right)\left(\begin{array}{c}{e}_{21}\\ e_{22}\end{array}\right)=a_2{e}_{21}+b_2{e}_{22}$。

问题等价于使样本点在低维空间上的投影之间方差最大，即 $x_1^2+x_2^2=\sum _{i=1}^2{x}_i^2$最大。这两个新的坐标轴基向量（或称新的主元）不能直接求解，而是需要一点技巧。下面我们利用数学方法，推导一下求解$e_1$，$e_2$的过程。

$$\begin{array}{rl}{x}_1^2+x_2^2& =(a_1{e}_{11}+b_1{e}_{12}{)}^2+(a_2{e}_{21}+b_2{e}_{22}{)}^2\\ & =e_1^T\underset{C}{\left(\begin{array}{cc}{a}_1^2+a_2^2& a_1{b}_1+a_2{b}_2\\ a_1{b}_1+a_2{b}_2& b_1^2+b_2^2\end{array}\right)}{e}_1\end{array}$$

在以上的计算过程中，矩阵 $C$ 是求解 $e_1$、$e_2$ 的关键。不难发现，这里的矩阵$C$是一个对称矩阵，可以进行奇异值分解（关于如何进行奇异值分解，请参考奇异值分解⁸）：
$$C=U\Sigma U^T$$
其中，$U$为正交矩阵，即$U{U}^T=I$，$\Sigma$ 是对角矩阵：
$$\Sigma =\left(\begin{array}{cc}{\sigma }_1& 0\\ 0& {\sigma }_2\end{array}\right)$$
${\sigma }_1$，${\sigma }_2$是奇异值，且${\sigma }_1>{\sigma }_2$。

由此得到：
$$\begin{array}{rl}{x}_1^2+x_2^2& =(U^T{e}_1{)}^T\Sigma (U^T{e}_1)\end{array}$$
令$n=U^T{e}_1$，所得的$n$也是单位向量，即：
$$n=\left(\begin{array}{c}{n}_1\\ n_2\end{array}\right),n_1^2+n_2^2=1$$
至此，最终可以将求解$x_1^2+x_2^2$的最大值的问题，转化为求解 $x_1^2+x_2^2={\sigma }_1{n}_1^2+{\sigma }_2{n}_2^2$ 的最大值的问题。

总结一下，现在我们要求解的优化问题是：
$$\begin{array}{rl}\max & {\sigma }_1{n}_1^2+{\sigma }_2{n}_2^2\\ st.& n_1^2+n_2^2=1\\ & {\sigma }_1>{\sigma }_2\end{array}$$

这个问题可以通过拉格朗日乘数法求解，感兴趣的可以参考拉格朗日乘数法⁹。经过计算分析，上式可以在 $n_1=1,n_2=0$ 时取到极值。

因此，可以推导出要寻找的主元1，即最大奇异值${\sigma }_1$对应的奇异向量：
$$n=\left(\begin{array}{c}1\\ 0\end{array}\right)=U^T{e}_1\to e_1=U\left(\begin{array}{c}1\\ 0\end{array}\right)$$
同理，可以推导出要寻找的主元2，即最小奇异值${\sigma }_2$对应的奇异向量：
$$n=\left(\begin{array}{c}0\\ 1\end{array}\right)=U^T{e}_2\to e_2=U\left(\begin{array}{c}0\\ 1\end{array}\right)$$
实践中，求矩阵 $C$ 的奇异值分解，计算较为复杂。通常，采用计算其协方差矩阵 $Q$ 的奇异值分解使计算更简单（关于如何理解协方差矩阵，可以参考如何直观地理解「协方差矩阵」？¹⁰）。

因为$C=\left(\begin{array}{cc}{a}_1^2+a_2^2& a_1{b}_1+a_2{b}_2\\ a_1{b}_1+a_2{b}_2& b_1^2+b_2^2\end{array}\right)=\left(\begin{array}{cc}X\cdot X& X\cdot Y\\ X\cdot Y& Y\cdot Y\end{array}\right)$。

对于“零均值化”后的样本（$m$ 代表样本数量）：
$$Var(X)=\frac{1}{m}\sum _{i=1}^m{X}_i^2=\frac{1}{m}X\cdot X$$
样本协方差为：
$$Cov(X,Y)=\frac{1}{m}\sum _{i=1}^m{X}_i{Y}_i=\frac{1}{m}X\cdot Y$$
两相比较可以得到一个新的矩阵，也就是协方差矩阵：$Q=\frac{1}{m}C=\left(\begin{array}{cc}Var(X)& Cov(X,Y)\\ Cov(X,Y)& Var(Y)\end{array}\right)$。协方差矩阵$Q$的奇异值分解和$C$相差无几，只是奇异值缩小了$m$倍，但是不妨碍奇异值之间的大小关系。

以上，我们在 $n=2$ 的情况下，大致了解了PCA实现过程的数学原理。更一般地，推广至 $n$ 维降至 $k$ 维的情形，$Q$ 奇异值分解的结果可以这样解读：

如下图8中所示，$U$ 是一个$n\times n$矩阵，每一列都是一个$1\times n$向量，称为奇异向量（也即，基向量，对应主成分），其中 $n$ 为特征数量。$\Sigma$ 为对角矩阵，对角线上的值为奇异值，且 ${\sigma }_1\ge {\sigma }_2\ge \cdots \ge {\sigma }_n$。两者的对应关系为，$U$ 中第1个列向量（第1个基向量），对应$\Sigma$中的第一个奇异值${\sigma }_1$，第2个列向量，对应$\Sigma$中的第二个奇异值${\sigma }_2$，以此类推。

图8 U中各奇异向量与Σ中奇异值对应关系图示

选择$U$中的前$k$列组成矩阵$P$，实现从$n$维到$k$维的降维，主成分$U$和原始数据$X$的关系为$Y=PX$。

如何选择主元

接下来，如何根据奇异值分解的结果，选择保留哪几个主成分呢？

• 在一些场景下，我们可以指定希望降至的维度 $k$。比如，如果我们想要保留两个维度，则只需要保留${\sigma }_1$和${\sigma }_2$对应的$e_1$和$e_2$两个主元。
• 有些场景下，我们不指定降维后的 $k$ 值，而是换种方式，指定一个降维到的主成分比重阈值 $t$，这个阈值 $t$ 在 $(0,1]$ 之间。假如我们的 $n$ 个奇异值为 ${\sigma }_1\ge {\sigma }_2\ge \cdots \ge {\sigma }_n$ ，则 $k$ 可以通过下式得到：

$$\frac{{\sum }_{i=1}^k{\sigma }_i}{{\sum }_{i=1}^n{\sigma }_i}\ge t$$

其中，$\frac{{\sum }_{i=1}^k{\sigma }_i}{{\sum }_{i=1}^n{\sigma }_i}$ 表示前 $k$ 个主元可以保留的原始数据的信息量比例。

上式可以这样来理解，举个例子，如果原始数据有五个维度，我们希望保留98%的信息，则可以依次计算$\frac{{\sigma }_1}{{\sigma }_1+\cdots +{\sigma }_5}$，$\frac{{\sigma }_1+{\sigma }_2}{{\sigma }_1+\cdots +{\sigma }_5}$，直至保留的信息量达到98%。比如说，${\sigma }_1=8$，${\sigma }_2=2$，${\sigma }_3=1$，${\sigma }_4=0.5$，${\sigma }_5=0.2$，要想保留98%的信息，则在算到${\sigma }_4$时，$\frac{{\sigma }_1+\cdots +{\sigma }_4}{{\sigma }_1+\cdots +{\sigma }_5}\approx 98.3\%＞98\%$，符合我们的要求。

以上介绍的内容可以推广至 $n$ 维降至 $k$ 维的情形。 需要注意的是，

• 原始的 $m\times n$ 矩阵在经过处理后，会变成 $m\times k$ 矩阵，数据量 $m$ 是不变的。就像我们的案例中，对 20个学生的2门课成绩进行了处理，得到的最终结果是一个$20\times 1$的矩阵，最后还是有20条数据，不会变成10条。

• 新的 $k$ 个主成分也不是从 $n$ 个原始特征中挑选的，而是从 $n$ 个原始特征中重构的。

  

  图9 特征重构示意图

主成分分析步骤

图10 主成分分析流程图

案例详解

如果采用主成分分析法分析，为学生们分班，会得到怎样的分班结果呢？我们采用上面介绍的主成分分析步骤，来动手实践一下！

零均质化

求取两列各自的平均数，再用原值减去平均数，得到零均值化后的数据如图11所示。

图11 零均值化结果

求解协方差矩阵

$$\begin{array}{rl}Q& =\left(\begin{array}{cc}Var(X)& Cov(X,Y)\\ Cov(X,Y)& Var(Y)\end{array}\right)\\ & =\frac{1}{20}\left(\begin{array}{cc}X\cdot X& X\cdot Y\\ X\cdot Y& Y\cdot Y\end{array}\right)\\ & =\left[\begin{array}{cc}1437.17& 447.1875\\ 447.1875& 359.7625\end{array}\right]\end{array}$$

进行奇异值分解

$$Q=U\Sigma U^T$$

通过代码实现奇异值分解，得到如下结果:
$$U=\left[\begin{array}{cc}0.939864& 0.341550\\ 0.341550& -0.939864\end{array}\right],\Sigma =\left[\begin{array}{cc}1437.17& 0.00\\ 0.00& 316.45\end{array}\right],U^T=\left[\begin{array}{cc}0.939864& 0.341550\\ 0.341550& -0.939864\end{array}\right]$$
矩阵有两个特征根（即奇异值）：$x_1=1437.17$ 和 $x_2=316.45$。

求解两个新的基向量和新的数据坐标

因为$e_1$是最大奇异值对应的奇异向量，$e_2$是最小奇异值对应的奇异向量，所以不难得出 $e_1=\left(\begin{array}{c}0.939864\\ 0.341550\end{array}\right)$,$e_2=\left(\begin{array}{c}0.341550\\ -0.939864\end{array}\right)$。

相应的，第一个学生的成绩对应的新坐标为：$x_1^{\prime }=(-29.65)\times 0.939864+(-16.75)\times (0.341550)\approx -33.59$，$y_1^{\prime }=(-29.65)\times 0.341550+(-16.75)\times (-0.939864)\approx 5.62$。

同理可得20个点的新坐标如下：

x’	y’
-33.5879	5.615765
66.96789	-4.6572
48.85853	10.04148
-32.9848	30.30659
-54.0978	-19.9253
34.67337	-3.62533
51.93007	-10.122
39.80144	5.686115
32.54169	16.8797
-27.1033	-35.6511
-39.823	13.98975
-36.4027	28.00052
-12.8309	-13.4407
-14.3643	8.345759
-5.65118	1.936283
19.29159	-19.855
32.96322	-10.6307
-68.0238	-19.6662
3.914626	-12.6752
-6.0727	29.4467

可以看出，实行主成分分析后，第二列的数据相对第一列传达的信息很少。我们希望将二维数据降成一维，此时显然可以舍弃$e_2$对应的维度，保留$e_1$对应的维度。此处我们选择了$e_1$，对应奇异值${\sigma }_1$，保留了$\frac{{\sigma }_1}{{\sigma }_1+{\sigma }_2}=\frac{1437.17}{1437.17+316.45}\approx 81.95\%$的信息。

图12中，蓝点为20个点的新坐标值散点图，对应的红点为略去$e_2$，所有的点投影到$e_1$上的结果。略去$e_2$传达的数据后，我们成功地实现了非理想情况下的降维。现在我们可以仅用第一列的数据值，来刻画学生的学习水平信息了。

图12 数据降维结果

通过主成分分析，我们按照$e_1$为学生按由强到弱分班，这二十个学生新的分班结果如图13所示：

班级1：2、7、3、8号学生（蓝色）；班级2：6、17、9、16号学生（橙色）；班级3：19、15、20、13号学生（黄色）；班级4：14、10、4、1号学生（紫色）；班级5：12、11、5、18号学生（绿色）。

图13 用主成分分析为学生分班的情况图示

我们使用主成分分析法完成了分班任务。这一个任务也可以使用K-means方法或其他方法完成。选择什么样的方法来解决问题，主要取决于实际情况与需求。

小结

此篇我们介绍了一种能将数据降维的分析方法：主成分分析。主成分分析是找出数据里最主要的特点，用数据里最主要的特点来代替原始数据的一种统计方法。

• 对于一组$n$维的数据，主成分分析法可以重构出$k$个特征，将它降至$k$维（$k<n$）。
• 这$k$个特征可以最大区分原始样本
• 这组数据可以反映原始样本最主要的特征
• 可以将与样本信息无关的，冗余的信息剔除

需要注意的是，原始的$m\times n$矩阵在经过处理后，会变成$m\times k$矩阵，数据量$m$是不变的；新的$k$个主成分不是从$n$个原始特征中挑选的，而是从$n$个原始特征中重构的。

主成分分析法常用于处理高维数据，可以实现降噪、图像压缩、手写识别等功能，在经济、金融、图像处理、人脸识别等样本数据维度较多的领域有广泛的应用。

参考文献

---

1. PCA主成分分析学习总结 ↩︎

2. Making sense of principal component analysis, eigenvectors & eigenvalues ↩︎ ↩︎ ↩︎

3. 主成分分析（PCA）原理详解 ↩︎

4. Würsch, C., MSE MachLe Dimensionality Reduction, V10 ↩︎

5. deep learning PCA(主成分分析)、主份重构、特征降维 ↩︎

6. Lehtinen, J., Munkberg, J., Hasselgren, J.,.et al.Noise2Noise: Learning Image Restoration without Clean Data ↩︎

7. 如何通俗易懂地讲解什么是 PCA 主成分分析？ ↩︎

8. 奇异值分解 ↩︎

9. 拉格朗日乘数法 ↩︎

10. 如何直观地理解「协方差矩阵」？ ↩︎