PCA降维学习

PCA参考文章1

---

----基的变化是空间的变化

PCA的思路：将数据所在的维度用基表示，所谓的降低维度就是将数据乘以一个比现在维度小的基，然后数据就分布到维度小里面去了。将数据从一个空间映射到另一个空间。

只是降低维度是没有意义的，我们希望降低维度的同时，可以让数据更好的分类，所以PCA是有分类的作用的，当数据们因为维度映射到不同的位置，那就是一种分类。

如何选择基才是最优的。或者说，如果我们有一组 N 维向量，现在要将其降到 K 维（K 小于 N），那么我们应该如何选择 K 个基才能最大程度保留原有的信息？

---

---- 方差和协方差的意义

从方差的角度出发：寻找一个一维基，使得所有数据变换为这个基上的坐标表示后，方差值最大。

在一维空间中我们可以用方差来表示数据的分散程度。而对于高维数据，我们用协方差进行约束，协方差可以表示两个变量的相关性。为了让两个变量尽可能表示更多的原始信息，我们希望它们之间不存在线性相关性，因为相关性意味着两个变量不是完全独立，必然存在重复表示的信息。

将一组 N 维向量降为 K 维，其目标是选择 K 个单位正交基，使得原始数据变换到这组基上后，各变量两两间协方差为 0，而变量方差则尽可能大（在正交的约束下，取最大的 K 个方差）。

这里说下：为什么要强调方差和协方差的概念，方差前面是一维的，那么就是一个特征里面的数据分布，为什么希望方差大呢？方差大说明数据被离散了，这样说明数据被分开了。但是一个数据里面肯定不仅仅只有一维，或者是说只有一个特征，肯定是多个特征的，那么协方差就是表示我们不同特征的关系，为什么协方差为0，因为协方差为0，意味着我们数据的特征之间是独立，如果有联系，那么必然一个特征可以得知另一个特征，那我们降低维度又有何意义呢？

总的来说方差和协方差计算出发，可以帮助数据在特征中数据分布离散，特征又没有关系，不存在冗余的情况。所以PCA降维度一定意义上可以进行人脸识别这样的分类模型中。

---

---- 如何计算方差和协方差

那么我们就要来将我们的数据计算出他的方差和协方差，我们希望得到的数据方差大，而协方差为0，协方擦好矩阵就是一个好东西。他可以将数据的方差和协方差统一个矩阵中。注意下面的每一行，也就是提到的变量是两个不同的特征，而1.。。。m是数据的量，这个是要我们注意的，如果是人脸识别的话，那么a和b可能是鼻子和嘴巴，也就是两个特征，但是每个人都有鼻子和嘴巴啊，那么m个人咯。

协方差矩阵的意义是什么？对角线是自己的方差，也就是每一个维度特征方差，而其他的位置就是协方差，不同维度特征之间的协方差，可以发现ij和ji是相同的，因为就是两个维度之间的协方差，那不就说一个东西？

---

---- 方差最大，协方差最小

1.如何结合基的变化，和我们的协方差矩阵呢？

基的变化：首先我们有原数据X对吧，然后我们有变化后的数据Y对吧，那么如果变化的基是P的话，那么我们现在就是X和P处理得到了Y咯。

协方差矩阵的计算：那么我们现在根据上面算算Y的协方差矩阵？那不就是通过了基的变化，求出了新的数据的协方差矩阵？

cool，那么现在就是知道了X，然后我们要有一个好的P，帮助我们得到一个我们想要的D。然后我们C是可以求出来的，如果我们也就是我们P，让我们Y的协方差矩阵变成了我们想要的那个D。

P的求法就是原来的数据X，求得的协方差矩阵C，C的特征向量单位化后的排列出的矩阵，也就是说。我们推了那么久，用C本身就可以求出基的变化，而且这个过程可以保证，我们变化后的数据的方差最大，协方差为0。

拉格朗日乘子法，也可以得到上面的过程。

所以PCA的步骤有什么？

1.将原始数据按列组成 n 行 m 列矩阵 X；（废话）
2.将 X 的每一行进行零均值化，即减去这一行的均值；（有用的）
3.求得X的协方差矩阵C
4.根据协方差矩阵求得特征值以及特征向量
5.特征值排序，特征向量根据特征值排序
6.前k个对应的特征值的特征向量就是我们的基

如何用PCA降维来处理人脸识别的维度问题：
将一个每个人脸拉直，那么我们就可以把每个人脸的所有向量当成特征，如果是10000个那么就有10000个特征，假设400张，那么就是10000*400个人脸，但是如果降低维度的话，那么我PCA可以办我们降低到比较低，可能是1000个特征吧，而这样降低维度可以保证这一组数据中，首先协方差为0 ，也就是不同的特征点之间不相互关联，而且在一个特征点中每个个体的方差尽量的大。

降低维度后我们，就可以用SVM和LDA来做分类了，所以可以看出来我们传统机器学习的分类，更多的是将一张图片的作为特征来做匹配，而深度学习的本身则是从细节特征来匹配的。

方差，协方差，协方差矩阵，特征值，特征向量参考链接：
参考链接1