机器学习中的数学（2）

三、特征值，特征向量
Ax = λx
它的几何意义是什么呢？
一个变换（或者说矩阵）的特征向量就是这样一种向量，它经过这种特定的变换后保持方向不变，只是进行长度上的伸缩而已。在二维坐标系中就是一条直线同方向或反方向伸长或缩短。
如果我们的数据很大，有10000维怎么办呢，我们这时候就要对数据进行降维，我们降到10维明显效果不会很好，那么我们降到两三千维应该还是可以的。
给定一个矩阵：

我们这里引入协方差矩阵：

那么我们降维应该怎么做呢？
我们假如矩阵有一组特征值|λ1|>|λ2|>|λ3|>……>|λi|=……=|λn|=0
那么我们是不是可以对两个相差很大的λ进行取舍呢，比如一个10，一个是0.1，这个时候是不是0.1对数据的影响远小于10呢。我们在给数据进行降维时，比如四维降到二维，我们所求出的二维希望他们越不相近越好，即我们希望行向量间的协方差为0，方差尽可能的大。
例如：

我们把X降到一维，
这里X的每一行均值为0，这里我们就不需要去均值了。
我们求协方差矩阵：

求得特征值为λ1=2，λ2=0.4；
我们标准化特征向量：


我们进行降维，取U^T的第一行：

这里我们的λ取值为2，验证上述λ取尽可能大的数。
这就是PCA降维。

参考：https://blog.csdn.net/program_developer/article/details/80632779