吴恩达机器学习入门——降维

降维的作用有两个：一是进行数据压缩、二是可视化。

数据压缩

如上图的每个不同颜色的点，本来他们在坐标轴的表示方法都是二维的，现在如果我们找到图中的绿色线，我们可以直接用1维的坐标表示。

同样对于多维数据，比如上图的3D数据，我们找到一个平面曲面的函数，就能直接用二维来表示。

可视化

对于上面这些受到多维参数影响的问题，我们很难直接进行图形绘制。如果进行降维，从多维到二维，就可以更好了理解，如下面两图。

PCA

对于图中的数据，PCA就是找出一个低维平面，然后对数据进行投影，使得每个数据点到该平面的距离最小。 另外PCA与线性回归是不一样的。

PCA算法

首先对数据进行均一化处理，然后计算出协方差函数，

这一步可以用到matlab自带的SVD函数，它的结果U是n*n的向量，我们取前k个向量，这k个向量就是投影数据的方向。

然后取U的前k维向量，并与特征向量x相乘等到降维的z。

压缩重现

压缩重现是降维的逆过程。

重现：X_approx=U_reduce*z,并且重现的X_approx近似于x。
pca算法可以加速学习算法的速度，具体操作如下：
1.从训练集中提取输入值x，得到无标签的关于x的训练集，接着进行降维，从而得到新的训练集，该新的训练集就可以用于神经网络、回归算法等。

pca应用于：
另外还要注意一个错误的应用：通过PCA算法，我们实现了降维，特征集的个数也减少了，就有人认为PCA算法是防止过拟合的方法。

最后，在设计一个学习算法过程中，我们不会一开始就使用PCA算法，除非原始数据不让你满意的情况下使用。