PCA与LDA学习小结

PCA又称为主成分分析，在数据降维上应用较多。思想就是令降维后的数据各属性方差最大化，或者互不相关。这个可以通过线性代数中的协方差矩阵及其特征值分析来实现。完成这一步后，用特征值最大的前N个特征向量，组成一个N维基底的新矩阵空间，称为压缩矩阵。最后，将数据空间与压缩矩阵相乘，就可以将原数据空间映射到N维空间中。

LDA，又称线性判别分析，可用于无监督的数据分类。主要原理是寻找一个低维空间，令数据空间映射到低维空间后，类间距离最大，类内距离最小，一般通过散布矩阵实现。

PS：协方差矩阵主要是衡量两个向量间的相关度，乘以N-1，就是散步矩阵。