PCA和LDA

PCA是无监督的降维，降维后方差尽可能的大；
LDA是有监督的降维，希望分类后组内方差小，组间方差大；

聚类，降维；

1 PCA

原有的d维数据转化为k维数据（d>k），新生成的k维数据尽可能多的包含原来d为数据的信息。

1.1 去中心化

让样本的均值为0；
方便后去求取协方差矩阵；
这并不属于数据预处理，因为数据预处理是对每一个特征维度进行处理的，而去中心化是针对每一个样本，这是PCA所必须的过程。
为什么要去中心化

1.2 求协方差矩阵

方差：单个随机变量的离散程度；
协方差：两个随机变量的相似程度。
方差和协方差的一些区别

偏差是估计值与真实值之间的差距。
方差是描述预测值的变化范围，离散程度。

偏差与方差

计算协方差矩阵

对于原始数据X，协方差矩阵的计算

1.3 求协方差矩阵的特征值

寻找一个线性变换u，使uX，即降维后的新数据方差最大。
这里可以令u的模长为1.
根绝拉格朗日优化后可知，S=λ；
那么最大化投影方差就是最大化原数据的协方差矩阵的特征值。
最佳的投影方向就是最大特征值对应的特征向量。

1.4 选取前K大个特征值

选取特征值的特征向量组成投影矩阵U=[u1,u2,...,uk]。
UX即为投影后新样本。

1.5 总结

由于PCA是基于欧氏距离，因此对于线性不可分数据无能为力。
所以提出kernel PCA 。

2 LDA

分类，降维。
希望降维后类间距离最大，类内距离最小。
引入两个定义，类间散度Sb和类内散度Sw。

2.1 计算每个类别的中心

2.2 计算类间散度和类内散度

2.3 求矩阵前K大特征值

2.4 根据特征向量得到投影矩阵

降维流程

在计算类间散度和类内散度的时候用到了类别信息，所以LDA是有监督的降维。

3 比较

有标签就用LDA