经典线性降维算法—线性判别分析

与PCA降维不同，LDA是有监督的降维，它的基本思想就是利用类标信息找到子空间S，将数据映射到S中后，不同类别的数据尽量远离，相同类别的数据尽量接近。

与PCA类似，LDA利用方差作为指标来衡量数据在投影方向上的差异程度。 协方差矩阵是一个矩阵，其每个元素是各个向量元素之间的协方差。而协方差描述了向量之间的相关程度。协方差的公式和方差十分相近，甚至可以说方差是协方差的一种特例。所以协方差不仅是反映了变量之间的相关性，同样反映了多维样本分布的离散程度(一维样本使用方差)，协方差越大（对于负相关来说是绝对值越大），表示数据的分布越分散。欲使同类样例的投影点尽可能接近，可以让同类样本点的协方差矩阵尽可能小。

类内差异：
对于两类问题而言：

对于多类问题类内散度矩阵公式：


上式表示第i类样本的协方差矩阵。所以 Sw就是表示C类样本协方差矩阵之和。

类间差异：
对于两类样本而言：

对于多类问题：