线性判别分析

思想： 给定训练样例集，设法将样例投影到一条直线上，使得同类样例的投影点尽可能接近，异类样例的投影点尽可能远离。

设Xi,μi, Σi分别表示第i类示例的集合、均值向量、协方差矩阵，若将数据投影到直线w上，则两类样本的中心在直线上的投影分别为wTμ0 ，wTμ1

两类样本的协方差分别为wTΣ0w和wTΣ1w，即最大化目标"

J = 类中心点距/协方差和

求解涉及到拉格朗日乘子法，奇异值分解等，详见西瓜书P62

值得一提的是，LDA可从贝叶斯决策理论的角度来阐释，并可证明，当两类数据同先验，满足高斯分布且协方差相等时，LDA可达到最优分类

多分类LDA将样本投影到d'维空间，d'通常远小于数据原有的属性d,因此LDA也常被视为一种经典的监督降维技术。