机器学习：线性判别分析（fisher判别）

引入        由于线性判别函数易于分析，所以关于这方面的研究特别多。历史上，这一工作是从R.A. Fisher(1936年)的经典论文开始的。           应用统计方法解决模式识别问题时，一再碰到的问题之一是维数问题。在低维空间里解析上或计算上行得通的方法，在高维空间里往往行不通。因此，降低维数有时就成为处理实际问题的关键。        我们可以考虑把d维空间的样本投影到一条直线上，形成一维空间，即把维数压缩到一维。这在数学上总是容易办到的。然而，即使样本在d维空间里形成若干紧凑的互相分得开的集群，若把它们投影到一条任意的直线上，也可能使几类样本混在一起而变得无法识 别。但在一般情况下，总可以找到某个方向，使在这个方向的直线上，样本的投影能分开得最好。问题是如何根据实际情况找到这条最好的、最易于分类的投影线。这就是Fisher法所要解决的基本问题（见图4.3）。（模式识别边肇祺）                                                       线性判别分析(Linear Discriminant Analysis,简称LDA)是种经典的线性学习方法，在二分类问题上因为最早由(Fisher, 1936)提出。亦称“Fisher判别分析”。（机器学习周志华）         LDA的思想非常朴素：给定训练样例集，设法将样例投影到一条直线上，使得同类样例的投影点尽可能接近、异类样例的投影点尽可能远离（类别间距大，类内间距小）；在对新样本进行分类时，将其投影到同样的这条直线上，再根据投影点的位置来确定新样本的类别。图3.3给出了一个二维示意图。                                      目的：找到这条直线