机器学习:线性判别分析(fisher判别)

引入

       由于线性判别函数易于分析,所以关于这方面的研究特别多。历史上,这一工作是从R.A. Fisher(1936年)的经典论文开始的。   

       应用统计方法解决模式识别问题时,一再碰到的问题之一是维数问题。在低维空间里解析上或计算上行得通的方法,在高维空间里往往行不通。因此,降低维数有时就成为处理实际问题的关键。
       我们可以考虑把d维空间的样本投影到一条直线上,形成一维空间,即把维数压缩到一维。这在数学上总是容易办到的。然而,即使样本在d维空间里形成若干紧凑的互相分得开的集群,若把它们投影到一条任意的直线上,也可能使几类样本混在一起而变得无法识
别。但在一般情况下,总可以找到某个方向,使在这个方向的直线上,样本的投影能分开得最好。问题是如何根据实际情况找到这条最好的、最易于分类的投影线。这就是Fisher法所要解决的基本问题(见图4.3)。(模式识别边肇祺)

                                            机器学习:线性判别分析(fisher判别)_第1张图片

 

       线性判别分析(Linear Discriminant Analysis,简称LDA)是种经典的线性学习方法,在二分类问题上因为最早由(Fisher, 1936)提出。亦称“Fisher判别分析”。(机器学习周志华)
        LDA的思想非常朴素:给定训练样例集,设法将样例投影到一条直线上,使得同类样例的投影点尽可能接近、异类样例的投影点尽可能远离(类别间距大,类内间距小);在对新样本进行分类时,将其投影到同样的这条直线上,再根据投影点的位置来确定新样本的类别。图3.3给出了一个二维示意图。

 


                              机器学习:线性判别分析(fisher判别)_第2张图片
    目的:找到这条直线

 

 

 

你可能感兴趣的:(机器学习)