【Machine Learning】线性判别分析(LDA)



        LDA的全称是Linear Discriminant Analysis（线性判别分析），是一种supervised learning，在二分类问题上最早由Fisher提出，所以也叫“Fisher判别分析”。

     LDA的原理是：对于给定的训练集，设法将样例投影到一条直线上，使得同类的投影点尽可能接近，异类样例的投影点尽可能远离；在对新样本进行分类时，将其投影到这条直线上，再根据投影点的位置来确定新样本的类别。

                         

                          图1 线性判别函数的几何意义

一、线性判别函数

                       

二、已知训练数据                    

                              

    求解                     

                             

三、投影后的均值和离散度

               

四、判别准则

     由于样例投影后同类点应尽可能接近，所以投影后的均值差应尽可能大，为避免出现负数，采取了均值差的平方；而异类样例的投影点尽可能远离，即离散度应尽可能小。

                                                                             

五、均值向量和类内离散度矩阵

                              

                               

六、原始数据与做W方向投影后数据统计量之间的关系

                     

    因而判别准则变为：

                  

 

七、类间离散度和类内总离散度

                      

八、J（w）对w求导

                                                      

九、根据类间离散度定义：

                           

   又（m1-m2）.T * W 是一个数，记为C,可得：

                                                                                

十、最优解W，分类阈值b

                                                                                

                                      或

       具体实现代码，见：【meachine learning】线性判别分析Python实现（LDA）