模式识别（Pattern Recognition）学习笔记（八）--Fisher线性判别分析

1.什么是Fisher线性判别？

      线性判别分析（Linear Discriminant Analysis）由Fisher与1936年提出，示线性判别方法中最具代表性的一种，简称LDA，又叫Fisher判别。

       为了更好的引出Fisher判别，同样这里拿两类问题来话明，并换一个角度来考虑：遇到两类问题时，我们要想把他们区分开，很明显的就是找到他们之间的分界线，这个分界线有很多，但我们却总能够一眼看出最最合适的那一条，如果我们作出这条最合适的分界线的垂直向量，再把两类问题的所有样本都往这条垂线上投影，会发现这些样本的投影点在垂线上隔得很远，这时可以很容易找到一个阈值点来将他们分开，并且你会神奇的发现我们刚开始时找到的那条最合适的分界线刚好是过这个阈值点的。好啦，现在我们将以上思路倒过来看，为了找到分界线（很多时候并不容易找到），是不是通过将样本点做投影（这里的关键是如何确定投影方向），找到合适的阈值，然后过这个阈值点做一条法向量就可以实现呢，没错，这里的法向量就是我们要找的分界线，所以会发现我们的问题自然而然就转化成了投影的问题，而所谓的Fisher判别就是这样一个思想，通过选择一个最合适的投影方向，来使得投影后两类样本相隔的尽可能远，并且同时各类内部的样本又要尽可能紧凑，这就是Fisher线性判别，思想不难，难的是寻找投影方向。

2.如何确定投影方向？

       为了理解简单，仍拿两类问题来进行讨论。在讨论之前，需要定义及相关的基本概念。

样本集X：；每个样本是d维，第一类（w1类）的样本是，第二类（w2类）的样本是；

投影方向w，同样是一个d维向量，投影后的样本为：     

投影之前，原样本空间中，各类的均值向量为：            (1)

为了衡量各类里每个样本间的离散度(这个值要尽可能小)，定义类内离散度矩阵（within-class scatter matrix）：      (2)

则总的类内离散度矩阵（pooled within-class scatter matrix）为：                   (3)，这个值当然也是尽可能小；

类间离散度矩阵（between-class scatter matrix）为：            (4)，这个值是用来衡量两类之间的距离，越大越好；

投影之后，就会将高维变成一维空间，则两类的均值为：

             (5)

此时，类内离散度矩阵变成了一个值：         (6)

则总类内离散度矩阵为：           (7)，类间离散度矩阵为：            (8)

基于这样一个目的和原则：选择一个投影方向，使得投影后两类尽可能远的分开，并且各类内又尽可能紧凑，我们可以得到如下判别规则：

        (9)

式9称为Fisher的判别准则函数。

       下面，我们通过这个式子来求解出最合适的那个投影方向来；将yi代入(8)得：   (10)；将yi代入（7）得到：     (11)

于是，明显地，（9）式将变成：

     (12)

       在数学物理方法中，上式被称为广义瑞利商，这里可不考虑这些也没必要了解那么多，想详细了解的可以查找有关数学物理方法方面的书籍。

       回到正题，为了使得（12）式最大化，显然我们需要求一个使其最大化的投影方向w， 由于分母对应于投影后的总类内离散度，是一个非零值，通常是固定的，且调节w的幅度并不影响w的方向（因为我要求的是方向），所以（12）式可以转化为对分子的最大化，即：

            (13)，c不等于0；

这是一个带有等式约束的极值求解问题，一般的求解方法（也是最容易想到的，当然还有其他求解方法）是拉格朗日乘法，则有：

          (14)

接下来就很明朗了，就是对w求导了，导数等于0的地方就是最大方向处：，如果可逆或非奇异，则有，从这个公式可以看出来，极值解是的特征向量，将公式（4）代入上式即可有：

由于等式右边第三项和第四项的乘积为标量，不影响的方向，所以可以取的方向为：

        (15)

       至此，我们求解出了Fisher判别准则下的最大或最优投影方向，但是需要注意的是，这里我们求到的只是一个投影方向而已，涉及到具体分类决策的决策面，并没有得到；但是不用怕，这个决策面的获取并不难，就是在投影方向上确定一个用于分类的阈值即可，这又回到了之前学习的线性分类器；一般的，如果两类具有相同的先验概率时，我们可以将阈值设置为两类投影均值的均值，即：

。

如果先验概率不等时，可以将阈值向先验概率小的一方偏。