Fisher判别法

       Fisher判别法是1936年提出来的，该方法的主要思想是通过将多维数据投影到某个方向上，投影的原则是将总体与总体之间尽可能的放开，然后再选择合适的判别规则，将新的样品进行分类判别。

    从个总体中抽取具有个指标的样品观测数据，借助方差分析的思想构造一个线性判别函数

        

    方差分析的基本思想，首先将总变异分为组间和组内变异，然后计算两者的F值。F值越大，说明组间差异大，处理起作用，反之，则不起作用，是由随机误差导致的。方差分析是由R.A.Fisher提出的。

    这里省去复杂的证明，我先给出结论：

    针对两个总体的情形：

        假设有两个总体G1和G2，其均值分别为U1和U2，协方差矩阵为和。建立一个目标函数,将问题转化为，寻找使得目标函数达到最大。从而可以构造出所要求的线性判别函数。

     针对多个总体的情形:

 

应用方差分析的思想，选择u使得    达到极大。

    最大特征值所对应的特征向量即是要求的结果。

重点不是知道如何求最佳结果，我想说的是这里出现了特征值对应的特征向量。如果学习过主成分分析就会注意到那里也提到了特征值及其对应的特征向量。首先说明一下，主成分分析首先是由K.皮尔森对非随机变量引入的，尔后H.霍特林将此方法推广到随机向量的情形。

    令X1，X2，…，Xp的相关矩阵为R, (ai1，ai2，…，aip)则是相关矩阵R的第i个特征向量(eigenvector)。而且，特征值li就是第i主成分的方差， 即 Var(Ci)=li。其中li为相关矩阵R的第i个特征值l1≥l2≥…≥lp≥0 。

    会不会觉得数学的世界很巧呢？