Fisher discrimination criterion (费舍尔判别准则)

Fisher discrimination criterion (费舍尔判别准则)其思想是:投影,使多维问题转化为低维问题来进行处理。选择一个适当的投影轴,使所用的样本点都投影到这个轴上得到投影值,使得同一类样本所形成的投影值的距离尽量的小,而不同类之间的投影值距离尽可能大。
通俗解释:
ref:https://blog.csdn.net/jihengshan/article/details/19821661
又称线性判别,要计算一个向量乘法和减法,然后比较最小值就能解决判别问题,
下面用例子讲比较好理解,我们来判断一个东西是人,猴,猪,狗?四个总体,可以包含几个分量,比如重量,身高,智商,情商这四个分量,所以现在有了四个总体(分别是四维向量),期望和协方差阵已知,给一个输入向量(必然是四维向量),判断这个东西是哪一类,这个叫判别问题。

费舍尔判别是将输入向量X,乘以向量A,变成y,即:y=a’x;a 在这里是一个四维向量,这样把四维变一维。费舍尔判别最重要的就是求 a .

因为对输入x做了转化,所以对四个总体也要变化一下,期望u 变成a’u,协方差阵v 变成a’va, 这样期望和方差都成了一维的,为了分类准确,肯定是类的组内距离最小,组间距离最大,而且是组间距离除以组内距离的比值最大,这样可以构成一个 方程,当然是含有向量的,这个方程的解有公式定理,其实这个a 就是 一个特征向量,求出a 后,那么:判别函数 y=a’x 就知道了, 求四个差值|a’x-a’u| 哪个u使得这个差最小 ,那么x就是哪一类 。

上面有关公式的,可以不用管, 费舍尔判别就是 求一个 函数:y=a’x ,将多维向量变成一维 ,还是线性的,然后就和一维判别一样,求它和期望的最小值就行了。
ref
https://blog.csdn.net/qq_31076269/article/details/50929867

你可能感兴趣的:(深度学习)