机器学习---线性分类器三种最优准则

线性分类器三种最优准则： 

Fisher 准则 ：根据两类样本一般类内密集，类间分离的特点，寻找线性分类器最佳的法线

向量方向，使两类样本在该方向上的投影满足类内尽可能密集，类间尽可能分开。这种度量通过类内离散矩阵 Sw 和类间离散矩阵 Sb 实现。

感知准则函数 ：准则函数以使错分类样本到分界面距离之和最小为原则。

 其优点是通过错分类样本提供的信息对分类器函数进行修正，这种准则是人工神经元

网络多层感知器的基础。 

支持向量机 ：基本思想是在两类线性可分条件下，所设计的分类器界面使两类之间的

间隔为最大，它的基本出发点是使期望泛化风险尽可能小。

贝叶斯分类器：一种基于统计方法的分类器，要求先了解样本的分布特点（高斯、指数等），所以使用起来限制很多。在满足一些特定条件下，其优化目标与线性分类器有相同结构（同方差高斯分布等），其余条件下不是线性分类。