模式识别（张学工版）学习笔记（第四章 线性分类器）

1、模式识别的目的是在特征空间中找到两类（多类）的分界面。因此，可以根据样本特点，直接设计分类器。

2、设计分类器一般包括三个步骤：一是确定分类函数的类型，二是设计最优准则，即什么样的函数才是最优的，三是根据准则，设计算法从样本中搜索到最优的函数参数。形式化表示为：在判别函数集

3、线性分类器虽然简单，但在很多场合却很有效地实现的样本的分类，前提是样本集线性可分。

一般形式为

，

也就是说，如果将样本向量x带入g(x)，计算结果大于0，则x属于w1类，反之属于w2类。因此，g(x)是通过对x的各个特征的计算来判断其所属类别。

4、支持向量机SVM（最优分类超平面）

如果超平面，它能够将训练样本没有错误地分开，且两大训练样本中离超平面最近的样本与超平面之间的距离是最大的，则该超平面成为最优超平面，也叫支持向量机。求解函数中参数的算法是拉格朗日泛函方法。

数学上已经证明，上述方法求得的SVM具有很好的泛化能力。

5.经验误差和期望误差

经验误差仅仅是指对已知样本的误差，期望误差是指对未知样本的误差，这是模式识别的核心，期望误差越低，推广能力才能越好。