线性分类器

线性可分是最简单的分类器，需要注意的是，线性并不是传统的直线的概念。线性，如果特征在一维空间，那么线性分类器可以是一个点；二维空间，则是一条直线，三维则是平面。如果我们忽略具体的维度，泛指某个维度上的线性分类器，则这个分类器又可以称之为超平面（Hyper Plane）。

线性函数，x应该用向量来理解

注意，x不再是横轴坐标的概念，而是一组特征向量。g(x)可以用来判别输入的特征向量x所属的类别。简单的将如果，wx＋b>0为一类，wx＋b<0则为二类。

对于一个分类问题，其所对应的超平面具有无穷多个，那么如何选择最好的超平面？首先，需要定义一种评价标准，再依据这种标准来寻找该超平面。其中一种思路是，定义样本与超平面的距离，所有样本到该平面的距离的平均越小，则该超平面越优秀。对于一组样本，

                                                                  Di=(xi,yi)

其中，xi为某个样本特征向量，yi为该样本所对应的类别标签，如二元分类，则可以理解为1和－1。对于一个超平面g(x)=wx+b，则某个样本到该超平面的距离可以表示为，

样本与超平面距离

几何间隔

范数

误分次数的上界由几何间隔决定

R为特征向量最大维度