机器学习——支持向量机（SVM）之超平面、间隔与支持向量

描述

SVM是一种二类分类模型，基本模型是定义在特征空间中的间隔最大的线性分类器。
学习策略是间隔最大化。

训练集线性可分时，通过硬间隔最大化，学习一个线性可分支持向量机；
训练集近似线性可分时，通过软间隔最大化，学习一个线性支持向量机；
训练集线性不可分时，通过核技巧与软间隔最大化，学习一个非线性支持向量机；

超平面

附上链接，一篇讲解超平面的干货，讲的很好！！！
http://www.sohu.com/a/206572358_160850
在样本空间中，划分超平面可通过如下线性方程来描述：

w为超平面的法向量，决定了超平面的方向；b为位移项，决定了超平面到原点的距离。
任意样本点到超平面的距离可以表示如下：

线性可分支持向量机

给定线性可分训练集，通过间隔最大化或等价地求解相应的凸二次规划问题学习得到的分离超平面为：

以及相应的分类决策函数

称为线性可分支持向量机。

函数间隔和几何间隔

1.函数间隔

在超平面wx+b=0确定的情况下，|wx+b|能够相应地表示点x距离超平面的远近，而wx+b的符号与类标记y的符号是否一致能够表示分类是否正确，所以可以用y(wx+b)来表示分类的正确性及确信度，这就是函数间隔的概念。则超平面关于样本点(xi,yi)的函数间隔可表示为：

总之，超平面关于整个训练集的函数间隔为超平面关于训练集中所有样本点的函数间隔之最小值，即：

2.几何间隔

在选择分离超平面时，只有函数间隔是不够的，因为当w和b成比例地缩放时，函数间隔也会成比例地变化。所以我们可以对超平面的法向量w加以约束，如规范化，||w||=1，使得间隔是确定的，这时函数间隔是几何间隔。

超平面关于样本点(xi,yi)的几何间隔可表示为：

总之，超平面关于整个训练集的几何间隔为超平面关于训练集中所有样本点的几何间隔之最小值，即：

SVM学习的基本想法： 求解出能够正确划分训练集并且超平面关于整个训练集的几何间隔最大的分离超平面。

小结：
如果超平面参数w和b成比例地改变（超平面没有改变），函数间隔也会成比例地改变，而几何间隔不会变。

3.间隔最大化

线性可分分离超平面有无穷多个，但是几何间隔最大的分离超平面（最大间隔分离超平面）是唯一存在的。
求得几何间隔最大的分离超平面 （最大间隔分离超平面） 的问题可以表示为下面的约束最优化问题：

又因为，从上面已知：函数间隔与几何间隔的关系，所以问题可以改写为：

因为函数间隔的取值不影响最优化问题的解，所以取函数间隔=1，则问题可以改写为：

注意到：最大化1/||w||等价于最小化||w||²/2，则问题可以改写为：

最终，改写为一个凸二次规划问题。

支持向量

支持向量： 距离超平面最近的几个样本点，如上图，在H1，H2上的点就是支持向量。

H1，H2称为间隔边界。
注意： 在决定分离超平面时，只有支持向量起作用，而其他实例点不起作用。由于支持向量在确定分离超平面中起着决定性作用，所以把这种分类模型称为支持向量机，支持向量的个数一般很少，所以SVM由很少的“重要的”训练样本确定。