SVM前言：从函数间隔到几何间隔再到最优间隔分类器

单样本的函数间隔：

总体的函数间隔：

几何间隔
点到线的距离公式：

单样本几何间隔：

总体几何间隔：

 

---

首先得明白：超平面w^Tx+b=0与超平面2w^Tx+2b=0是同一个超平面

1）几何间隔不会因为超平面的系数的成比例变化而变化，而函数间隔会因为超平面的系数的变化而变化。【这个看公式就可以知道了】

因此对于同一个超平面，任意样本到该超平面的几何间隔是固定的，而函数间隔则会因为超平面的表示方式不一样而变化。

2）SVM最终学习到的是一个超平面，至于其系数是（w^T,b）还是（2w^T,2b）都不重要，所以可以对w和b进行一定的限制，令就是对w和b的一种限制。【SVM的学习到的决策函数是y=sign(w^Tx+b)】

3）SVM的学习策略是：使得样本总体几何间隔最大化【样本总体几何间隔是指所有样本的几何间隔中最小的值】

最优间隔分类器问题（几何间隔最大化分离超平面)可以表示为下面的约束最优化问题：

 

考虑到，上面的式子可以转换成：

此时可以令，这个并不会影响到优化的结果。然后又考虑到最大化1/||w||和最小化||w||²是等价的，因此上式最终转换为：