支持向量机笔记

读李航老师《统计学习方法》笔记

模型：

线性可分支持向量机（linear support vector machine in linearly separable case）

线性支持向量机（linear support vector machine）

  非线性支持向量机（non-linear support vector machine）

训练数据的性质：

训练数据线性可分，通过硬间隔最大化（hard margin maximization），学习线性可分支持向量机。

训练数据近似线性可分，通过软间隔最大化（soft margin maximization），学习线性支持向量机。

训练数据线性不可分，通过使用核技巧（kernel trick）及软间隔最大化，学习非线性支持向量机。

超平面（w, b）及法向量w

函数间隔（function margin）  几何间隔（geometric margin）

*对训练数据集中阿道几何间隔最大的超平面，意味着以充分大的确信度对训练数据进行分类。不仅将正负实例点分开，而且对最难分的实例点也有足够大的确信度将他们分开。

超平面关于悬链数据集T的函数间隔为超平面关于T中算有的样本点的函数间隔最小值。

SVM目标：线性可分支持向量机利用间隔最大化求最优分离超平面。

摘自网络：

现在假设对于线性可分的样本集，我们有了一个分割超平面，现在我们想通过调整w₀和b₀让它分割的正样本和负样本保持最大的间隔，这样我们就获得了最优的超平面。实际上在操作过程中，我们最大化的是离超平面最近的点到超平面的距离。也就是说，我们要让超平面尽量远离最近的点。从图中可见超平面到正样本最近点的距离和超平面到负样本最近点的距离是相等的。这是个巧合么？

假设我们已经找到了一个超平面，它离正样本最近点的距离大于离负样本最近点的距离，那么这个离超平面最近的点就是负样本中的最近点。而考虑到我们的目标，我们还会调整超平面的位置使它还可以增大一些，即使这样会牺牲离正样本最近点的距离。所以调整到最后的结果肯定是超平面离两侧最近点的距离是等距的。

想过问题：

1，只要成比例改变w和b，超平面并没有改变，函数间隔成为原来的2倍，几何间隔没有改变。

成比例改变w和b，超平面为什么没变？  

比如二元 y = x + 2， 改变为 y = 2x + 4。可能以为平面图上那条线改变了，但是注意 这个超平

面不是那条线，应该是x = -2那个点，使得y = 0的那个x。所以成倍改变w和b，超平面并没

有改变。

2，欧几里得范数     维基百科：范数

3，拉格朗日乘数法       维基百科：拉格朗日乘数法

关于拉格朗日乘子：点击打开链接

支持向量机的文章 点击打开链接  点击打开链接