支持向量机Support Vector Machine(SVM)

二元SVM

SVM是一种有监督学习方法，因为它可以最大化几何边缘，所以又被称为最大间隔分类器

目标函数

损失函数

即：当真实的label 为1时， 损失函数变为

此时的函数图像如下

此时，只要目标函数 时损失就为0。

当真实的label 为-1时，损失函数为

此时的函数图像如下

此时，只要目标函数 时，损失就为0。

为什么SVM是最大间隔分类器

根据SVM的损失函数，我们需要计算(为方便计算，这里将偏置项b省略)，为了使损失最小，需要根据不同的label值，尽可能使得 或者。

而在线性代数中，我们可以将 转换成另外一种形式。举例来说，假设我们有向量,

 

则它们的内积,其中p为A在W上的投影，当p与w方向相同时为正数，否则为负数，为向量W的长度。

所以, 我们要让其大于1或小于-1，由于损失函数中有加入w的长度作为正则项，我们需要减小 ，增大 。假设,,为方便计算，省略偏置项b，则，我们画出SVM的超平面（注意横纵坐标），如图

 

由于，所以W和超平面垂直，由图可以看出，每个点在参数向量W的投影p都等于该点到超平面的距离，而我们正需要增大p，所以SVM可以最大化数据与分类超平面的间隔。

参考文献：http://blog.csdn.net/han_xiaoyang/article/details/52679559