SVM在二维平面的理解

SVM是数据挖掘十大算法之一，其原理不是很好理解，学习了一些资料之后做一个浅显的笔记，欢迎有机器学习爱好的同仁来交流，和批评指正。

SVM介绍

SVM(Support Vector Machine)指的是支持向量机，是一种分类算法。在机器学习领域，是一个有监督的学习模型，通常用来进行模式识别、分类以及回归分析。在深度学习出现之前，SVM被认为机器学习中近十几年表现最好的算法。
SVM是在一个向量空间内通过找到一个超平面[1]，将数据分隔在超平面两侧的算法，从而达到对数据分类，及预测分类的目的。
例子：

区分两个分类哪条线最好？

SVM寻找分类的超平面

SVM寻找区分两类的超平面，使超平面距离支持向量[2]的边际最大
如何选取使边际最大的超平面？
超平面到一侧最近点的距离等于超平面到另一侧最近点的距离，两侧的两个超平面平行

寻找边际最大超平面

线性可区分和线性不可区分

在上图1给的样本数据中大部分是分布在分隔线两侧的，但是有两个点不是，这样找不到一条直线把样本数据完全分隔开，这时候就是线性不可区分的，图2也是线性不可区分的。这种是比较复杂的情况，我目前只学习了线性可区分的知识。

定义与公式建立

超平面可定义为

超平面公式

以下图为例

横轴X1 纵轴X2

这里W和X都是向量，假如平面是二维的，超平面就是一维的，设W向量表示为|w1,w2|，向量X表示为|x1,x2|，超平面公式等价于

w1*x1 + w2*x2 + b = 0
x2 = -w1/w2 * x1 - b/w2
斜率 = -w1/w2
截距 = - b/w2

所以在超平面上方的点满足

 w1*x1 + w2*x2 + b > 0

在超平面下方的点满足

 w1*x1 + w2*x2 + b < 0

调整b的值，使得超平面到两边支持向量的距离都为1，有

超平面上方的点满足
 w1*x1 + w2*x2 + b >= 1
超平面上方边际方程：
 w1*x1 + w2*x2 + b = 1
超平面下方的点满足
 w1*x1 + w2*x2 + b <= -1
超平面下方边际方程：
 w1*x1 + w2*x2 + b = -1

下图超平面的算法

即绿色斜线方程的算法

理解：
第一步 寻找支持向量
一类是(1,1)、(2,0)，另一类是(2,3)，支持向量点是(1,1)和(2,3)，如果如果样本特征向量比较多，寻找支持向量需要计算
第二步 寻找能分隔两类，且距两类点都最远的线
这条线应该满足以下两点：
  1、与(1,1)和(2,3)为顶点的线段d垂直
  2、能平分线段d

求解过程如下：
为了阅读和理解的方便，将X1 写成 x ，X2 写成y
设斜线方程为：ax+2ay + b = 0
(1,1) 在斜线下方，(2,3)在斜线上方，假使上下边际都是1的情况下，有
1a+2a+b=-1,2a+6a+b=1两个方程成立
得：a = 2/5，b = -11/5
斜线方程：x+ 2y - 5.5 = 0

SVM如何找到边际最大的超平面