【统计学习方法】支持向量机(SVM)

1 基本概念

1.1 支持向量

如下图所示，实心点和空心点分别代表数据的两种类别，他们被黄色区域中间的直线分隔成两部分。被蓝色和红色圆圈圈出的点即为支持向量。所谓支持向量，就是指距离分隔超平面最近的点。

1.2 超平面外一点x到超平面的距离

1.3 函数间隔和几何间隔

函数间隔：

几何间隔：

2 线性可分支持向量机

2.1 线性可分支持向量机定义

给定线性可分训练数据集，通过间隔最大化或等价地求解相应的凸二次规划问题学习得到一个分离超平面:

及相应的决策模型:

称为线性可分支持向量机。

 

2.2 最优化目标

支持向量机的优化目标是找到一个超平面，使支持向量到超平面的距离最大（几何间隔最大）。

 

因为

 

有：

w,b等比例缩放，对于超平面是没有影响的，也就是函数间隔等比例缩放对于优化目标是没有影响的，我们可以令函数间隔缩放为1，则

最大化等价于最小化。

则：

即为向量机的优化目标（原始问题）

2.3 利用拉格朗日函数求解目标函数

2.2中的目标函数转化成拉格朗日形式：

参考:

支持向量机通俗导论（理解SVM的三层境界）

支持向量机（SVM）中的 SMO算法