支持向量机SVM

支持向量机SVM

---

   SVM被提出于1964年，在二十世纪90年代后得到快速发展并衍生出一系列改进和扩展算法，在人像识别、文本分类等模式识别（pattern recognition）问题中有得到应用。
   支持向量机（Support Vector Machine, SVM）是一类按监督学习（supervised learning）方式对数据进行二元分类的广义线性分类器（generalized linear classifier），其决策边界是对学习样本求解的最大边距超平面（maximum-margin hyperplane）。

  参考: 西瓜书

一、相关概念

1.1 超平面、法向量、平移顶

   给定训练样本集 $D=\{(x_1,y_1),(x_2,y_2),(x_m,y_m)\},y_i=\{+1,-1\}$ ，分类学习最基本的想法就是基于训练集，在样本空间中找到一个划超分面，将不同的样本分开。如下图：

   其中能够划分样本的超平面存在多个，我们要找的是最好的哪一个，即图中“中间”粗线的超平面。
   在样本空间中，超平面表示如下：
$$w^{T}x+b=0\text{\hspace{1em}(1)}$$
  其中，$w=(w_1,w_2,w_3...)$称为法向量，它决定了超平面的方向；$b$ 称为位移顶，它决定超平面与原点的距离。可知，划分超平面可由法向量 $w$ 和位移 $b$ 决定，则超平面表示为$(w,b)$。

1.2 点到超平面距离、支持向量、间隔

  样本空间中任一点$x$到超平面$(w,b)$的距离表示为：
$$r=\frac{|w^{T}x+b|}{||w||}\text{\hspace{1em}(2)}$$   假设超平面能将样本正确分类，即对于$(x_i,y_i)\in D$, 点在超平面的上方，则$w^{T}x+b>0$；在超平面下方，$w^{T}x+b<0$的特性。
  对于一个2分类，可以令如下式子成立：
$$\{\begin{array}{ll}{w}^T{x}_i+b>+1,& y_i=正类\\ w^T{x}_i+b<-1,& y_i=负类\end{array}\text{\hspace{1em}(3)}$$   则表示如下图：

  距离分割超平面最近的几个训练样本使得上式子成立，它们称为支持向量(support vector)。
  两个异类支持向量到超平面的距离之和为:
$$r=\frac{2}{||w||}\text{\hspace{1em}(4)}$$
  称为间隔（margin）。

1.3 支持向量机模型

   欲找到具有最大间隔的划分超平面，就要找到能满足式(3)中约束的参数$w$、$b$使得间隔$r$最大，即:

为了最大化问隔,仅需最大化$||w|{|}^{-}1$，这等价于最小化$||w||2$,则上式中重写为：

以上表达式就是支持向量机(Support Vector Machine ，简称 SVM) 的基本型。