SVM推导过程浅析

转载请注明出处，原文地址

前言

SVM - support vector machine, 俗称支持向量机，为一种supervised learning算法，属于classification的范畴。本篇文章将会讲述SVM的原理并介绍推导过程。

SVM推导过程

如图，我们有些红色与蓝色点分部在平面中，我们设蓝点为正红点为负。SVM的任务就是找到一条线，将红点和蓝点分割开来，这条线可能会有很多种可能，图中绿色的实线是最好的一条，因为它距离红点和蓝点所在的虚线的距离最大。

接下来我们就一起来探讨下SVM的这条分割线是如何找到的。

首先，我们先随便找一条线做为分割线，我们选择平面上的任意一个点用向量$u$表示，设分割线的法向量为$w$，就可以计算出向量$u$ 在$w$ 方向的投影长度。

假设分割线距离原点的距离为b，那么对于负样本$u$

$$u\cdot w<=b$$

就有

$$u\cdot w-b<=0$$

从公式就能看到，SVM其实就是要寻找合适的$w$与$b$让虚线与实线的距离最大。

接下来我们把实线与虚线的距离归一化，那么对于训练集来说就有如下公式

负项：

$$wx-b<=-1$$

正项：

$$wx-b>=1$$

为了将这两个公式统一，我们加入一个辅助量

$$y_i=\{\begin{array}{l}1x为正\\ -1x为负\end{array}$$

把辅助量带入上面的公式，最终两个公式可以合并成一个公式

$$y_i(wx-b)-1>=0$$

那么，怎么样才能保证实线与虚线的距离最宽呢，这里我们设$x_{+}$与$x_{+}$分别为正负虚线上面的点，那么就有

$$width=(x_{+}-x_{-})\cdot \frac{w}{|w|}$$

$$x_{+}=\frac{b+1}{w}$$

$$x_{-}=\frac{b-1}{w}$$

最终我们得到公式

$$width=\frac{2}{|w|}$$

所以宽度实际上和训练数据是没有关系的，只要知道了法向量，就可以求出宽度

我们要让宽度越大越好，即

$$max\frac{2}{|w|}$$

即

$$min|w|$$

即

$$min\frac{1}{2}|w{|}^2$$

这里添加的参数是为了之后求导方便

接下来就是求极值，但是我们这里有一个限制条件，因此根据拉格朗日乘子法,最终求极值的公式为：

$$L=\frac{1}{2}|w{|}^2-\sum _{i=1}^N{\alpha }_i[y_i(w_i{x}_i-b)-1]$$

对$w$与$b$求偏导

$$\frac{\alpha L}{\alpha w}=w-\sum _{i=1}^N{\alpha }_i{y}_i{x}_i$$

$$\frac{\alpha L}{\alpha b}=\sum _{i=1}^N{\alpha }_i{y}_i$$

令导数为0有

$$w=\sum _{i=1}^N{\alpha }_i{y}_i{x}_i$$

$$\sum _{i=1}^N{\alpha }_i{y}_i=0$$

把这两个式子带入到L中

$$L=\sum _{i=1}^N{\alpha }_i-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i{x}_j$$

走到这一步我们会发现$w$与$b$已经别其他变量所取代，最后我们要求的是$\alpha$的值，对于$\alpha$的值，一般会采用SMO KKT等算法来求取，这里不做详细说明。

那对于一些无法用线性函数来做分类时怎么办呢

首相，我们会把数据做一个非线性变化，把值变化到一个线性可分的空间上，这个函数我们称为核函数kernel，根据上面的L公式来说，我们并不需要知道每个点的数据怎么变的，只需要拿到核函数的结果，并把$x_i{x}_j$替换成核函数结果即可求出最后的值。