详解SVM

详解SVM

一、什么是SVM

SVM是一种二类分类模型，与感知机不同的是，他的基本模型是定义在特征空间上的间隔最大的线性分类器。支持向量机还包括核技巧，使他成为实质上的非线性分类器。
一句话总结：SVM就是通过监督学习来解决二分类问题

1. SVM定义

线性可分支持向量机：给定线性可分训练数据集，通过间隔最大化或等价的求解相应的凸二次规划问题学习得到的分离超平面为
$$w^{\ast }\cdot x+b^{\ast }=0$$
以及相应的分类决策函数
$$f(x)=sign(w^{\ast }\cdot x+b^{\ast })$$
称为线性可分支持向量机
如下图所示，红色代表正例，蓝色代表反例，训练数据集线性可分，有无数条直线能够将两类数据正确划分，而SVM就是能将两类数据正确划分并且间隔最大的直线

2. 函数间隔和几何间隔

首先我们定义任意一点$(x,y)$到超平面$w^{T}x+b=0$的距离
$$\frac{|w^{T}x+b|}{||w||}$$
这个形式就是点到平面的距离公式，设一个点的坐标为$(x_0,y_0,z_0)$，平面为$Ax+By+Cz+D=0$，则点到平面的距离为$d=|\frac{A{x}_0+B{y}_0+C{z}_0+D}{\sqrt{A^2+B^2+C^2}}|$

（1）函数间隔

定义函数间隔（functional margin）
$$\hat{\gamma }=y(w^{T}x+b)=yf(x)$$
超平面关于训练数据集$T$的函数间隔为超平面$(w,b)$关于$T$中所有样本点$(x_i,y_i)$的函数间隔最小值，其中$x$是特征，$y$是标签，则
$$\hat{\gamma }=min{\hat{\gamma }}_i(i=1,2,...,n)$$
上述函数间隔虽然可以表示分类预测的正确性和确信度，但是分离超平面中使用函数间隔是不可取的，因为只要成比例的改变$w,b$，函数间隔就会变味原来的$n$倍，因此我们需要加入某些约束，例如对$w$加入某些约束，就得到了下面的几何间隔

（2）几何间隔

定义几何间隔（geometrical margin）
$$\gamma =\frac{\hat{\gamma }}{||w||}=\frac{y(w^{T}x+b)}{||w||}$$
此时成比例的改变$w,b$，几何间隔也不会变化了

注意：为什么$w,b$变化的时候影响函数间隔会对我们的分类产生影响？这是因为$w,b$成比例的变化时，我们的超平面是不变的，但是函数间隔会变化，这样会影响我们的margin，影响分类
$$\begin{gathered} w^{T}x+b=0w,b\to \times 10 \\ 10w^{T}x+10b=0令w^{\ast }=10w{b}^{\ast }=10b \\ {w}^{\ast T}x+b^{\ast }=0与上述一致，不变 \end{gathered}$$

3. 支持向量

支持向量（support vector）就是在分类过程中支持margin的那些点，他们到超平面的距离相等，下图中用黑色圈圈出的点就是support vector

二、SVM求解

1. 问题描述

SVM的方法就是间隔最大化，也就是说求解能够正确划分训练数据集并且几何间隔最大的分离超平面，这里只讨论硬间隔最大化，也就是说训练数据集线性可分并且间隔相对较大；与之对应的是软间隔最大化，表示训练数据集近似可分

间隔最大化的直观解释是：对训练数据集找到几何间隔最大的超平面以充分大的确信度对训练数据进行分类，即不仅将正负实例分开，而且对最难分的实例点（离超平面最近的点）也有足够大的确信度将他们分开，具有很好的分类预测能力

最大间隔分类超平面
目的：最大化间隔并使得分类点大于此间隔
$$\underset{w,b}{\max }\gamma st.\frac{y_i(w^T{x}_i+b)}{||w||}\ge \gamma i=1,...,n$$
考虑到几何间隔$\gamma$和函数间隔$\hat{\gamma }$的关系，变形：
$$\underset{w,b}{\max }\frac{\hat{\gamma }}{||w||}st.y_i(w^T{x}_i+b)\ge \hat{\gamma }i=1,...,n$$
为了简化计算，取函数间隔$\hat{\gamma }=1$，得到
$$\underset{w,b}{\max }\frac{1}{||w||}st.y_i(w^T{x}_i+b)\ge 1i=1,...,n$$
上式$\underset{w,b}{\max }\frac{1}{||w||}$等价于$\underset{w,b}{\min }\frac{1}{2}||w|{|}^2$，得到：
$$\underset{w,b}{\min }\frac{1}{2}||w|{|}^{2}st.y_i(w^T{x}_i+b)-1\ge 0i=1,...,n$$
上述问题就是一个凸优化问题，下面利用对偶的方法来求解此问题

2. SVM的对偶形式

（1）对偶形式

引入拉格朗日对偶问题

$$\begin{gathered} \underset{w,b}{\min }\frac{1}{2}||w|{|}^{2}st.y_i(w^T{x}_i+b)-1\ge 0i=1,...,n \\ L(w,b,\alpha )=\frac{1}{2}||w|{|}^2-\sum _{i=1}^n{\alpha }_i(y_i(w^T{x}_i+b)-1)i=1,...,n \end{gathered}$$

令$\Theta (w)=\underset{{\alpha }_i\ge 0}{\max }L(w,b,\alpha )$，此时的$\Theta (w)=\frac{1}{2}||w|{|}^2$，当然我们有约束条件，就是$\{\begin{array}{c}{y}_i(w^T{x}_i+b)-1\ge 0i=1,...,n\\ {\alpha }_i\ge 0i=1,...,n\end{array}$，当不满足约束条件时令$\Theta (w)=\infty$，此时目标函数变为

$$\begin{gathered} \underset{w,b}{\min }\Theta (w)=\underset{w,b}{\min }\underset{{\alpha }_i\ge 0}{\max }L(w,b,\alpha )=p^{\ast } \\ dualproblem:\underset{{\alpha }_i\ge 0}{\max }\underset{w,b}{\min }L(w,b,\alpha )=d^{\ast } \end{gathered}$$

其中$d^{\ast }\le p^{\ast }$，所以我们现在求解$L$关于$w,b$的最小值，再求关于$\alpha$的最大值，转化为对偶问题的原因是方便求解

（2）求解

• 求解$\underset{w,b}{\min }L(w,b,\alpha )$

$$\begin{gathered} {▽}_{w}L(w,b,\alpha )=w-\sum _{i=1}^N{\alpha }_i{y}_i{x}_i=0 \\ {▽}_{b}L(w,b,\alpha )=-\sum _{i=1}^N{\alpha }_i{y}_i=0 \end{gathered}$$

得到

$$\begin{gathered} w=\sum _{i=1}^N{\alpha }_i{y}_i{x}_i \\ \sum _{i=1}^N{\alpha }_i{y}_i=0 \end{gathered}$$

带入$L(w,b,\alpha )=\frac{1}{2}||w|{|}^2-{\sum }_{i=1}^n{\alpha }_i(y_i(w^T{x}_i+b)-1)i=1,...,n$得到

$$\underset{w,b}{\min }L(w,b,\alpha )=L(\alpha )=-\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)+\sum _{i=1}^n{\alpha }_i$$

• 求解$\underset{\alpha }{\max }L(\alpha )$

$$\begin{gathered} \underset{\alpha }{\max }L(\alpha )=-\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)+\sum _{i=1}^n{\alpha }_i \\ st.\sum _{i=1}^N{\alpha }_i{y}_i=0{\alpha }_i\ge 0i=1,2,...,N \end{gathered}$$

一般来说我们求解的是目标函数的最小值，所以将上述函数加上负号，修改为：

$$\begin{gathered} \underset{\alpha }{\min }L(\alpha )=\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)-\sum _{i=1}^n{\alpha }_i \\ st.\sum _{i=1}^N{\alpha }_i{y}_i=0{\alpha }_i\ge 0i=1,2,...,N \end{gathered}$$

（3）KKT条件

在前两部分中我们已经将最初的优化问题$\underset{w,b}{\min }\frac{1}{2}||w|{|}^2$转化为$\underset{\alpha }{\min }L(\alpha )=\frac{1}{2}{\sum }_{i=1}^n{\sum }_{j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)-{\sum }_{i=1}^n{\alpha }_i$，接下来我们用KKT条件来对$\alpha$求解

$$\{\begin{array}{l}{▽}_{w}L(w^{\ast },b^{\ast },{\alpha }^{\ast })=w^{\ast }-{\sum }_{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i=0\\ {▽}_{b}L(w^{\ast },b^{\ast },{\alpha }^{\ast })=-{\sum }_{i=1}^N{\alpha }_i^{\ast }{y}_i=0\\ {\alpha }_i(y_i(w\cdot x_i+b)-1)=0\\ y_i(w\cdot x_i+b)-1\ge 0\\ {\alpha }_i\ge 0i=1,2,...,N\end{array}$$

$w^{\ast }$可以直接算出，将$w^{\ast }$带入$y_j(w^{\ast }\cdot x_j+b^{\ast })-1)=0$可算出$b^{\ast }$

• $w^{\ast }={\sum }_{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i$，至少一个${\alpha }_i>0$
• $b^{\ast }=y_j-{\sum }_{i=1}^N{\alpha }_i^{\ast }{y}_i(x_i\cdot x_j)$

此时我们已经得到了$w^{\ast }$和$b^{\ast }$，又因为我们的超平面方程为$w^{T}x+b=0$，所以得到

$$\begin{gathered} \sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i\cdot x+b^{\ast }=0 \\ decisionfunction:f(x)=sign(\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i(x_i\cdot x)+b^{\ast }) \end{gathered}$$

从上式可以看出，分类决策函数只依赖于输入$x$以及训练样本输入的内积，并且$decisionfunction$就被称为线性可分支持向量机的对偶形式