数学基础（四）：支持向量机SVM数学推导（硬间隔，软间隔，核函数）

数学基础系列博客是自己在学习了稀牛学院&网易云课堂联合举办的《人工智能数学基础》微专业后的课程笔记总结。怀着对授课讲师Jason博士无限的敬佩与感激之情，我在完整听了两遍课程之后，对这门进行了笔记整理。Jason博士用深入浅出的方式把数学知识真的是讲透彻了，我的笔记显然无法完整传达Jason博士的精彩授课内容，在此非常推荐每一个打算进入或了解AI的同学去学习这门课程！

一：机器学习中的两类问题

1.1 回归问题

• 回归预测的是连续值

  

• 线性回归问题的结果是一条直线（二维）、一个平面（三维）或超平面（高于三维）。

1.2 分类问题

• 分类问题预测的是离散值

今天我们来整理学习一下支持向量机，这么多天都没有更新机器学习算法系列，就是因为一直在学习SVM，但是，感觉我还是没有领悟支持向量机这个经典算法的精髓。只能在此将自己的理解整理一下，供各位朋友参考。在学习过程中也参考了很多优秀的博客，其中寒小阳的博客对自己帮助最大，在此表示非常感谢！在这篇文章中，我们着重从数学的角度来理解学习SVM。希望能够对真正理解算法有帮助。

二：支持向量机简介

首先，我们要说强调以下两点内容，可能现在还不清楚，但是当你读完博文之后，自然就能够理解这两句话的意思了。

1. 支持向量机是一类分类算法。
2. 我们需要使用有标签的数据进行训练，所以说SVM是有监督学习算法。

三：线性分类器和最优线性分类器

我们来说一下线性分类器。什么是线性分类器？顾名思义，数学表达为线性方程的分类器，我们就称之为线性分类器。从数学上来讲，形如${\mathbf{w}}^{\mathbf{T}}\mathbf{x}+b=0$的平面被称为超平面，在一维空间中，超平面就是一个点；在二维空间中，超平面就是一条直线；在三维空间中，超平面是一个平面；在更高维空间中，由于无法直观展现出来，因此我们称之为超平面。

其实，我们前面的算法中学习过这种分类器，那就是逻辑回归算法。大家仔细回忆一下，或者回顾一下前面的博客文章 机器学习算法系列（二）：逻辑回归,逻辑回归本质上是通过判断一个样本点在分类直线的哪一侧来判定样本的类别，所以说逻辑回归的分类器就是一个线性分类器。但是能够区分两个样本的分类器只有一个吗？大家可以观察下边这幅图，从图中可以看出，能够区分两类样本点的直线其实有很多，那么这些直线的分类效果都一样吗？哪一条直线的分类效果最好呢？这也就引出了SVM算法。

SVM算法本质上就是要找到一条直线（二维空间中为直线，高维空间中统称为超平面）将两类样本点尽可能地分开，使得直线离两类样本点的距离最大。这样的分类器鲁棒性最好。什么是鲁棒性？鲁棒性用土话说就是“皮实”，在预测的时候不容易出错，容错性更好。举个例子：

下图中有两类样本点(women和men)，分别用“圆圈”和“十字”表示。我们仔细观察就会发现，图中的四条直线其实都可以把两类样本点分开，那么这四条直线都可取吗？

假如我们选取图中的绿色直线，然后用一些数据点来进行测试，如下图所示。很容易就会发现，红色样本点被分错了好多，这说明什么呢？说明这条直线的鲁棒性不好。很容易分类错误。究其原因，就是因为这条直线离红色样本点太近了。这种离某一个类别太近的分类器的分类效果就不是很好。那么，我们自然就能想到好的分类器应该满足的标准：离两类样本尽可能地远！

比如下图中的黑色分类器，离两类样本都比较远，当进行分类时，鲁棒性就很好，不容易分错。写到这里，我想读者朋友应该能够明白SVM的目标了吧。就是要找到一条离两类样本都尽可能远的直线！很容易可以理解，当分类器在两类样本正中间的时侯最合适。如果不在中间，那么肯定就偏向了某一类样本，因此，按照svm的目标，最优的线性分类器一定是在两类样本点的正中间。

四：SVM建模

4.1 点到超平面的距离

• 超平面$\{\mathbf{x}|{\mathbf{w}}^{\mathbf{T}}\mathbf{x}+b=0\}$
• 空间中任意一点p到该点的距离

$$r=\frac{|{\mathbf{w}}^{\mathbf{T}}\mathbf{p}+b|}{||\mathbf{w}|{|}_2}$$

推导：

4.2 SVM目标函数

• 几何间隔：(找出到超平面距离最小的那个点，然后计算出这个距离)
  $$M=\underset{i}{\min }{r}_i=\underset{i}{\min }\frac{\left|{\mathbf{w}}^T{\mathbf{x}}_i+b\right|}{\Vert \mathbf{w}{\Vert }_2}$$

• SVM目标函数
  $$\begin{array}{c}{\max }_{\mathbf{w},b}M\\ {\max }_{\mathbf{w},b}\left\{{\min }_i\frac{|{\mathbf{w}}^T{\mathbf{x}}_i+b|}{\Vert \mathbf{w}{\Vert }_2}\right\}\end{array}$$

  • 目标是使得最小的距离最大化。每给定一个w,b，就可以计算出所有样本到超平面的距离，这时候就可以找到一个最小距离，然后就可以通过穷举的方法优化w和b，让最小的距离最大化。
  • 

4.3 简化目标函数

• 分子部分${\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}+b$可以改写为：
  $$y_i({\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}+b)$$

  • $y_i$是人为定义的$y_i\in \{1,-1\}$
  • 如果${\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}+b>0$,则$y_i=1$;
  • 如果${\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}+b<0$,则$y_i=-1$;

• 目标函数由${\max }_{\mathbf{w},b}\left\{{\min }_i\frac{|{\mathbf{w}}^T{\mathbf{x}}_i+b|}{\Vert \mathbf{w}{\Vert }_2}\right\}$变为：
  $$\underset{\mathbf{w},b}{\max }\left\{\underset{i}{\min }\frac{y_i({\mathbf{w}}^T{\mathbf{x}}_i+b)}{\Vert \mathbf{w}{\Vert }_2}\right\}$$

• 上述目标函数中，大括号里边是对i进行遍历，与w无关，因此目标函数可以写成：

$$\underset{\mathbf{w},b}{\max }\left\{\frac{1}{\Vert \mathbf{w}{\Vert }_2}\underset{i}{\min }{y}_i\left({\mathbf{w}}^T{\mathbf{x}}_i+b\right)\right\}$$

• 进行scaling，$\mathbf{w}\to k\mathbf{w}$和$b\to kb$，将这两个参数分别缩放后，我们可以知道点到平面的距离不变。（分子分母同时提出一个k)

• 因此，我们可以设计距离最近的一个点，使得$y_i({\mathbf{w}}^T{\mathbf{x}}_i+b)=1$

• 同时有
  $$y_i({\mathbf{w}}^T{\mathbf{x}}_i+b)\ge 1i=1,2,3...N$$

• 因此目标函数变为

• $$\begin{gathered} \underset{\mathbf{w},b}{\max }\left\{\frac{1}{\Vert \mathbf{w}{\Vert }_2}\ast 1\right\}\to \underset{\mathbf{w},b}{\max }\left\{\frac{1}{\Vert \mathbf{w}{\Vert }_2}\right\}\to \underset{\mathbf{w},b}{\min }\{\frac{1}{2}|\mathbf{w}{\Vert }_2^2\} \\ s.t.y_i({\mathbf{w}}^T{\mathbf{x}}_i+b)\ge 1i=1,2,3...N \end{gathered}$$

• 约束条件的解释：对于距离最近的点，取等号；其余点均取大于号

• 

五：SVM求解

回想QP问题的标准型：
$$\begin{array}{cl}\mathrm{minimize}& \frac{1}{2}{\mathbf{x}}^T\mathbf{P}\mathbf{x}+{\mathbf{c}}^T\mathbf{x}+d\\ \text{ subject to }& \mathbf{G}\mathbf{x}\le \mathbf{h}\\ & \mathbf{A}\mathbf{x}=\mathbf{b}\end{array}$$
那么SVM问题就是一个典型的QP问题：
$$\begin{array}{ll}\text{ minimize }& \frac{1}{2}\Vert \mathbf{w}{\Vert }_2^2+C{\sum }_{i=1}^N{\xi }_i\\ \text{ subject to }& y_i\left({\mathbf{w}}^T{\mathbf{x}}_i+b\right)\ge 1-{\xi }_i,i=1,\cdots ,N\\ & {\xi }_i\ge 0\end{array}$$
其中，存在$ \xi_{i}$是软间隔（此时可以假设$\xi_i=0$。此时需要注意的是，我们并不知只有一个约束条件，而是存在N个约束条件。也就是说，有多少个样本点，我们就有多少个约束条件。当样本点特别大时，计算会变得非常慢。因此，我们考虑他的对偶问题。目标函数是凸函数，约束条件为线性，所以是一个凸优化问题，因此是一个强对偶问题。也就是说对偶问题的最大值就是原问题的最小值。

5.1 SVM对偶问题

• 拉格朗日函数：
  $$L(\mathbf{w},b,\mathbf{\lambda })=\frac{1}{2}\Vert \mathbf{w}{\Vert }_2^2+\sum _{i=1}^N{\lambda }_i\left(1-y_i\left({\mathbf{w}}^T{\mathbf{x}}_i+b\right)\right)$$

• 对偶问题为：
  $$g(\mathbf{\lambda })=\underset{\mathbf{w},b}{\min }L(\mathbf{w},b,\mathbf{\lambda })$$

• 所以对偶问题的最优值为：
  $$d^{\ast }=\underset{\mathbf{\lambda }}{\max }g(\mathbf{\lambda })=\underset{\mathbf{\lambda }}{\max }\{\underset{\mathbf{w},b}{\min }L(\mathbf{w},b,\mathbf{\lambda })\}$$
  令$L(\mathbf{w},b,\mathbf{\lambda })$对$\mathbf{w},b$分别求导，可以得到：
  $$\begin{gathered} L^{\prime }(\mathbf{w})=\mathbf{w}-\sum _{i=1}^N{\lambda }_i{y}_i{\mathbf{x}}_i=0 \\ 所以\mathbf{w}=\sum _{i=1}^N{\lambda }_i{y}_i{\mathbf{x}}_i \end{gathered}$$

  $$L^{\prime }(b)=\sum _{i=1}^N{\lambda }_i{y}_i=0$$

  将以上两个式子代入对偶问题：则对偶问题的最优值变为：
  $$\begin{array}{cl}{\max }_{\lambda }& {\sum }_{i=1}^N{\lambda }_i-\frac{1}{2}{\sum }_{i=1}^N{\sum }_{j=1}^N{\lambda }_i{\lambda }_j{y}_i{y}_j{\mathbf{x}}_i^T{\mathbf{x}}_j\\ \text{ subject to }& {\sum }_{i=1}^N{\lambda }_i{y}_i=0,{\lambda }_i\ge 0,i=1,\cdots ,N\end{array}$$
  我们假设能够解出${\lambda }_{\ast }$,根据KKT条件有：
  $$\begin{array}{l}{y}_i\left({\mathbf{w}}^{\ast T}{\mathbf{x}}_i+b^{\ast }\right)\ge 1\\ {\lambda }_i^{\ast }\ge 0\\ {\lambda }_i^{\ast }\left(y_i\left({\mathbf{w}}^{\ast T}{\mathbf{x}}_i+b^{\ast }\right)-1\right)=0\\ {\mathbf{w}}^{\ast }={\sum }_{i=1}^N{\lambda }_i^{\ast }{y}_i{\mathbf{x}}_i,{\sum }_{i=1}^N{\lambda }_i^{\ast }{y}_i=0\end{array}$$
  仔细观察上述条件：我们可以得出以下结论：

  • 如果${\lambda }^{\ast }=0$,那么$\lambda$对$\mathbf{w}$没有贡献。

  • 如果${\lambda }^{\ast }>0$,那么$y_i\left({\mathbf{w}}^{\ast T}{\mathbf{x}}_i+b^{\ast }\right)=1$,称这些点为支撑向量。

  • 所以${\mathbf{w}}^{\ast }$只与那些$\lambda ̸=0,y_i\left({\mathbf{w}}^{\ast T}{\mathbf{x}}_i+b^{\ast }\right)=1$的点有关。把${\mathbf{w}}^{\ast }={\sum }_{i=1}^N{\lambda }_i^{\ast }{y}_i{\mathbf{x}}_i$代入$y_i\left({\mathbf{w}}^{\ast T}{\mathbf{x}}_i+b^{\ast }\right)=1$中，可以得到$b^{\ast }=y_i-{\sum }_{i=1}^N{\lambda }_i^{\ast }{y}_i\left({\mathbf{x}}_i^T{\mathbf{x}}_i\right)$

从以上可以得出一点：

• 在求$\lambda$的过程中，所有点都有作用。但是在求解之后，可以只保留支撑向量点。因为非支撑像向量点的$\lambda =0$，对$\mathbf{w}$的求解没有帮助。

5.2 最优的分离超平面及决策函数

• 分离超平面：
  $$\begin{array}{c}{\mathbf{w}}^{\ast T}\mathbf{x}+b^{\ast }=0\\ {\sum }_{i=1}^N{\lambda }_i^{\ast }{y}_i{\mathbf{x}}_i^T\mathbf{x}+b^{\ast }=0\end{array}$$

• 决策函数
  $$f(\mathbf{x})=\mathrm{sign}\left(\sum _{i=1}^N{\lambda }_i^{\ast }{y}_i{\mathbf{x}}_i^T\mathbf{x}+b^{\ast }\right)$$

​

需要注意的是：支持向量机无法像逻辑回归那样，给出一个分类的概率，只能告诉你，样本被分为哪一类。

六：软间隔问题

在上述的SVM求解问题当中，我们要求所有的样本点都要划分正确，不允许出现错误，但是在实际的分类任务中，我们可以适当地允许一些样本点犯错，牺牲了在某些样本点上必须分类正确地限制，来换取更大的分类间隔。软间隔SVM问题的表示形式如下：
$$\begin{array}{ll}\mathrm{minimize}& \frac{1}{2}\Vert \mathbf{w}{\Vert }_2^2+C{\sum }_{i=1}^N{\xi }_i\\ \text{ subject to }& y_i\left({\mathbf{w}}^T{\mathbf{x}}_i+b\right)\ge 1-{\xi }_i,i=1,\cdots ,N\\ & {\xi }_i\ge 0\end{array}$$
在上述的表示当中，我们把错误记录在一个${\xi }_i$中，这个变量记录了样本点$(x_i,y_i)$犯了多大的错。然后在目标函数中优化${\sum }_{i=1}^n{\xi }_i$，以使得所犯的错误最小。

那么为什么${\xi }_i$可以用来表示样本点犯错的大小呢？如果$y_i\left({\mathbf{w}}^T{\mathbf{x}}_i+b\right)\ge 1$,那么说明样本点没有分类错误，对应的${\xi }_i=0$,如果$y_i\left({\mathbf{w}}^T{\mathbf{x}}_i+b\right)<1$,说明样本点被分类错误，分类错误的程度${\xi }_i=1-y_i\left({\mathbf{w}}^T{\mathbf{x}}_i+b\right)$。比如：某个样本点的$y_i\left({\mathbf{w}}^T{\mathbf{x}}_i+b\right)=-10$，则相应的${\xi }_i=1-(-10)=11$.

参数C的作用：

• C大，说明我们更在意分类的准确性，间隔可以小一点，但是划分错误的点要少一些。
• C小，则表明我们可以要“胖”一点的间隔，划分错误的点多一些没有关系。

七：核函数

需要注意的是，在实际的分类任务中，并不是所有任务都是线性可分的，如下图所示：

我们可以通过特征映射的方式，将样本点映射到高维空间中，找到一个超平面进行切分。映射方式为$x\to \psi (x)$。则支持向量机的目标变为：
$$\begin{array}{ll}min& \frac{1}{2}\Vert \mathbf{w}{\Vert }_2^2\\ \text{ subject to }& y_i\left({\mathbf{w}}^T\varphi \left({\mathbf{x}}_i\right)+b\right)\ge 1,i=1,\cdots ,N\end{array}$$
特征映射$x\to \psi (x)$,所以对偶问题是：
$$\begin{array}{ll}{\max }_{\lambda }& {\sum }_{i=1}^N{\lambda }_i-\frac{1}{2}{\sum }_{i=1}^N{\sum }_{j=1}^N{\lambda }_i{\lambda }_j{y}_i{y}_j\varphi {\left({\mathbf{x}}_i\right)}^T\varphi \left({\mathbf{x}}_j\right)\\ \text{ subject to }& {\sum }_{i=1}^N{\lambda }_i{y}_i=0,{\lambda }_i\ge 0,i=1,\cdots ,N\end{array}$$
直接计算$\varphi {\left({\mathbf{x}}_i\right)}^T\varphi \left({\mathbf{x}}_j\right)$是非常困难的，因此我们设定一个函数：
$$\kappa \left({\mathbf{x}}_i,{\mathbf{x}}_j\right)=\varphi {\left({\mathbf{x}}_i\right)}^T\varphi \left({\mathbf{x}}_j\right)$$
这样便可以解决上述问题，因此决策函数变为：
$$\begin{gathered} f(\mathbf{x})=\mathrm{sign}\left(\sum _{i=1}^N{\lambda }_i^{\ast }{y}_i\varphi ({\mathbf{x}}_i{)}^T\varphi (\mathbf{x})+b^{\ast }\right) \\ =\mathrm{sign}\left(\sum _{i=1}^N{\lambda }_i^{\ast }{y}_i\kappa \left({\mathbf{x}}_i,\mathbf{x}\right)+b^{\ast }\right) \end{gathered}$$
常用的核函数：

• 线性核：$\kappa \left({\mathbf{x}}_i,{\mathbf{x}}_j\right)={\mathbf{x}}_i^T{\mathbf{x}}_j$

• 多项式核：$\kappa \left({\mathbf{x}}_i,{\mathbf{x}}_j\right)={\left({\mathbf{x}}_i^T{\mathbf{x}}_j\right)}^d,d\ge 1$

• 高斯核：$\kappa \left({\mathbf{x}}_i,{\mathbf{x}}_j\right)=\exp \left(-\frac{{\Vert {\mathbf{x}}_i-{\mathbf{x}}_j\Vert }^2}{2{\sigma }^2}\right)$

八：参考资料

1. https://blog.csdn.net/han_xiaoyang/article/details/52678373
2. https://blog.csdn.net/robin_xu_shuai/article/details/76946333
3. 稀牛学院&网易云课堂《人工智能数学基础》