深入浅出SVM（支持向量机）

支持向量机是机器学习领域中经典的分类算法之一，最早由Corinna Cortes, Vladimir Vapnik于1995年提出。对原论文感兴趣的读者可下载此论文Support-Vector Network

简介

分类学习的最基本思想就是基于给定的训练集$D$，在样本空间中寻找一个划分超平面，将不同类别的样本分开。假如有一样本集$D=\{(x_1,y_1),(x_2,y_2),\dots ,(x_m,y_m)\}$，它的划分超平面可能存在很多个，如下图所示。那我们应该选取哪一个呢？

直观上看，我们应该选取正中间的划分超平面，即图中的绿色超平面。因为该划分超平面对训练样本的数据扰动“容忍性”最好，即鲁棒性最好，泛化能力最强。而且的确有理论证明，拥有最大间隔的划分超平面泛化能力最强，如下图所示（摘自常虹老师的《Support Vector Machine》）。其中，间隔就是距离划分超平面最近的点与划分超平面间的距离。

在样本空间中，划分超平面可通过如下线性方程描述，

$${\mathbf{w}}^{\mathbf{T}}\mathbf{x}+\mathbf{b}=0$$

其中，$\mathbf{w}=({\mathbf{w}}_1,{\mathbf{w}}_2,\dots ,{\mathbf{w}}_{\mathbf{n}})$是法向量，决定了超平面的方向。$b$是位移项，决定了超平面与源点间的截距。因此，样本空间中任意点$x$到划分超平面的距离即为，

$$d=\frac{|{\mathbf{w}}^{\mathbf{T}}+\mathbf{b}|}{||\mathbf{w}||}$$

假定超平面能将训练样本正确分类，即对于$\forall (x_i,y_i)\in D$，如果$y_i=1$，则${\mathbf{w}}^{\mathbf{T}}\mathbf{x}+\mathbf{b}>0$，相反则有${\mathbf{w}}^{\mathbf{T}}\mathbf{x}+\mathbf{b}<0$，即有

$$\{\begin{array}{rl}{\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}+\mathbf{b}\ge 1& ,y_i=1\\ {\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}+\mathbf{b}\le 1& ,y_i=-1\end{array}$$

可能有读者疑问，之前不是以0为样本划分的分界点吗？这里又为何改为1了？其实，如果超平面能正确划分样本，那么总存在缩放能使得上式成立。

此外，我们将使上式等号成立的点称为支持向量，两个异类的支持向量到超平面的距离之和，

$$\gamma =\frac{2}{||\mathbf{w}||}$$

即为我们前面所说的间隔。因此，为找到最大间隔的划分超平面以使得模型泛化能力最强，我们需要，

$$\begin{array}{rl}& max\frac{2}{||\mathbf{w}||}\\ & s.t.y_i({\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}+\mathbf{b})\ge 1,\mathbf{i}=1,2,\dots ,\mathbf{m}\end{array}$$

不难看出，最大化$\frac{2}{||\mathbf{w}||}$等价于最小化$||\mathbf{w}|{|}^2$(后面，我会解释为什么需要这样改写)。因此，上式可改写为，

$$\begin{array}{rl}& min\frac{1}{2}||\mathbf{w}|{|}^2\\ & s.t.y_i({\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}+\mathbf{b})\ge 1,\mathbf{i}=1,2,\dots ,\mathbf{m}\end{array}$$

这就是支持向量机的原型。

算法推导

前面说到，为获得最优划分超平面，我们需要求解下式，
$$\begin{array}{rl}& min\frac{1}{2}||\mathbf{w}|{|}^2\\ & \begin{array}{rl}s.t.& y_i({\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}+\mathbf{b})\ge 1,\mathbf{i}=1,2,\dots ,\mathbf{m}\end{array}\end{array}$$

这是一个典型的二次优化问题。与一般的优化问题相比，二次优化是较难解决的。然而，“稳住，我们能赢！”。因为，我们有拉格朗日大神！(再次拜服拉格朗日老前辈)。利用大名鼎鼎的拉格朗日乘子法，我们可以轻松解决这类问题。对拉格朗日问题感兴趣的同学，可以观看我的另一篇博客——原来拉格朗日乘子法这么简单！。

因此，根据拉格朗日乘子法，我们有，

$$L(\mathbf{w},b,\lambda )=\frac{1}{2}||\mathbf{w}|{|}^2+\sum _{i=1}^m{\lambda }_i(1-y_i({\mathbf{w}}^T{\mathbf{x}}_i+b))$$

其中，$\lambda =({\lambda }_1,{\lambda }_2,\dots ,{\lambda }_m),{\lambda }_i\ge 0$是对应的拉格朗日乘子。令$L(\mathbf{w},b,\lambda )$对$\mathbf{w}$和$b$求偏导，并为零，得，

$$\begin{array}{rl}\mathbf{w}& =\sum _{i=1}^m{\lambda }_i{y}_i{\mathbf{x}}_i\\ 0& =\sum _{i=1}^m{\lambda }_i{y}_i\end{array}$$

将上式代入拉格朗日函数，可得，

$$\begin{array}{rl}& \underset{\lambda }{\max }\sum _{i=1}^m{\lambda }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\lambda }_i{\lambda }_j{y}_i{y}_j{\mathbf{x}}_i^T{\mathbf{x}}_j\\ & \begin{array}{rl}s.t.& \sum _{i=1}^m{\lambda }_i{y}_i=0\\ & {\lambda }_i\ge 0,i=1,2,\dots ,m\end{array}\end{array}$$

因此，求解出$\lambda$之后，即可得到模型，

$$\begin{array}{rl}f(\mathbf{x})& ={\mathbf{w}}^T\mathbf{x}+b\\ & =\sum _{i=1}^m{\lambda }_i{y}_i\mathbf{x}+b\end{array}$$

而在求解过程中，根据拉格朗日乘子法，我们不难发现上述过程满足KKT条件，

$$\{\begin{array}{rl}{\lambda }_i& \ge 0\\ y_{i}f({\mathbf{x}}_i)-1& \ge 0\\ {\lambda }_i(y_{i}f({\mathbf{x}}_i)-1)& =0\end{array}$$

因此，对于任意样本$({\mathbf{x}}_i,y_i)$，总有${\lambda }_i=0$或者$y_{i}f({\mathbf{x}}_i)=1$。若${\lambda }_i=0$，则对应样本不会在求和过程中出现，即不会对最终的划分超平面产生影响；若${\lambda }_i>0$，则必有$y_{i}f({\mathbf{x}}_i)=1$，则对应样本位于最大间隔边界上，即是一个支持向量。这显示出支持向量机的一个重要性质：最终的划分超平面只与支持向量有关，大部分的样本都无需保留。

于是，我们可以这一性质，求解出

$$b=\frac{1}{|SV|}\sum _{{\mathbf{x}}_i\in SV}(y_i-{\mathbf{w}}^T{\mathbf{x}}_i)$$

可是，又如何求解出$\lambda$呢？如果$\lambda$未知，我们是无法求解出模型$f(\mathbf{x})$的。幸好，人们利用问题本身的特性，设计了很多高效算法，SMO算法是其中著名的一个代表。

SMO算法的思路很简单——在参数初始化之后，重复以下两个步骤直至收敛：

• 选取一对需更新的变量${\lambda }_i$和${\lambda }_j;$
• 固定${\lambda }_i$和${\lambda }_j$之外的参数，求解对偶函数获得更新后的${\lambda }_i$和${\lambda }_j.$

至此，支持向量机的基本思路已经阐述完毕，是不是很简单啊，一目了然！

软间隔与正则化

在前面的讨论中，我们假设存在一个超平面能将所有样本正确划分。然而，在现实生活中，很难找到能正确划分全部样本的超平面，如下图所示（摘自周志华老师的《机器学习》）。

缓解该问题的方法一个方法就是允许支持向量机在一些样本上出错，即引入松弛变量$\xi$，

$$y_i({\mathbf{w}}^T{\mathbf{x}}_i+b)\ge 1-{\xi }_i$$

而这就是我们所说的软间隔。显而易见，硬间隔要求对所有样本划分正确。当然，在最大化间隔的同时，不满足约束的样本应尽可能地少。于是，优化目标改写为，

$$\begin{array}{rl}& \underset{\mathbf{w},b,{\xi }_i}{\min }\frac{1}{2}||w|{|}^2+C\sum _{i=1}^m{\xi }_i\\ & \begin{array}{rl}s.t.& y_i({\mathbf{w}}^T{\mathbf{x}}_i+b)\ge 1-{\xi }_i,\\ & {\xi }_i\ge 0,i=1,2,\dots ,m\end{array}\end{array}$$

这里，$C$是正则化因子，用于平衡边界最大化和训练误差最小化。

因此，有拉格朗日函数，

$$L(\mathbf{w},b,\lambda ,\mu )=\frac{1}{2}||\mathbf{w}|{|}^2+C\sum _i{\xi }_i+\sum _{i=1}^m{\lambda }_i[1-{\xi }_i-y_i({\mathbf{w}}^T\mathbf{x}+b)]-\sum _i{\mu }_i{\xi }_i$$

这里，${\lambda }_i\ge 0,\mu \ge 0$都是拉格朗日乘子。于是，我们利用拉格朗日乘子法求解，

$$\begin{array}{rl}& \underset{\lambda }{\max }\sum _{i=1}^m{\lambda }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\lambda }_i{\lambda }_j{y}_i{y}_j{\mathbf{x}}_i^T{\mathbf{x}}_j\\ & \begin{array}{rl}s.t.& \sum _{i=1}^m{\lambda }_i{y}_i=0\\ & 0\le {\lambda }_i\le C,i=1,2,\dots ,m\end{array}\end{array}$$

不难看出，我们只需按照之前的步骤，即可求解软间隔的支持向量机。

核函数

细心的读者不难看出，本篇博客前面的讨论中，都假设样本是线性可分的。然而在现实任务中，原始样本空间也许并不存在一个能正确划分样本的超平面，即原始样本空间不是线性可分的，如下图所示。

幸运的是，有理论证明，如果原始空间是有限维的，那么一定存在一个高维特征空间使样本可分。因此，对于这样的问题，可将原始样本空间映射到更高维的特征空间，使得样本在这个特征空间线性可分，如下图所示（摘自周志华老师的《机器学习》）。

令$\varphi (\mathbf{x})$表示$\mathbf{x}$映射后的特征向量。于是，在特征空间中划分超平面为，

$$f(\mathbf{x})={\mathbf{w}}^T\varphi (\mathbf{x})+b$$

同样地，有优化函数，

$$\begin{array}{rl}& \underset{\mathbf{w},\mathbf{b}}{\min }\frac{1}{2}||\mathbf{w}|{|}^2+C\sum _{i=1}^m{\xi }_i\\ & \begin{array}{rl}s.t.& y_i({\mathbf{w}}^T\varphi (\mathbf{x})+b)\ge 1-{\xi }_i\\ & {\xi }_i\ge 0,i=1,2,\dots ,m\end{array}\end{array}$$

对偶问题即为

$$\begin{array}{rl}& \underset{\lambda }{\max }\sum _{i=1}^m{\lambda }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\lambda }_i{\lambda }_j{y}_i{y}_j\varphi ({\mathbf{x}}_i{)}^T\varphi ({\mathbf{x}}_j)\\ & \begin{array}{rl}s.t.& \sum _{i=1}^m{\lambda }_i{y}_i=0\\ & 0\le {\lambda }_i\le C,i=1,2,\dots ,m\end{array}\end{array}$$

不难看出，上式的求解涉及到$\varphi ({\mathbf{x}}_i^T)\varphi ({\mathbf{x}}_j)$的计算。然而由于特征空间维度很高，导致直接计算
$\varphi ({\mathbf{x}}_i{)}^T\varphi ({\mathbf{x}}_j)$十分困难。而核函数的出现解决了这一问题，

$$k({\mathbf{x}}_i,{\mathbf{x}}_j)=\varphi ({\mathbf{x}}_i{)}^T\varphi ({{\mathbf{x}}^{{}^{\prime }}}_j)$$

因此，有

$$\begin{array}{rl}& \underset{\lambda }{\max }\sum _{i=1}^m{\lambda }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\lambda }_i{\lambda }_j{y}_i{y}_{j}k({\mathbf{x}}_i,{\mathbf{x}}_j)\\ & \begin{array}{rl}s.t.& \sum _{i=1}^m{\lambda }_i{y}_i=0\\ & 0\le {\lambda }_i\le C,i=1,2,\dots ,m\end{array}\end{array}$$

求解后，即可得到

$$\begin{array}{rl}f(x)& ={\mathbf{w}}^T\mathbf{x}+b\\ & =\sum _{i=1}^m{\lambda }_i{y}_i\varphi ({\mathbf{x}}_{\mathbf{i}}{)}^T\varphi (\mathbf{x})+b\\ & =\sum _{i=1}^m{\lambda }_i{y}_{i}k(\mathbf{x},{\mathbf{x}}_i)+b\end{array}$$

可见，核函数巧妙地解决了高维空间的特征向量内积计算的难题，为支持向量机解决非线性可分的问题提供了解决方案。而常用的核函数有以下几种：

• 线性核函数

$$k({\mathbf{x}}_i,{\mathbf{x}}_j)={\mathbf{x}}_i^T{\mathbf{x}}_j$$

• 多项式核函数

$$k({\mathbf{x}}_i,{\mathbf{x}}_j)=({\mathbf{x}}_i^T{\mathbf{x}}_j+1{)}^d$$

• RBF核函数

$$k({\mathbf{x}}_i,{\mathbf{x}}_j)=exp(-\frac{||{\mathbf{x}}_i^T-{\mathbf{x}}_j||}{2{\mathbf{s}}^2})$$

• Sigmoid核函数

$$k({\mathbf{x}}_i,{\mathbf{x}}_j)=tanh(2{\mathbf{x}}_i^T{\mathbf{x}}_j+1)$$

不过，可能有读者对核函数仍抱有疑惑——它是如何找到对应的特征空间。以多项式核函数为例，假设$d=2$，原始空间的维度$D=2$，则

$$\begin{array}{rl}k({\mathbf{x}}_i,{\mathbf{x}}_j)& =({\mathbf{x}}_i^T{\mathbf{x}}_j+1{)}^2\\ & =({\mathbf{x}}_1{\mathbf{x}}_1^{{}^{\prime }}+{\mathbf{x}}_2{\mathbf{x}}_2^{{}^{\prime }}+1{)}^2\\ & =1+2{\mathbf{x}}_1{\mathbf{x}}_1^{{}^{\prime }}+2{\mathbf{x}}_2{\mathbf{x}}_2^{{}^{\prime }}+2{\mathbf{x}}_1{\mathbf{x}}_2{\mathbf{x}}_1^{{}^{\prime }}{\mathbf{x}}_2^{{}^{\prime }}+({\mathbf{x}}_1{)}^2({\mathbf{x}}_1^{{}^{\prime }}{)}^2+({\mathbf{x}}_2{)}^2({\mathbf{x}}_2^{{}^{\prime }}{)}^2\end{array}$$

因此，对应的特征向量为，

$$\varphi (\mathbf{x})=(1,\sqrt{2}{\mathbf{x}}_1,\sqrt{2}{\mathbf{x}}_2,\sqrt{2}{\mathbf{x}}_1{\mathbf{x}}_2,({\mathbf{x}}_1{)}^2,({\mathbf{x}}_2{)}^2{)}^T$$

至此，核函数的基本概念已经为大家阐述完毕。

总结

支持向量机是一种对数据进行二元分类，其决策边界是对学习样本求解的最大边距超平面。其优缺点如下：

• 优点

  • 支持向量机泛化能力强，可以证明支持向量机的泛化误差，

  $$E_m[P(Error)]\le \frac{E_m[\#ofSVs]}{m}$$

  • 支持向量机很好地通过利用空间映射的思想和核函数的技巧解决了非线性分类问题，避免了维灾难难题；
  • 支持向量机拥有很好的鲁棒性。其最终模型“抛弃”了大量的冗余样本，只与支持向量有关，而后者只占有很小的比例。

• 缺点

  • 支持向量机的时间复杂度为$O(N^3)$，空间复杂度为$O(N^2)$。因此，在样本数量很大时，支持向量机的分类效果不好；

参考文献

周志华，《机器学习》

常虹，《Support Vector Machines》