支持向量机（SVM）原理及公式推导

今天来看一下西瓜书第六章——支持向量机。

定义

SVM 就是一种二分类模型，他的基本模型是的定义在特征空间上的间隔（margin）最大的线性分类器，SVM 的学习策略就是找到间隔最大化的超平面。

我们来看这张图：

在这个二分类的图中，直觉告诉我们 $H_3$ 的泛化能力最好。对于 $H_1$ 来说，他不能把类别分开，这个分类器肯定是不行的。而 $H_2$ 可以，但是分割线与最近的数据点只有很小的间隔，一旦新数据有一定偏差，就会分类错误，也就是说他的泛化能力弱。

给定数据集：
$$\begin{array}{r}D=\left\{(x_1,y_1),\cdots ,(x_m,y_m)\right\},y_i\in \left\{-1,+1\right\}\end{array}$$

对于支持向量机来说，若数据点是 $p$ 维向量，则可以用 $p-1$ 维的超平面来分开这些数据点。往往这样的超平面有很多，我们要找的就是最佳超平面，即以最大间隔把两个类分开的超平面。SVM 可以帮我们做到。

在样本空间中，划分超平面可通过如下线性方程来表示：

$$w^{T}x+b=0$$

其中 $w=(w_1;\cdots ;w_p)$ 为超平面的法向量，$b$ 为偏移量。

样本空间中任意点到超平面的距离为：

$$r=\frac{|w^{T}x+b|}{||w||}$$

其中 $||w||=\sqrt{w_1^2+\cdots +w_p^2}$

现在假设我们有 $w^{T}x+b=0$ 该线性方程来划分两类数据，也就是说，当 $y_i=+1$ 时，有 $w^T{x}_i+b>0$；当 $y_i=-1$ 时，有 $w^T{x}_i+b<0$。

那我们想求得 margin 最大的分界线（两条线），现在令：

$$\{\begin{array}{ll}{w}^T{x}_i+b\ge +1,& y_i=+1\\ & \\ w^T{x}_i+b\le -1,& y_i=-1\end{array}$$

于是可以得到：$y_i(w^T{x}_i+b)\ge 1$，我们称为函数间隔。

为什么以 $+-1$ 来区分两类数据？原因是只要给定一个数 $\xi$，以 $+-\xi$ 划分即可，只是改变了 $w$ 和 $b$ 而已，并不会影响求解的过程。

有了上述两条边界超平面后，我们称在边界上的点为支持向量，如下图所示。很显然，两个异类支持向量的间隔（margin）为：

$$\gamma =\frac{2}{||w||}$$

我们的目标是使 margin 最大，这样，模型的泛化能力更强。于是有：

$$\begin{gathered} \underset{w,b}{\max }\frac{2}{||w||} \\ s.t.y_i(w^T{x}_i+b)\ge 1,i=1,2,\cdots ,m \end{gathered}$$

为了方便求解，我们将上述目标重写一下，有：

$$\begin{gathered} \underset{w,b}{\min }\frac{||w|{|}^2}{2} \\ s.t.y_i(w^T{x}_i+b)\ge 1,i=1,2,\cdots ,m \end{gathered}$$

以上就是 SVM 损失函数的最初形态。

在决定最佳超平面时只有支持向量起作用，而其他数据点并不起作用。也就是说非支持向量的移动并不会影响最优超平面的产生。

对偶问题

我们希望通过上述的单目标规划求解得到参数 $(w,b)$，虽然可以用优化包求解，但是考虑到对偶问题更易求解，由下文知对偶问题只需优化一个变量 $\alpha$ 且约束条件更简单。且能更加自然地引入核函数，进而推广到非线性问题。

因此，我们用拉格朗日乘数法进行求解，首先构造拉格朗日函数，对 $\forall {\alpha }_i\ge 0$，有以下式子：

$$L(w,b,\alpha )=\frac{1}{2}||w|{|}^2+\sum _{i=1}^m{\alpha }_i(1-y_i(w^T{x}_i+b))$$

注意到当 $1-y_i(w^T{x}_i+b)>0$，即属于不可行解时，有：

$$\underset{\alpha }{\max }L(w,b,\alpha )=+\infty$$

最后是收敛不了的，也可以看到拉格朗日函数构造的巧妙。

而当 $1-y_i(w^T{x}_i+b)\le 0$，即属于可行解时，有：

$$\underset{\alpha }{\max }L(w,b,\alpha )=\frac{1}{2}||w|{|}^2$$

也就是说，下面两个问题是等价的。
$$\underset{w,b}{\min }\underset{\alpha }{\max }L(w,b,\alpha )\equiv \underset{w,b}{\min }\frac{||w|{|}^2}{2}$$

根据拉格朗日对偶性，因为这里是强对偶问题（硬间隔问题），因此有：

$$\underset{\alpha }{\max }\underset{w,b}{\min }L(w,b,\alpha )\equiv \underset{w,b}{\min }\underset{\alpha }{\max }L(w,b,\alpha )\equiv \underset{w,b}{\min }\frac{||w|{|}^2}{2}$$

令 $\frac{\partial L(w,b,\alpha )}{\partial w},\frac{\partial L(w,b,\alpha )}{\partial b}$ 为 $0$。于是有：

$$\{\begin{array}{l}w={\sum }_{i=1}^m{\alpha }_i{y}_i{x}_i\\ \\ 0={\sum }_{i=1}^m{\alpha }_i{y}_i\end{array}$$

将上述结果带入 ${\max }_{\alpha }{\min }_{w,b}L(w,b,\alpha )$ 后，有：

$$\underset{\alpha }{\max }\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j$$

原问题的对偶问题为：

$$\begin{array}{rl}& \underset{\alpha }{\max }\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j\\ & \\ & s.t.\{\begin{array}{l}{\sum }_{i=1}^m{\alpha }_i{y}_i=0\\ \\ {\alpha }_i\ge 0,i=1,2,\cdots ,m\end{array}\end{array}$$

人们往往用序列最小优化（SMO）算法进行求解对偶问题。

假设已经求得未知数 $\alpha$，我们记为 $\hat{\alpha }$，就可以得出

$$\hat{w}=\sum _{i=1}^m{\hat{\alpha }}_i{y}_i{x}_i$$

实际上，上述过程要满足 $KKT$ 条件：

$$\{\begin{array}{l}{\alpha }_i\ge 0\\ \\ y_i(w^T{x}_i+b)-1\ge 0\\ \\ {\alpha }_i(y_i(w^T{x}_i+b)-1)=0\end{array}$$

当然，前两个条件是显然成立的。再来看第三个条件，有两种情况：

当 ${\alpha }_i=0$，即该样本点不是支持向量，对模型没有作用。
当 $y_i(w^T{x}_i+b)-1=0$，即该样本点位于最大间隔边界上，是一个支持向量。

也应证了前面说的 SVM 只与支持向量有关，与非支持向量无关。

并且我们可以知道 $\exists {\alpha }_j>0$（若 $\forall {\alpha }_j=0$(都是非支持向量)，那么 $w=0$，即 ${\max }_{\alpha }L(w,b,\alpha )=+\infty$，此时无解！！！），于是 $\exists j$，使得 $y_j(w^T{x}_j+b)-1=0$(任意一个支持向量)，此时，可以求得 $\hat{b}$，如下：

$$\begin{array}{rl}\hat{b}& =\frac{1}{y_j}-{\hat{w}}^T{x}_j\\ & =\frac{1}{y_j}-\sum _{i=1}^m{\hat{\alpha }}_i{y}_i{x}_i^T{x}_j\end{array}$$

那么，我们求得的模型为：

$$\begin{array}{rl}f(x)& =sign({\hat{w}}^{T}x+\hat{b})\\ & =sign(\sum _{i=1}^m{\hat{\alpha }}_i{y}_i{x}_i^{T}x+\frac{1}{y_j}-\sum _{i=1}^m{\hat{\alpha }}_i{y}_i{x}_j^T{x}_i)\end{array}$$

间隔最大超平面为：

$$\sum _{i=1}^m{\hat{\alpha }}_i{y}_i{x}_i^{T}x+\frac{1}{y_j}-\sum _{i=1}^m{\hat{\alpha }}_i{y}_i{x}_j^T{x}_i=0$$

核函数

当数据不是线性可分的时候，如下图，我们需要将数据进行升维。

为了能够找出非线性数据的线性决策边界，我们需要将数据 $x$ 非线性变换映射到高维空间 $\varphi (x)$ 中。$\varphi$ 是一个映射函数，线性 SVM 的原理可以被很容易推广到非线性情况下，其推导过程和逻辑都与线性 SVM 一样，只不过在定义决策边界之前，我们必须先对数据进行升维度，即将原始的 $x$ 转换成 $\varphi (x)$。

和硬间隔的求解类似，模型为 $f(x)=w^T\varphi (x)+b$。

目标与约束如下：

$$\begin{gathered} \underset{w,b}{\min }\frac{1}{2}||w|{|}^2 \\ s.t.y_i(w^T\varphi (x_i)+b)\ge 1,i=1,2,\cdots ,m \end{gathered}$$

其对偶问题为：

$$\begin{array}{rl}& \underset{a}{\max }\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{\varphi }^T(x_i)\varphi (x_j)\\ & \\ & s.t.\{\begin{array}{l}{\sum }_{i=1}^m{\alpha }_i{y}_i=0\\ \\ {\alpha }_i\ge 0,i=1,2,\cdots ,m\end{array}\end{array}$$

而考虑到映射高维空间的 ${\varphi }^T(x_i)\varphi (x_j)$ 作內积的计算比较困难，因此，设计一个核函数在原来的空间计算替换。

$$\kappa (x_i,x_j)=<\varphi (x_i),\varphi (x_j)>={\varphi }^T(x_i)\varphi (x_j)$$

那么对偶问题重写如下：

$$\begin{array}{rl}& \underset{a}{\max }\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j\kappa (x_i,x_j)\\ & \\ & s.t.\{\begin{array}{l}{\sum }_{i=1}^m{\alpha }_i{y}_i=0\\ \\ {\alpha }_i\ge 0,i=1,2,\cdots ,m\end{array}\end{array}$$

求解得到模型为：
$$\begin{array}{rl}f(x)& =sign({\hat{w}}^T\varphi (x)+\hat{b})\\ & =sign(\sum _{i=1}^m{\hat{\alpha }}_i{y}_i{\varphi }^T(x_i)\varphi (x)+\frac{1}{y_j}-\sum _{i=1}^m{\hat{\alpha }}_i{y}_i{\varphi }^T(x_j)\varphi (x_i))\\ & =sign(\sum _{i=1}^m{\hat{\alpha }}_i{y}_i\kappa (x_i,x)+\frac{1}{y_j}-\sum _{i=1}^m{\hat{\alpha }}_i{y}_i\kappa (x_j,x_i))\end{array}$$

间隔最大超平面为：

$$\sum _{i=1}^m{\hat{\alpha }}_i{y}_i\kappa (x_i,x)+\hat{b})+\frac{1}{y_j}-\sum _{i=1}^m{\hat{\alpha }}_i{y}_i\kappa (x_j,x_i)=0$$

这里 $\kappa (\cdot ,\cdot )$ 是核函数。

常用的核函数如下：

名称	表达式	参数
线性核	$\kappa (x_i,x_j)=x_i^T{x}_j$
多项式核	$\kappa (x_i,x_j)=(x_i^T{x}_j{)}^d$	$d\ge 1$为多项式的次数
高斯核	$\kappa (x_i,x_j)=\exp (-\frac{|x_i-x_j{|}^2}{2{\sigma }^2})$	$\sigma >0$为高斯核的带宽
拉普拉斯核	$\kappa (x_i,x_j)=\exp (-\frac{|x_i-x_j{|}^2}{\sigma })$	$\sigma >0$
$Sigmoid$核	$\kappa (x_i,x_j)=tanh(\beta x_i^T{x}_j+\theta )$	$tanh$为双曲正切函数，$\beta >0$，$\theta <0$

软间隔和正则化

在前面介绍中，我们假定训练数据是严格线性可分的，即存在一个超平面能完全将两类数据分开。但是现实任务这个假设往往不成立，例如下图所示的数据。

那我们允许小部分数据不满足以下条件：

$$y_i(w^T{x}_i+b)\ge 1$$

为了使不满足上述条件的样本点尽可能少，我们需要在优化的目标函数新增一个对这些点的惩罚项。最常用的是 hinge 损失:

$${\ell }_{hinge}(z)=max(0,1-z)$$

即若样本点满足约束条件损失就是 $0$, 否则损失就是 $1-z$，则优化目标为：

$$\underset{w,b}{\min }\frac{1}{2}||w|{|}^2+C\sum _{i=1}^{m}max(0,1-y_i(w^T{x}_i+b))$$

其中 $C$ 称为惩罚参数，$C$ 越小时对误分类惩罚越小，越大时对误分类惩罚越大，当 $C$ 取正无穷时就变成了硬间隔优化。实际应用时我们要合理选取 $C$，$C$ 越小越容易欠拟合，$C$ 越大越容易过拟合（margin越小）。

引入松弛变量 ${\xi }_i\ge 0$，将目标重写为：

$$\begin{array}{rl}& \underset{w,b,{\xi }_i}{\min }\frac{1}{2}||w|{|}^2+C\sum _{i=1}^m{\xi }_i\\ & \\ & s.t.\{\begin{array}{l}{y}_i(w^T{x}_i+b)\ge 1-{\xi }_i\\ \\ {\xi }_i\ge 0i=1,2,\cdots ,m\end{array}\end{array}$$

与前面一样，通过拉格朗日乘数法进行求解，构造拉格朗日函数，对 $\forall {\alpha }_i\ge 0,{\mu }_i\ge 0$，有以下式子：

$$L(w,b,\alpha ,\xi ,\mu )=\frac{1}{2}||w|{|}^2+C\sum _{i=1}^m{\xi }_i+\sum _{i=1}^m{\alpha }_i(1-{\xi }_i-y_i(w^T{x}_i+b))-\sum _{i=1}^m{\mu }_i{\xi }_i$$

令 $\frac{\partial L(w,b,\alpha ,\xi ,\mu )}{\partial w},\frac{\partial L(w,b,\alpha ,\xi ,\mu )}{\partial b}，\frac{\partial L(w,b,\alpha ,\xi ,\mu )}{\partial {\xi }_i}$ 为 $0$。于是有：

$$\{\begin{array}{l}w={\sum }_{i=1}^m{\alpha }_i{y}_i{x}_i\\ \\ 0={\sum }_{i=1}^m{\alpha }_i{y}_i\\ \\ C={\alpha }_i+{\mu }_i\end{array}$$

将上述结果带入拉格朗日函数即可得到对偶问题为：

$$\begin{array}{rl}& \underset{\alpha }{\max }\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j\\ & \\ & s.t.\{\begin{array}{l}{\sum }_{i=1}^m{\alpha }_i{y}_i=0\\ \\ 0\le {\alpha }_i\le C,i=1,2,\cdots ,m\end{array}\end{array}$$

上述过程 $KKT$ 条件为：

$$\{\begin{array}{l}{\alpha }_i\ge 0,{\mu }_i\ge 0\\ \\ y_i(w^T{x}_i+b)-1+{\xi }_i\ge 0\\ \\ {\alpha }_i(y_i(w^T{x}_i+b)-1+{\xi }_i)=0\\ \\ {\xi }_i\ge 0,{\mu }_i{\xi }_i=0\end{array}$$

与前面一样，用 SMO 求解即可。

支持向量回归

前面介绍完了分类，这里介绍回归问题，我们称为支持向量回归（SVR）。

给定样本 $D=\left\{(x_1,y_1),\cdots ,(x_m,y_m)\right\}$，$y_i\in R$，我们希望学得一个回归模型，使 $f(x)$ 与 $y$ 尽可能接近。

SVR 假设 $f(x)$ 与 $y$ 最多有 $\epsilon$ 的偏差，这相当于以 $f(x)$ 为中心，构建了一个宽度为 $2\epsilon$ 的间隔带，若训练样本落入此间隔带，则认为是被预测正确的。

于是，SVR 问题为：

$$\underset{w,b}{\min }\frac{1}{2}||w|{|}^2+C\sum _{i=1}^m{\ell }_{\epsilon }(f(x_i)-y_i)$$

其中 $C$ 为正则化常数，${\ell }_{\epsilon }$ 为损失函数：

$${\ell }_{\epsilon }(z)\{\begin{array}{ll}0,& if|z|\le \epsilon \\ & \\ |z|-\epsilon ,& otherwise\end{array}$$

引入松弛变量 ${\xi }_i$ 和 ${\hat{\xi }}_i$，可将原问题转化为：

$$\begin{array}{rl}& \underset{w,b,{\xi }_i,{\hat{\xi }}_i}{\min }\frac{1}{2}||w|{|}^2+C\sum _{i=1}^m({\xi }_i+{\hat{\xi }}_i)\\ & \\ & s.t.\{\begin{array}{l}f(x_i)-y_i\le \epsilon +{\xi }_i\\ \\ y_i-f(x_i)\le \epsilon +{\hat{\xi }}_i\\ \\ {\xi }_i\ge 0,{\hat{\xi }}_i\ge 0,i=1,2,\cdots ,m\end{array}\end{array}$$

类似的，设拉格朗日函数为：

$$\begin{array}{rl}L(w,b,\alpha ,\hat{\alpha },\xi ,\hat{\xi },\mu ,\hat{\mu })& =\frac{1}{2}||w|{|}^2+C\sum _{i=1}^m({\xi }_i+{\hat{\xi }}_i)-\sum _{i=1}^m{\mu }_i{\xi }_i-\sum _{i=1}^m{\hat{\mu }}_i{\hat{\xi }}_i\\ & \\ & +\sum _{i=1}^m{\alpha }_i(f(x_i)-y_i-\epsilon -{\xi }_i)+\sum _{i=1}^m{\hat{\alpha }}_i(y_i-f(x_i)-\epsilon -{\hat{\xi }}_i)\end{array}$$

对上述函数的 $w,b,{\xi }_i,{\hat{\xi }}_i$ 分别求偏导后，置为 $0$ 得到：

$$\{\begin{array}{l}w={\sum }_{i=1}^m({\hat{\alpha }}_i-{\alpha }_i)x_i\\ \\ 0={\sum }_{i=1}^m({\hat{\alpha }}_i-{\alpha }_i)\\ \\ C={\alpha }_i+{\mu }_i\\ \\ C={\hat{\alpha }}_i+{\hat{\mu }}_i\end{array}$$

将上述结果带入拉格朗日函数，得到 SVR 对偶问题为：

$$\begin{array}{rl}\underset{\alpha ,\hat{\alpha }}{\max }& \sum _{i=1}^m{y}_i({\hat{\alpha }}_i-{\alpha }_i)-\epsilon ({\hat{\alpha }}_i+{\alpha }_i)\\ & -\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m({\hat{\alpha }}_i-{\alpha }_i)({\hat{\alpha }}_j-{\alpha }_j)x_i^T{x}_j\\ & \\ & s.t.\{\begin{array}{l}{\sum }_{i=1}^m({\hat{\alpha }}_i-{\alpha }_i)=0\\ \\ 0\le {\alpha }_i,{\hat{\alpha }}_i\le C\end{array}\end{array}$$

上述过程需满足 $KKT$ 条件：

$$\{\begin{array}{l}{\alpha }_i(f(x_i)-y_i-\epsilon -{\xi }_i)=0\\ \\ {\hat{\alpha }}_i(y_i-f(x_i)-\epsilon -{\hat{\xi }}_i)=0\\ \\ {\alpha }_i{\hat{\alpha }}_i=0.{\xi }_i\widehat{{\xi }_i}=0\\ \\ (C-{\alpha }_i){\xi }_i=0,(C-{\hat{\alpha }}_i{\hat{\xi }}_i)=0\end{array}$$

前两个条件可以看出只要样本 $(x_i,y_i)$ 落入 $2\epsilon$ 的间隔带中（即 ${\alpha }_i\text{或}{\hat{\alpha }}_i\text{可以取非零值}$）

相应的，SVR 的解为：

$$f(x)=\sum _{i=1}^m({\hat{\alpha }}_i-{\alpha }_i)x_i^{T}x+b$$

而在第四个条件下，若得到了 ${\alpha }_i$，则 ${\xi }_i=0$，又有 $0<{\alpha }_i<C$，此时可以得到 $b$ 为：

$$b=y_i+\epsilon -\sum _{j=1}^m({\hat{\alpha }}_j-{\alpha }_j)x_j^T{x}_i$$

如果需要将原空间的数据 $x$ 映射到 $\varphi (x)$ 的高维空间中，则模型为：

$$f(x)=\sum _{i=1}^m(\widehat{{\alpha }_i}-{\alpha }_i)\kappa (x,x_i)+b$$

其中 $\kappa (x_i,x_j)={\varphi }^T(x_i)\varphi (x_j)$ 为核函数。

那么，以上就是 SVM 和 SVR 的原理部分了，这个模型对二分类来说还是不错的。刚接触该模型确实还是有点难的，需要时间慢慢去磨。

参考资料

[1] 周志华.机器学习[M].北京:清华大学出版社,2020.