【机器学习系列】之SVM硬间隔和软间隔

作者：張張張張
github地址：https://github.com/zhanghekai
【转载请注明出处，谢谢！】

【机器学习系列】之SVM硬间隔和软间隔
【机器学习系列】之SVM核函数和SMO算法
【机器学习系列】之支持向量回归SVR
【机器学习系列】之sklearn实现SVM代码

SVM概述

假定给出训练样本集$D=\{(x_1,y_1)，(x_2,y_2)，...，(x_m,y_m)\}，y_i\in \{-1，+1\}$，为二分类问题，其中y为分类标签，有两类分别为+1和-1。分类学习最基本的想法就是基于训练集D在样本空间中找到一个划分超平，将不同类别的样本分开，但能将训练样本分开的划分超平面可能有很多，我们应该找哪一条呢？如下图所示，图中红色的那个超平面是最好的，因为这个划分超平面所产生的分类结果是最鲁棒的，对未见示例的泛化能力最强。支持向量机SVM所要解决的事情就是找到这样一个鲁棒性最好的超平面。

SVM算法的主要优点：

• 解决高维特征的分类问题和回归问题很有效，在特征维度大于样本数时依然有很好的效果。
• 仅仅使用一部分支持向量来做超平面的决策无需依赖全部数据。
• 有大量的核函数可以使用，从而可以很灵活的来解决各种非线性的分类回归问题。
• 样本量不是海量数据的时候，分类准确率高，泛化能力强。

SVM算法的主要缺点：

• 如果特征维度远远大于样本数，则SVM表现一般。
• SVM在样本量非常大，核函数映射维度非常高时，计算量过大，不太适合使用。
• 非线性问题的核函数的选择没有通用标准，难以选择一个合适的核函数。
• SVM对缺失数据敏感。

一、硬间隔SVM基本型

1.超平面定义

在样本空间中，划分的超平面可用如下线性方程来表述：
$$w^{T}x+b=0(1)$$

其中$x=(x_1；x_2；...；x_d)$为样本点在样本空间中的坐标，$x_i$代表样本点在每一维度上坐标点的值；$w=(w_1；w_2；...；w_d)$为法向量，决定了超平面的方向，x是几维的，就有几个w；b为位移项，决定了超平面与原点之间的距离。显然，划分超平面可被法向量w和位移b确定，记超平面为（w,b）。

2.点到直线间的距离

样本空间中任意点x到超平面（w，b）的距离可写为：
$$r=\frac{|w^T+b|}{||w||}(2)$$
拓展：

1. L2范数：$||w||=\sqrt{{\sum }_{i=1}^k|w_i{|}^2}$

2. 二维空间点到直线的距离：$d=\frac{|Ax+By+c|}{\sqrt{A^2+B^2}}$，由此可以类比到多维空间上点到直线的距离。

3.模型假设

假设超平面（w,b）能将训练样本正确分类，即对于二分类问题，训练样本上的点均为x坐标已知，对应的y分类已知：若$y_i=+1$，则有$w^T{x}_i+b>0$；若$y_i=-1$,则有$w^T{x}_i+b<0$，令：
$$\{\begin{array}{ll}{w}^T{x}_i+b\ge +1,& y_i=+1\\ & \\ w^T{x}_i+b\le -1,& y_i=-1\end{array}(3)$$
注释：

1. "硬间隔SVM"模型的建立，是基于数据为“线性可分”的，所谓线性可分指的是：不含噪音，可将训练数据完美分成两类。而硬间隔SVM模型就是基于这个假设构建的，即：假设正确分类的样本点在各自支持向量的两边。
2. $|w^{T}x+b|$表示点x到超平面的相对距离，通过观察$w^{T}x+b$和$y$是否同号，判断分类是否正确。
3. SVM的模型是让所有点到超平面的距离大于一定的距离，即所有分类点要在各自类别的支持向量两边。一般我们都取这个距离为1

4.间隔与支持向量

如上图所示，距离超平面最近的这几个训练样本点使公式（3）的等号成立，它们被称为“支持向量（support vector）”，两个异类支持向量到超平面的距离之和为公式（4）所示，它被称为“间隔（margin）”。
$$\gamma =\frac{2}{||w||}(4)$$
注释：

1. 函数间隔$y(w^{T}x+b)$对于训练集中m个样本点对应的m个函数间隔的最小值，就是整个训练集的函数间隔。找到训练样本中函数间隔最小的那个样本，并且要让它的函数间隔最大！这就是SVM的目标函数。
2. 间隔貌似仅与$w$有关，但事实上$b$通过约束隐式地影响着$w$的取值，进而对间隔产生影响。

欲找到具有“最大间隔（maximum margin）”的划分超平面，即：找到满足（3）式中约束的参数$w$和$b$，使得$\gamma$最大，有：
$$\begin{gathered} \underset{w,b}{max}\frac{2}{||w||} \\ s.t.y_i(w^T{x}_i+b)\ge 1,i=1,2,...,m \end{gathered}$$

1. 为了最大化间隔，仅需最大化$||w|{|}^{-1}$，这等价于最小化$||w|{|}^2$，于是“支持向量机（Support Vector Machine）”的基本型如下式所示：

$$\{\begin{array}{l}\underset{w,b}{min}\frac{1}{2}||w|{|}^2\\ \\ s.t.y_i(w^T{x}_i+b)\ge 1,i=1,2,...,m\end{array}(5)$$

5.例题，加深理解

目前无需纠结解法，只需要理解SVM公式的使用，具体解法我们会在下一节中讲述。

已知一个如下图所示的训练数据集，其正例点是$x_1=(3，3{)}^T$，$x_2=(4，3{)}^T$，负例点是$x_3=(1，1{)}^T$，试列出求最大间隔分离超平面的公式。

解：根据训练数据集构造约束最优化问题：
$$\{\begin{array}{l}\underset{w,b}{min}\frac{1}{2}(w_1^2+w_2^2)\\ \\ s.t.3w_1+3w_2+b\ge 1\\ 4w_1+3w_2+b\ge 1\\ -w_1-w_2-b\ge 1\end{array}$$
注意：

1. x是几维，就有几个w。
2. xi代表样本点在每一维度上坐标点的值。

二、硬间隔SVM对偶问题

1.先用拉格朗日乘子法

我们可以通过拉格朗日乘子法将我们的优化目标公式（5）转换为无约束的优化函数，对公式（5）的每条约束添加拉格朗日乘子${\alpha }_i\ge 0$，则该问题的拉格朗日函数可写为：
$$L（w,b,\alpha ）=\frac{1}{2}||w^2||+\sum _{i=1}^m{\alpha }_i(1-y_i(w^T{x}_i+b))(6)$$
其中$\alpha =({\alpha }_1，{\alpha }_2，...，{\alpha }_m)$，这样可以通过每个样本点的$\alpha$取值，知道该样本点相对于支持向量的位置。

拓展：拉格朗日乘子法——不等式约束优化

给定不等式约束问题：
$$\begin{gathered} \underset{x}{min}f(x) \\ s.t.h(x)=0 \\ g(x)\le 0 \end{gathered}$$
等式约束和不等式约束：$h(x)=0，g(x)\le 0$分别是由一个等式方程和一个不等式方程组成的方程组。

拉格朗日乘子：$\lambda =({\lambda }_1，{\lambda }_2，...,{\lambda }_m)\alpha =({\alpha }_1，{\alpha }_2，...，{\alpha }_n)$

拉格朗日函数：$L(x,\lambda ，\alpha )=f(x)+\lambda h(x)+\alpha g(x)$

注释：将拉格朗日乘子法应用于SVM

给定不等式约束问题：$f(x)=\underset{w，b}{min}\frac{1}{2}||w|{|}^2$

不等式约束：$g(x)=1-y_i(w^T{x}_i+b\le 0)$

拉格朗日乘子：$\alpha =({\alpha }_1，{\alpha }_2，...，{\alpha }_m)$

拉格朗日函数：$L(w，b，\alpha )=f(x)+\alpha g(x)$

由于引入了拉格朗日乘子，我们的优化目标变成了：
$$\underset{w,b}{min}\underset{a_i\ge 0}{max}L(w,b,\alpha )$$
解释：为什么可以转换为$\underset{w,b}{min}\underset{a_i\ge 0}{max}L(w,b,\alpha )$

1. 我们要求解的目标为$\underset{w,b}{min}\frac{1}{2}||w|{|}^2$，即$\underset{x}{min}f(x)$
2. 可以把$f(x)$写为$\underset{a_i\ge 0}{max}L(w,b,\alpha )$。因为${\alpha }_i\ge 0，g(x_i)\le 0$，所以${\alpha }_i\times g(x_i)\le 0$，只有在${\alpha }_i\times g(x_i)=0$的情况下$L(w,b,\alpha )$才能取得最大值，此时$L(w,b,\alpha )$等于$f(x)$。所以$f(x)=\underset{a_i\ge 0}{max}L(w,b,\alpha )$
3. 结合上述1、2知：最终求解目标转换为$\underset{w,b}{min}\underset{a_i\ge 0}{max}L(w,b,\alpha )$

2.对偶问题

我们的这个规划问题是“强对偶关系”，所以可以直接转换为求解：
$$\underset{a_i\ge 0}{max}\underset{w,b}{min}L(w,b,\alpha )(7)$$
拓展：

3.求解min L(w,b,a):

高中数学，求极值先对变量求导等于0，再把求得的变量值代回原函数，即可得到原函数的极值。

令$L(w，b，\alpha )$对$w$和$b$的偏导为零：

最终求得结果如下：
$$\{\begin{array}{l}w={\sum }_{i=1}^m{\alpha }_i{y}_i{x}_i\\ \\ 0={\sum }_{i=1}^m{\alpha }_i{y}_i\end{array}(8)$$
从上式中我们已经求得了$w$和$\alpha$的关系，只要我们后面能够求出优化函数极大化对应的$\alpha$，就可以求出我们的$w$了；至于$b$，由于上述两式中已经没有$b$，所以最后的$b$可以有多个。

将公式（8）带入公式（6），即可将$L(w，b，\alpha )$中的$w$和$b$消去：

所以，最终求得：
$$\underset{a_i\ge 0}{max}\underset{w,b}{min}L(w,b,\alpha )=\underset{a_i\ge 0}{max}\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j$$

从上面可以看出，通过对$w$和$b$极小化以后，我们的优化函数仅仅只有$\alpha$向量做参数，只要我们能够极大化上式，就可以求出此时对应的$\alpha$，进而求出$w$和$b$。对于上式，可以去掉负号，转换为等价的极小化问题如下：
$$\{\begin{array}{l}\underset{a_i\ge 0}{min}\frac{1}{2}{\sum }_{i=1}^m{\sum }_{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j-{\sum }_{i=1}^m{\alpha }_i\\ \\ s.t.{\sum }_{i=1}^m{\alpha }_i{y}_i=0\\ {\alpha }_i\ge 0i=1,2,...,m\end{array}(9)$$

注意到公式（5）中含有约束条件，所以在上述求解的过程中需要满足KKT条件：
$$KKT\text{条件}\{\begin{array}{l}\frac{\partial L}{\partial w}=0;\frac{\partial L}{\partial b}=0;\frac{\partial L}{\partial \alpha }=0\\ \\ {\alpha }_i\ge 0;\\ \\ y_i(w^T{x}_i+b)-1\ge 0;\\ \\ {\alpha }_i(y_i(w^T{x}_i+b)-1)=0.\end{array}$$

注释：原问题和对偶问题具有强对偶关系的充要条件是：满足KKT条件！所以由上述的强对偶关系，可以直接得到KKT条件。

4.求得最优w和最优b

由KKT条件可以求解出最优的$w^{\ast }$和$b^{\ast }$

对于线性可分训练数据集，假设对偶最优化问题，也就是公式（9）对$\alpha$的解为${\alpha }^{\ast }=({\alpha }_1^{\ast }，{\alpha }_2^{\ast }，...，{\alpha }_m^{\ast })$，可以由$a^{\ast }$求得原始最优化问题公式（5）对（w，b）的解$w^{\ast }，b^{\ast }$。
$$\begin{gathered} w^{\ast }=\sum _{i=1}^M{\alpha }_i^{\ast }{y}_i{x}_i(10) \\ {b}^{\ast }=y_j-\sum _{i=1}^M{\alpha }_i^{\ast }{y}_i（x_i\cdot x_j)(11) \end{gathered}$$
求解$\alpha$的值可以用凸优化或SMO算法进行求解，我会在下一篇博客中对SMO算法做详细讲解，这里不多做赘述（对于样本的特征较多、维度较高时，这时可以采用SMO算法求解$\alpha$）。

在这里，我们假设通过SMO算法，得到了对应$\alpha$的最优值${\alpha }^{\ast }$

4.1.求解最优w

由KKT条件第一行，将公式（6）对$w$求导可得最优$w^{\ast }$：
$$w^{\ast }=\sum _{i=1}^M{\alpha }_i^{\ast }{y}_i{x}_i$$
然后将求解的最优$\alpha$带入上式中，即可求出最优$w^{\ast }$。

4.2.求解最优b

由于b求偏导后的结果中不带b，所以另寻他法。由KKT条件第2~4行知：对任意训练样本$(x_i，y_i)$，总有${\alpha }_i=0$或$y_{i}f(x_i)=1$。若${\alpha }_i=0$，则该样本将不会在公式（10）中出现，也就不会对模型有任何影响；若${\alpha }_i>0$，则必有$y_i(w^T{x}_i+b)=1$，所对应的样本点位于最大间隔边界上，是一个支持向量。也就是说只有支持向量上的样本才会对模型有影响，根据这条性质我们可以求出b的最优解。

重要性质：训练完成后，大部分的训练样本都不需要保留，最终模型仅与支持向量有关。
$$\begin{gathered} \exists (x_k，y_k)，s.t.1-y_k(w^{\ast T}{x}_k+b^{\ast })=0 \\ ⟹y_k(w^{\ast T}{x}_k+b^{\ast })=1 \\ ⟹y_k^2(w^{\ast T}{x}_k+b^{\ast })=y_k(因为y取值为+1或-1，所以y^2=1) \\ ⟹（w^{\ast T}{x}_k+b^{\ast }）=y_k \\ ⟹b^{\ast }=y_k-w^{\ast T}{x}_k \\ ⟹b^{\ast }=y_k-\sum _{i=0}^M{\alpha }_i^{\ast }{y}_i(x_i\cdot x_k) \end{gathered}$$
然后将求解的最优$\alpha$带入上式中，即可求出最优$b^{\ast }$。

现实任务中采用一种更鲁棒的做法：求出所有支持向量所对应的$b^{\ast }$，然后将其平均值作为最后的结果。

4.3.求得的模型

最终求得分离超平面为：
$$w^{\ast }\cdot x+b^{\ast }=0$$
综上所述：对于给定的线性可分训练数据集，可以首先求对偶问题公式（9）的解${\alpha }^{\ast }$；再利用公式（10）和（11）求得原始问题的解$w^{\ast }，b^{\ast }$；从而得到分离超平面。这种算法称为线性可分支持向量机的对偶学习算法，是线性可分支持向量机学习的基本算法。

4.4.线性可分硬SVM算法过程

4.5.例题，加深理解

已知一个如上图所示的训练数据集，其正例点是$x_1=(3，3{)}^T$，$x_2=(4，3{)}^T$，负例点是$x_3=(1，1{)}^T$，试用求线性可分支持向量机。

4.6 sklearn实现上述例题

导入包：

from sklearn import svm

输入样本并训练模型：

x = [[3,3],[4,3],[1,1]]
y = [1,1,-1]

model = svm.SVC(kernel='linear')
model.fit(x,y)

打印支持向量：

print(model.support_vectors_)
>>>[[1. 1.]
   [3. 3.]]

输出哪些样本点为支持向量：

print(model.support_)
>>>[2 0]

输出每一边各有几个支持向量：

print(model.n_support_)
>>>[1 1]

预测为哪个类别：

print(model.predict([[4,3]]))
>>>[1]

计算每个 w 的值：

print(model.coef_)
>>>[[0.5 0.5]]

计算 b 的值：

print(model.intercept_)
>>>[-2.]

三、软间隔SVM

在前面的讨论中，我们一直假定训练样本空间或特征空间中是i阿宁可分得，即存在一个超平面能将不同类的样本完全划分开。然而，在现实任务中往往很难确定合适的核函数使得训练样本在特征空间中线性可分。如下图所示：红色圈出了一些不满足约束的样本。

硬间隔线性可分SVM面临的问题：

1. 有时候数据本来是可分的，但由于混入了异常点，导致不能线性可分。
2. 模型依然线性可分，但效果不好。如果不考虑异常点，则可能会得到一个很好的模型，此类异常点的存在会严重影响分类模型预测效果。

SVM引入了软间隔最大化的方法来解决上述问题：允许支持向量机在一些样本上出错，即：允许某些样本不满足约束$y_i(w_i^T+b)\ge 1$。（当然，在最大化间隔的同时不满足约束的样本应尽可能少。）

1.引入松弛变量

对训练集里面的每个样本$(x_i,y_i)$引入了一个松弛变量${\xi }_i\ge 0$，使函数间隔加上松弛变量大于等于1。
$$y_i(w^T{x}_i+b)\ge 1-{\xi }_i$$
显然，每一个样本都有一个对应的松弛变量。
我们认为：

1. $\xi =0$时，样本在被支持向量正确分类。
2. $0<\xi <1$时，样本在函数间隔与超平面之间。
3. $\xi =1$时，样本在函数间隔上。
4. $\xi \ge 1$时，样本此时为异常点。

当然，松弛变量不能白加，这是有成本的，这样就得到了软间隔最大化SVM学习条件如下：
$$\{\begin{array}{l}\underset{w,b,{\xi }_i}{min}\frac{1}{2}||w|{|}^2+C{\sum }_{i=1}^m{\xi }_i\\ \\ s.t.y_i(w^T{x}_i+b)\ge 1-{\xi }_i\\ {\xi }_i\ge 0i=1,2,...,m\end{array}(12)$$
其中$C>0$是一个常数，为惩罚参数。我们希望$\frac{1}{2}||w|{|}^2$尽量小，误分类的点尽可能的少，$C$是协调两者关系的正则化惩罚系数。$C$越大，对误分类的惩罚越大；$C$越小，对误分类的惩罚越小。

2.软间隔SVM最大化目标优化函数

首先将软价格最大化的约束问题用拉格朗日函数转化为无约束问题如下：

1. 待求目标：$f(x)=\underset{w,b,{\xi }_i}{min}\frac{1}{2}||w|{|}^2+C{\sum }_{i=1}^m{\xi }_i$
2. 不等式约束：$g(x)=1-{\xi }_i-y_i(w^T{x}_i+b)\le 0$
   $h(x)=-{\xi }_i\le 0$
3. 拉格朗日乘子：$\alpha =({\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_m)$
   $\mu =({\mu }_1,{\mu }_2,\cdots ,{\mu }_m)$
4. 拉格朗日函数：$L(w,v,\xi ,\alpha ,\mu )=f(x)+\alpha g(x)+\mu h(x)$

整理得：
$$L(w,b,\xi ,\alpha ,\mu )=\frac{1}{2}||w|{|}^2+C\sum _{i=1}^m{\xi }_i+\sum _{i=1}^m{\alpha }_i(1-{\xi }_i-y_i(w^T{x}_i+b))-\sum _{i=1}^m{\mu }_i{\xi }_i(13)$$

也就是说，我们现在要优化的目标函数是：
$$\underset{w,b,\xi }{min}\underset{\alpha \ge 0;\mu \ge 0}{max}L(w,b,\xi ,\alpha ,\mu )$$
这个优化目标也满足KKT条件，可以通过拉格朗日对偶将这个优化问题转化为等价的对偶问题来求解：
$$\underset{\alpha \ge 0;\mu \ge 0}{max}\underset{w,b,\xi }{min}L(w,b,\xi ,\alpha ,\mu )(14)$$

3.求解$minL(w,b,\xi ,\alpha ,\mu )$

首先来求优化函数对于$w,b,\xi$的极小值，这个可以通过求偏导数求得：
$$\{\begin{array}{l}\frac{\partial L}{\partial w}=0⟹w={\sum }_{i=1}^m{\alpha }_i{y}_i{x}_i\\ \frac{\partial L}{\partial b}=0⟹0={\sum }_{i=1}^m{\alpha }_i{y}_i\\ \frac{\partial L}{\partial \xi }=0⟹C={\alpha }_i-{\mu }_i\end{array}$$
利用上面三个师子消除$w$和$b$：

优化目标的数学形式：
$$\{\begin{array}{l}\underset{\alpha }{max}{\sum }_{i=1}^m{\alpha }_i-\frac{1}{2}{\sum }_{i=1}^m{\sum }_{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j\\ s.t.{\sum }_{i=1}^m{\alpha }_i{y}_i=0\\ C-{\alpha }_i-{\mu }_i=0\\ {\alpha }_i\ge 0(i=1,2,\cdots ,m)\\ {\mu }_i\ge 0(i=1,2,\cdots ,m)\end{array}$$
对于上述中后三个式子，可以消去${\mu }_i$，只留下${\alpha }_i$，即：$0\le \alpha \le C$，同时将优化目标函数变号，求极小值：
$$\{\begin{array}{l}\underset{\alpha }{max}{\sum }_{i=1}^m{\alpha }_i-\frac{1}{2}{\sum }_{i=1}^m{\sum }_{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j\\ s.t.{\sum }_{i=1}^m{\alpha }_i{y}_i=0\\ 0\le {\alpha }_i\le C\end{array}(15)$$
这就是软间隔SVM优化目标形式，和硬间隔SVM相比，仅仅只多了一个约束条件$0\le {\alpha }_i\le C$。依然可以通过SMO算法来求上式极小化对应的$\alpha$，然后即可求出$w$和$b$了。

4.软间隔KKT条件

对软间隔SVM，KKT条件要求：
$$\{\begin{array}{l}{\alpha }_i\ge 0,{\mu }_i\ge 0,\\ y_i(w^T{x}_i+b)-1+{\xi }_i\ge 0,\\ {\alpha }_i(y_i(w^T{x}_i+b)-1+{\xi }_i)=0\\ {\xi }_i\ge 0,{\mu }_i{\xi }_i=0\end{array}(16)$$
根据软间隔最大化时KKT条件中的对偶互补条件${\alpha }_i(y_i(w^T{x}_i+b)-1+{\xi }_i)=0$可知：

• 如果${\alpha }_i=0$，那么$y_i(w^T{x}_i+b)-1\ge 0$，则样本不会对模型产生任何影响，即：样本已经被正确分类。如下图中所有远离间隔边界的点。
• 如果${\alpha }_i>0$，则必有$y_i(w^T{x}_i+b)=1-{\xi }_i$，即：该样本是支持向量，由$C={\alpha }_i+{\mu }_i$和${\mu }_i{\xi }_i=0$可知：
  • 如果${\alpha }_i<C$，则${\mu }_i>0$，进而有${\xi }_i=0$，即该样本恰在最大间隔边界上；
  • 如果${\alpha }_i=C$，则${\mu }_i=0$，此时：
    • 如果$0\le {\xi }_i\le 1$，则样本已被正确分类，但是却在超平面和自己类别的间隔边界之间。如图中的样本2和4；
    • 如果${\xi }_i>1$，则该样本被错误分类。如图中的样本1和3。
      

5.软间隔SVM算法流程

\qquad 软间隔SVM算法流程通硬间隔SVM，这里不再赘述。

---

【参考文献】

• 机器学习-白板推到系列：https://www.bilibili.com/video/av28186618?from=search&seid=6646758741854824399
• 机器学习算法基础：https://www.bilibili.com/video/av37947862/?p=76
• 西瓜书PumpkinBook ：https://datawhalechina.github.io/pumpkin-book/#/
• 刘建平 博客园：https://www.cnblogs.com/pinard/
• 周志华 《机器学习》
• 李航 《统计学方法》