周志华《机器学习》西瓜书 小白Python学习笔记（七） ———— 第六章 支持向量机SVM

什么是SVM

支持向量机（support vector machines，SVM）的基本定义为在特征空间上的间隔最大的线性分类器，那么什么是间隔最大的线性分类器呢？

看这张图，样本空间为$\{(x_1,y_1),(x_2,y_2),...,(x_n,y_n)\}$n个点，$y$表示标签取值为-1或1，即图中的黑、白两类点，我们试图找到一个超平面将两类点分隔开，如图，设超平面的表达式为$$\mathbf{w}\mathbf{x}+b=0$$
那么对于黑、白两种点分别有：
$$\{\begin{array}{r}\mathbf{w}{\mathbf{x}}_{\mathbf{i}}+b>0\\ \mathbf{w}{\mathbf{x}}_{\mathbf{i}}+b<0\end{array}$$
经过$\mathbf{w}$和$b$的放缩可以整理成
$$\{\begin{array}{rlr}& \mathbf{w}{\mathbf{x}}_{\mathbf{i}}+b\ge 1,y_i=1& \\ & \mathbf{w}{\mathbf{x}}_{\mathbf{i}}+b\le -1,y_i=-1& \end{array}$$
使得两类点中距离这个超平面最近的点有 $\mathbf{w}{\mathbf{x}}_{\mathbf{i}}+b=1,-1$(即图片中标红的的点)，这些点对应的就是支持向量。
根据数学知识，样本空间内任意一个点${\mathbf{x}}_{\mathbf{i}}$到这个超平面的距离为
$$d_i=\frac{|\mathbf{w}{\mathbf{x}}_{\mathbf{i}}+b|}{\Vert \mathbf{w}\Vert }$$
研究支持向量对应的点到超平面的距离时，就变成了
$$d=\frac{1}{\Vert \mathbf{w}\Vert }$$
刚才所说的间隔最大的线性分类器中的“间隔”就是指的这个啦！
最优化函数即为
$$max\frac{1}{\Vert \mathbf{w}\Vert }$$
条件是$w$能将两类点分隔开，即 $\mathbf{w}{\mathbf{x}}_{\mathbf{i}}+b$与$y_i$同号，又因为$|\mathbf{w}{\mathbf{x}}_{\mathbf{i}}+b|\ge 1,y=1,-1$，所以可以表示为
$$y_i\left(w{x}_i+b\right)\ge 1,i=1,\dots ,n$$
这就是支持向量机的由来。

SVM求解过程

转化为Lagrange对偶问题

回到之前得到的目标函数：
$$max\frac{1}{\Vert \mathbf{w}\Vert }$$
$$s.t.y_i\left(w{x}_i+b\right)\ge 1,i=1,\dots ,n$$
可以转化成：
$$min\frac{1}{2}{\Vert \mathbf{w}\Vert }^2$$
$$s.t.y_i\left({\mathbf{w}\mathbf{x}}_i+b\right)\ge 1,i=1,\dots ,n$$
对于这个凸二次规划问题，可以通过拉格朗日对偶性质，将其转化为原问题的对偶问题进行求解。首先根据拉格朗日乘子法得到：
$\mathcal{L}(w,b,\alpha )=\frac{1}{2}\Vert w{\Vert }^2-{\sum }_{i=1}^n{\alpha }_i\left(y_i\left(w{x}_i+b\right)-1\right)$
其中${\alpha }_i\ge 0,i=1,2,...,n$
我们令
$$\theta (w)=\underset{{\alpha }_i\ge 0}{\max }\mathcal{L}(w,b,\alpha )$$
易知，只有当这个超平面将两类样本全部分隔开即所有约束条件都满足，即$y_i\left(w{x}_i+b\right)\ge 1,i=1,\dots ,n$时，$\theta (w)=\frac{1}{2}\Vert w{\Vert }^2$
所以
$$\theta (w)=\{\begin{array}{rlr}& \frac{1}{2}\Vert w{\Vert }^2,& 约束均成立\\ & +\infty ,& 其他\end{array}$$
因此，此时只需要对$\theta (w)$关于$w,b$求最小值就可以回到原目标函数了：
$$\underset{\mathbf{w},b}{\min }\theta (\mathbf{w})=\underset{\mathbf{w},b}{\min }\underset{{\alpha }_i\ge 0}{\max }L(\mathbf{w},b,\mathbf{\alpha })=p^{\ast }$$
若将求最大最小值交换顺序，设求得的最优值$d^{\ast }$：
$$\underset{{\alpha }_i\ge 0}{\max }\underset{\mathbf{w},b}{\min }L(\mathbf{w},b,\mathbf{\alpha })=d^{\ast }$$
根据对偶问题的性质，$p^{\ast }\ge d^{\ast }$
而$p^{\ast }=d^{\ast }$的条件有两个：

1. 优化问题是凸优化问题
2. 满足KKT条件
   （KKT详见）

Lagrange对偶问题求解

当满足KKT条件时，对偶问题函数为：
$$\underset{{\alpha }_i\ge 0}{\max }\underset{\mathbf{w},b}{\min }L(\mathbf{w},b,\mathbf{\alpha })$$

1.${\min }_{\mathbf{w},b}L(\mathbf{w},b,\mathbf{\alpha })$

第一步是关于$w$和$b$求最小值，此时${\alpha }_i$看作常数。
对$w$和$b$分别求偏导，令偏导为0，得：
$$\frac{\partial \mathcal{L}}{\partial w}=w-\sum _{i=1}^n{\alpha }_i{y}_i{x}_i=0\Rightarrow w=\sum _{i=1}^n{\alpha }_i{y}_i{x}_i$$
$$\frac{\partial \mathcal{L}}{\partial b}=\sum _{i=1}^n{\alpha }_i{y}_i=0\Rightarrow \sum _{i=1}^n{\alpha }_i{y}_i=0$$
带入原式，得到
$$L(\mathbf{w},b,\mathbf{\alpha })=\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j\left({\mathbf{x}}_i\cdot {\mathbf{x}}_j\right)-\sum _{i=1}^N{\alpha }_i{y}_i\left(\left(\sum _{j=1}^N{\alpha }_j{y}_j{\mathbf{x}}_j\right)\cdot {\mathbf{x}}_i+b\right)+\sum _{i=1}^N{\alpha }_i=-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j\left({\mathbf{x}}_i\cdot {\mathbf{x}}_j\right)+\sum _{i=1}^N{\alpha }_i$$

2. ${\max }_{{\alpha }_i}\{{\min }_{\mathbf{w},b}L(\mathbf{w},b,\mathbf{\alpha })\}$

第二步，关于${\alpha }_i$求最大值，即：
$$\underset{{\alpha }_i}{\max }-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j\left({\mathbf{x}}_i\cdot {\mathbf{x}}_j\right)+\sum _{i=1}^N{\alpha }_i$$
稍微变形后，可以转化为：
$$\underset{{\alpha }_i}{\min }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j\left({\mathbf{x}}_i\cdot {\mathbf{x}}_j\right)-\sum _{i=1}^N{\alpha }_i$$
$$s.t.\sum _{i=1}^n{\alpha }_i{y}_i=0,{\alpha }_i\ge 0,i=1,2,\cdots ,p$$
对于这个问题，我们通常采用的是序列最小化算法（SMO）,得到${\mathbf{\alpha }}^{\ast }$,根据${\mathbf{\alpha }}^{\ast }$得到${\mathbf{w}}^{\ast }$和$b^{\ast }$。
（最小序列算法SMO：详见）
最终我们可以得到最优解对应的超平面为：
$${\mathbf{w}}^{\ast }\mathbf{x}+b^{\ast }=0$$
那么我们就可以得到最终的目标分类函数为：
$$f(\mathbf{x})=sign({\mathbf{w}}^{\ast }\cdot \mathbf{x}+b^{\ast })$$

核函数

我们以上讨论的都还是线性可分的数据，然而，绝大多数情况下数据并不是线性可分的，此时便不存在一个普通意义上的超平面可以将两类样本分隔开来。于是，我们通过引入核函数，将低维数据映射到高维，在高维空间找到一个超平面，以此来解决在原低维空间上线性不可分的问题。
根据上文中对线性可分数据的SVM算法推导，我们在这一过程中的目标函数只是涉及到了内积，所以我们只需要通过用核函数来取代之前的求内积运算。
看到我们上一步所得到的目标函数
$$\underset{{\alpha }_i}{\min }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j\left({\mathbf{x}}_i\cdot {\mathbf{x}}_j\right)-\sum _{i=1}^N{\alpha }_i$$
其中涉及到内积运算的是$({\mathbf{x}}_i\cdot {\mathbf{x}}_j)$，于是我们将这一部分替换为核函数$\kappa \left(x_i,x_j\right)$即可。
$$\underset{{\alpha }_i}{\min }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j\kappa \left(x_i,x_j\right)-\sum _{i=1}^N{\alpha }_i$$
$$s.t.\sum _{i=1}^n{\alpha }_i{y}_i=0,{\alpha }_i\ge 0,i=1,2,\cdots ,p$$
原超平面的表示为
$$f(\mathbf{x})=\mathbf{w}\mathbf{x}+b$$
且$w={\sum }_{i=1}^n{\alpha }_i{y}_i{x}_i$
即：$$f(\mathbf{x})=\sum _{i=1}^n{\alpha }_i{y}_i{x}_i\cdot \mathbf{x}+b$$
引入核函数后，即为：
$$f(\mathbf{x})=\sum _{i=1}^n{\alpha }_i{y}_i\kappa \left(x_i,x\right)+b$$
此时，最终的目标分类函数为：
$$f(\mathbf{x})=sign(\sum _{i=1}^n{\alpha }_i^{\ast }{y}_i\kappa \left(x_i,x\right)+b^{\ast }）$$
常见的核函数有：

• 线性核函数
  $$\kappa (x,xi)=x\cdot x_i$$
  主要用于线性可分的情况，特征空间到输入空间的维度是一样的。
• 多项式核函数
  $$\kappa (x,xi)=((x\cdot x_i)+1{)}^d$$
  多项式核函数可以实现将低维的输入空间映射到高纬的特征空间，$d$为多项式的次数。
• 高斯核函数
  $$\kappa \left(x,x_i\right)=\exp \left(-\frac{{\Vert x-x_i\Vert }^2}{{\delta }^2}\right)$$
  该核函数是应用最广的一个，在不知道用什么核函数的时候，可以优先使用高斯核函数。
• Sigmoid核函数
  $$\kappa \left(x,x_i\right)=\tanh \left(\eta <x,x_i>+\theta \right)$$
  采用sigmoid核函数，那么SVM实际就是一种多层神经网络。

软间隔

需要注意的是，以上我们讨论的无论是线性可分还是线性不可分的情况，最终的目标都是找到一个超平面将两类样本完全分开，但是这在实际问题中往往很难实现，而且即使找到了一个超平面可以将两类样本完全分开也很有可能会导致过拟合等后果。
于是，合理的做法是我们可以允许超平面在少量的样本的分类上出错，这就是“软间隔”的概念；与此相对的，之前的超平面不允许有分类错误的样本，我们称之为“硬间隔”。
之前的Lagrange对偶函数如下，其后半部分即为“ 硬间隔 ”的要求：
$$\mathcal{L}(w,b,\alpha )=\frac{1}{2}\Vert w{\Vert }^2-\sum _{i=1}^n{\alpha }_i\left(y_i\left({\mathbf{w}\mathbf{x}}_i+b\right)-1\right)$$

将此处不允许有错误改为错误函数（损失函数），并乘一个常数项$C$，就是软间隔支持向量机啦！
$$\underset{w,b}{\min }\frac{1}{2}\Vert w{\Vert }^2+C\sum _{i=1}^n{\ell }_{0/1}\left(y_i\left({\mathbf{w}\mathbf{x}}_i+b\right)-1\right)$$
其中${\ell }_{0/1}$为“0/1损失函数”，$C$为事先确定的正常数.
常用的损失函数有：

• hinge 损失: ${\ell }_{\text{hinge}}(z)=\max (0,1-z)$
• 指数损失(exponential loss): $\mathrm{lexp}(z)=\exp (-z)$
• 对率损失(logistic loss): ${\ell }_{\log }(z)=\log (1+\exp (-z))$

其中最常用的为hinge损失函数，采用hinge 损失函数目标函数可化为：
$$\underset{w,b}{\min }\frac{1}{2}\Vert w{\Vert }^2+C\sum _{i=1}^{n}max\{0,1-y_i\left({\mathbf{w}\mathbf{x}}_i+b\right)\}$$
用松弛变量${\xi }_i\ge 0$代替，得：
$$\underset{w,b}{\min }\frac{1}{2}\Vert w{\Vert }^2+C\sum _{i=1}^n{\xi }_i$$.
可以理解为由原来的约束条件：
$$s.t.y_i\left({\mathbf{w}\mathbf{x}}_i+b\right)\ge 1,i=1,\dots ,n$$
转变成：
$$s.t.y_i\left({\mathbf{w}\mathbf{x}}_i+b\right)\ge 1-{\xi }_i,i=1,\dots ,n$$
所以目标函数为：
$$\underset{w,b}{\min }\frac{1}{2}\Vert w{\Vert }^2+C\sum _{i=1}^n{\xi }_i$$.
$$s.t.y_i\left({\mathbf{w}\mathbf{x}}_i+b\right)\ge 1-{\xi }_i,{\xi }_i\ge 0,i=1,\dots ,n$$
之后跟之前的方法相同，转化为对偶问题求解，过程略，对偶问题为：
$\begin{array}{rl}\underset{\alpha }{\max }& \sum _{i=1}^n{\alpha }_i-\frac{1}{2}\sum _{i,j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j⟨x_i,x_j⟩\\ \text{s.t.}& 0\le {\alpha }_i\le C,i=1,\dots ,n\\ & \sum _{i=1}^n{\alpha }_i{y}_i=0\end{array}$
注：图片源自网络