机器学习笔记之支持向量机（Support Vector Machines,SVM）

机器学习笔记之支持向量机（Support Vector Machines,SVM）

支持向量机

支持向量机是一种二分类模型。基本模型是定义在特征空间上的间隔最大的线性分类器，与感知机不同，感知机没有最大间隔。复杂感知机模型通过使用核技巧来处理非线性分类问题。

线性分类之硬间隔

        考虑一个二分类问题，给定训练样本集$D=\left\{({\mathbf{x}}_1,y_1),({\mathbf{x}}_2,y_2),\cdots ,({\mathbf{x}}_m,y_m)\right\},y_i\in \left\{-1,+1\right\}$,其中${\mathbf{x}}_i\in {\mathbb{R}}^n$,当$y_i=+1$,称${\mathbf{x}}_i$为正例，当$y_i=-1$,称${\mathbf{x}}_i$为负例。（假设训练样本集是线性可分的）分类学习算法的基本思想就是基于训练集样本在样本空间找到一个划分超平面，将不同类别的样本分开。但是能将训练样本分开的超平面可能有很多个，如图所示，我们应该如何决定选择哪一个呢？

        直观上看，应该选择位于两类训练样本正中间的划分超平面，即图中红色的那个，因为该超平面对训练样本的局部扰动的“容忍”性最好。例如，由于训练集的局限性或者噪声的因素，训练集外的样本可能比图中的训练样本更接近两个类的边界，这将使许多超平面出现错误，而红色的超平面受影响较小。换句话说，红色超平面所产生的分类结果是最鲁棒的，对未知实例的泛化能力更强。
        在样本空间中，划分超平面可通过如下线性方程描述：$${\mathbf{w}}^{\mathrm{T}}\mathbf{x}+b=0$$
其中$\mathbf{w}=(w_1,w_2,\cdots ,w_n)$为法向量，决定了超平面的方向，b为位移项，决定了超平面与圆点之间的距离。显然，超平面可被法向量$\mathbf{w}$和位移$b$确定。样本空间中任意点$\mathbf{x}$到超平面($\mathbf{w},b$)的距离可写为$$r=\frac{|{\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b|}{\Vert \mathbf{w}\Vert }$$
假设超平面（$\mathbf{w},b$）能将训练样本正确分类，即对于（${\mathbf{x}}_i,y_i\in D$）若$y_i=+1$，则有${\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b>0$，若$y_i=-1$，则有${\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b<0$，即$y_i({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b)>0$。
我们希望最大化超平面关于训练数据集的距离(其中距离又要最小)，因此可以转化为约束最优化问题。即$$\begin{array}{rl}& \underset{w,b}{\max }\underset{x_i}{\min }r,s.t.y_i({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b)>0\Rightarrow \underset{w,b}{\max }\underset{x_i}{\min }r=\frac{|{\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b|}{\Vert \mathbf{w}\Vert },s.t.y_i({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b)>0\\ & \Rightarrow \underset{w,b}{\max }\underset{x_i}{\min }\frac{1}{\Vert \mathbf{w}\Vert }{y}_i|{\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b|,s.t.y_i({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b)>0\\ & \Rightarrow \underset{w,b}{\max }\frac{1}{\Vert \mathbf{w}\Vert }\underset{x_i}{\min }{y}_i|{\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b|,s.t.y_i({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b)>0\\ & \because y_i({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b)>0\therefore \exists \gamma >0,s.t\min y_i({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b)=\gamma ,令\gamma =1\\ & \Rightarrow \underset{w,b}{\max }\frac{1}{\Vert \mathbf{w}\Vert },s.t.y_i({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b)=1\Rightarrow \underset{w,b}{\max }\frac{1}{\Vert \mathbf{w}\Vert },s.t.y_i({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b)\ge 1\end{array}$$
即
$$\begin{array}{rl}\underset{w,b}{\min }& \frac{1}{2}\Vert \mathbf{w}{\Vert }^2\\ s.t.& y_i({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b)\ge 1，i=1,2,\dots ,m.\end{array}$$
       我们希望求解上式来得到最大间隔划分超平面所对应的模型$f(\mathbf{x})={\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b$,其中$\mathbf{w}$和$b$是模型参数。我们可以使用拉格朗日乘子法求解最优问题。具体来说，就是对约束条件添加lagrange拉格朗日乘子${\lambda }_i\ge 0$，则该问题可以写成：$$L(\mathbf{w},b,\lambda )=\frac{1}{2}\Vert \mathbf{w}{\Vert }^2+\sum _{i=1}^m{\lambda }_i(1-y_i({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b))$$其中$\mathbf{\lambda }=({\lambda }_1;{\lambda }_2,\dots ,{\lambda }_m)$。
       原问题就变成了$$\{\begin{array}{l}\begin{array}{rl}\underset{\mathbf{w},b}{\min }\underset{\mathbf{\lambda }}{\max }& L(\mathbf{w},b,\mathbf{\lambda })\\ s.t{\lambda }_i\ge 0& \end{array}\end{array}$$其对偶问题为$$\{\begin{array}{l}\begin{array}{rl}\underset{\mathbf{\lambda }}{\max }\underset{\mathbf{w},b}{\min }& L(\mathbf{w},b,\mathbf{\lambda })\\ s.t{\lambda }_i\ge 0& \end{array}\end{array}$$
令$L对\mathbf{w},\mathbf{b}$求偏导等于零即
$\begin{array}{rl}& \frac{\partial L}{\partial b}=\frac{\partial }{\partial b}[\sum _{i=1}^m{\lambda }_i-\sum _{i=1}^m{\lambda }_i{y}_i({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b)]=-\sum _{i=1}^m{\lambda }_i{y}_i=0\\ & L(\mathbf{w},b,\mathbf{\lambda })=\frac{1}{2}{\mathbf{w}}^{\mathbf{T}}\mathbf{w}+\sum _{i=1}^m{\lambda }_i-\sum _{i=1}^m{\lambda }_i{y}_i(w^T{x}_i+b)=\frac{1}{2}{\mathbf{w}}^{\mathbf{T}}\mathbf{w}+\sum _{i=1}^m{\lambda }_i-\sum _{i=1}^m{\lambda }_i{y}_i{w}^T{x}_i\\ & \frac{\partial L}{\partial w}=w-\sum _{i=1}^m{\lambda }_i{y}_i{x}_i=0\Rightarrow w^{\ast }=\sum _{i=1}^m{\lambda }_i{y}_i{x}_i\end{array}$
因此，$\begin{array}{rl}L(\mathbf{w},b,\mathbf{\lambda })& =\frac{1}{2}\underset{({\sum }_{i=1}^m{\lambda }_i{y}_i{x}_i^T)}{(\sum _{i=1}^m{\lambda }_i{y}_i{x}_i{)}^T}\underset{({\sum }_{j=1}^m{\lambda }_j{y}_j{x}_j)}{(\sum _{j=1}^m{\lambda }_j{y}_j{x}_j)}-\underset{{\sum }_{i=1}^m{\sum }_{j=1}^m{\lambda }_i{\lambda }_j{y}_i{y}_j{x}_i^T{x}_j}{\sum _{i=1}^m{\lambda }_i{y}_i(\sum _{j=1}^m{\lambda }_j{y}_j{x}_j{)}^T{x}_i}+\sum _{i=1}^m{\lambda }_i\\ & =-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\lambda }_i{\lambda }_j{y}_i{y}_j{x}_i^T{x}_j+\sum _{i=1}^m{\lambda }_i\end{array}$
所以原问题就转化为对偶问题：$$\begin{array}{rl}\max L(\mathbf{w},b,\mathbf{\lambda })& =-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\lambda }_i{\lambda }_j{y}_i{y}_j{x}_i^T{x}_j+\sum _{i=1}^m{\lambda }_i\\ s.t& \sum _{i=1}^m{\lambda }_i{y}_i=0,\\ & {\lambda }_i\ge 0,i=1,2,\dots ,m.\end{array}$$
容易看出，解此问题需要满足KKT条件：$$\{\begin{array}{l}\frac{\partial L}{\partial w}=0,\frac{\partial L}{\partial b}=0,\frac{\partial L}{\partial \lambda }=0\\ {\lambda }_i(1-y_i(w^T{x}_i+b))=0\\ {\lambda }_i\ge 0\\ 1-y_i(w^T{x}_i+b)\le 0\end{array}$$
所以$\begin{array}{r}{\mathbf{w}}^{\ast }=\sum _{i=1}^m{\lambda }_i{y}_i{x}_i\end{array}$。
对于任意训练样本总有${\lambda }_i=0$或者$1-y_i(w^T{x}_i+b)=0$。若${\lambda }_i=0$，则该样本不会出现在$f(x)$中，也就是说不会对模型产生影响；若${\lambda }_i>0$,则必有$y_{i}f(x_i)=1$所对应的样本点位于最大间隔边界上，是一个支持向量。这也表明了SVM的一个性质，最终模型仅与支持向量有关。$$\begin{gathered} \exists (x_k,y_k),s.t.1-y_k(w^T{x}_k+b)=0 \\ {y}_k(w^T{x}_k+b)=1\Rightarrow y_k^2(w^T{x}_k+b)=y_k\Rightarrow b^{\ast }=y_k-\sum _{i=1}^m{y}_i{x}_i^T{x}_k \\ \therefore f(x)=\sum _{i=1}^m{\lambda }_i{y}_i{x}_i^{T}x+b^{\ast } \end{gathered}$$
那么现在如何求解${\lambda }_i$呢？一般采用SMO¹(Sequential Mininmal Optimization)算法求解。SMO的基本思路是先固定${\lambda }_i$之外的参数，然后求${\lambda }_i$上的极值。由于存在约束${\sum }_{i=1}^m{\lambda }_i{y}_i=0$，若固定${\lambda }_i$之外的其他变量，则${\lambda }_i$可由求他变量导出。于是SMO每次选择两个变量${\lambda }_i$和${\lambda }_j$，并固定其他参数。这样，在参数初始化后，SMO不断执行以下两个步骤直至收敛：

• 选取一对需要更新的变量${\lambda }_i$和${\lambda }_j$
• 固定${\lambda }_i$和${\lambda }_j$以外的参数，求解L获得更新后的${\lambda }_i$和${\lambda }_j$

---

1. 周志华，《机器学习》， ↩︎