【机器学习系列】之SVM核函数和SMO算法

作者：張張張張
github地址：https://github.com/zhanghekai
【转载请注明出处，谢谢！】

【机器学习系列】之SVM硬间隔和软间隔
【机器学习系列】之SVM核函数和SMO算法
【机器学习系列】之支持向量回归SVR
【机器学习系列】之sklearn实现SVM代码

一、SVM核函数

SVM基本型假设的是训练样本是线性可分的，即存在一个划分超平面能将训练样本正确分类。然而在现实任务中，原始样本空间内也许并不存在一个能正确划分两类样本的超平面，如下图所示的“异或”问题就不是线性可分的。

对于这样的问题，可将样本从原始空间映射到一个更高维的特征空间，使得样本在这个特征空间内线性可分。如果原始空间是有限维，即特征数有限，那么一定存在一个高维特征空间使样本可分。

1.核函数的介绍

定义一个低维特征空间到高维特征空间的映射$\varphi$，令$\varphi (x)$表示将$x$映射后的特征向量，将所有特征映射到一个更高的维度，让数据线性可分。此时，SVM的优化目标函数变成：
$$\begin{gathered} \underset{\alpha }{min}\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j\varphi (x_i{)}^T\varphi (x_j)-\sum _{i=1}^m{\alpha }_i \\ s.t.\sum _{i=1}^m{\alpha }_i{y}_i=0 \\ 0\le {\alpha }_i\le C \end{gathered}$$

由此可见，和线性可分SVM的优化目标函数的区别仅仅是将内积$x_i^T{x}_j$替换为$\varphi (x_i{)}^T\varphi (x_j)$。
若低维特征过多，映射到高维的维度特征是程几何暴增的，解决低维特征过多的问题，于是就引出了“核函数”。

“核函数”的定义： 假设$\chi$为低维输入空间，$\kappa (\cdot ,\cdot )$是定义在$\chi \times \chi$上的对称函数，则$\kappa$是核函数的充要条件是当且仅当对于任意数据$D=\{x_1,x_2,\cdots ,x_m\}$，“核矩阵（kernel matrix）”$k$ 总是半正定的：
其中：$$\kappa (x_i,x_j)=\varphi (x_i{)}^T\varphi (x_j)$$
那么我们就称$\kappa (x_i,x_j)$为核函数。上述定义表明：只要一个对称函数所对应的核矩阵半正定，它就能作为核函数使用。$\kappa (x_i,x_j)$的计算是在低维特征空间来计算的，它避免了在高维空间计算内积的恐怖计算量。

线性不可分核函数的引入过程： 我们遇到线性不可分的样例时，常用做法是把样例特征映射到高维空间中去，但是遇到线性不可分的样例，若一律映射到高维空间，那么这个维度大小是会高到令人恐怖的。此时，核函数就体现出它的价值了，核函数的价值在于它虽然也是将特征进行从低维到高维的转换，核函数是在低维空间上进行计算，而将实质上的分类效果（利用内积）表现在了高维上，这样避免了直接在高维空间中的复杂计算，真正解决了SVM线性不可分的问题。

2.几种常用的核函数

此外，核函数还可以通过函数组合得到：

• 若${\kappa }_1$和${\kappa }_2$为核函数，则对于任意正数${\gamma }_1、{\gamma }_2$，其线性组合
  $${\gamma }_1{\kappa }_1+{\gamma }_2{\kappa }_2$$
  也是核函数。
• 若${\kappa }_1$和${\kappa }_2$为核函数，则核函数的直积
  $${\kappa }_1⨂{\kappa }_2(x,z)={\kappa }_1(x,z){\kappa }_2(x,z)$$
  也是核函数。
• 若${\kappa }_1$为核函数，则对于任意函数$g(x)$，
  $$\kappa (x,z)=g(x){\kappa }_1(x,z)g(z)$$
  也是核函数。

3.分类SVM算法流程

引入核函数后，SVM算法才算是比较完整了，现在对分类SVM的算法过程做一个总结，不再区分是否线性可分。

二、SMO算法

首先回顾下SVM的优化目标函数，SMO算法要求解如下凸二次规划的对偶问题：
$$\begin{gathered} \underset{\alpha }{min}\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j\kappa (x_i,x_j)-\sum _{i=1}^m{\alpha }_i \\ s.t.\sum _{i=1}^m{\alpha }_i{y}_i=0 \\ 0\le {\alpha }_i\le C \end{gathered}$$

其应满足如下KKT条件：

$$\{\begin{array}{l}{\alpha }_i\ge 0,{\mu }_i\ge 0,\\ y_i(w^T{x}_i+b)-1+{\xi }_i\ge 0,\\ {\alpha }_i(y_i(w^T{x}_i+b)-1+{\xi }_i)=0\\ {\xi }_i\ge 0,{\mu }_i{\xi }_i=0\end{array}$$

SMO是一种启发式算法，其基本思路是： 它每次只优化两个变量，将其它的变量都视为常数。由于${\sum }_{i=1}^m{\alpha }_i{y}_i=0$，假如将${\alpha }_3，{\alpha }_4，\cdots ，{\alpha }_m$固定，那么${\alpha }_1、{\alpha }_2$之间的关系也确定了，这样SMO算法将一个复杂的优化算法转化为一个比较简单的两变量优化问题，这样目标优化函数变为：
$$\begin{gathered} \underset{{\alpha }_1,{\alpha }_2}{min}\frac{1}{2}{\kappa }_{11}{\alpha }_1^2+\frac{1}{2}{\kappa }_{22}{\alpha }_2^2+y_1{y}_2{\kappa }_{12}{\alpha }_1{\alpha }_2-({\alpha }_1+{\alpha }_2)+y_1{\alpha }_1\sum _{i=3}^m{y}_i{\alpha }_i{\kappa }_{i1}+y_2{\alpha }_2\sum _{i=3}^m{y}_i{\alpha }_i{\kappa }_{i2}(1) \\ s.t.{\alpha }_1{y}_1+{\alpha }_2{y}_2=-\sum _{i=3}^m{y}_i{\alpha }_i \\ 0\le {\alpha }_i\le Ci=1,2 \end{gathered}$$

注释：

• 由于$y$只能取$+1$或 $-1$，所以$y_i^2$总为1；
• 上式省略了不含${\alpha }_1、{\alpha }_2$的常数项。

这样，在参数初始化后，SMO不断执行如下两个步骤直至收敛：

• 选取一对需要更新的变量${\alpha }_i$和${\alpha }_j$
• 固定${\alpha }_i$和${\alpha }_j$以外的参数，求解式（1）获得更新后的${\alpha }_i$和${\alpha }_j$

SMO伪代码大致如下
创建一个 alpha 向量并将其初始化为0向量
当迭代次数小于最大迭代次数时(外循环)
\qquad 对数据集中的每个数据向量(内循环)：
\qquad\qquad 如果该数据向量可以被优化
\qquad\qquad\qquad 随机选择另外一个数据向量
\qquad\qquad\qquad 同时优化这两个向量
\qquad\qquad\qquad 如果两个向量都不能被优化，退出内循环
\qquad 如果所有向量都没被优化，增加迭代数目，继续下一次循环

1.SMO算法目标函数的优化

为了求解上面含有这两个变量的目标优化问题，我们首先分析约束条件，所有的${\alpha }_1、{\alpha }_2$都要满足约束条件，然后在约束条件下求最小值。根据上面的约束条件${\alpha }_1{y}_1+{\alpha }_2{y}_2=k,0\le {\alpha }_i\le Ci=1,2$ ，又由于$y_1,y_2$均只能取值$1$或者$-1$, 这样${\alpha }_1,{\alpha }_2$在$[0,C]$和$[0,C]$形成的盒子里面，并且两者的关系直线的斜率只能为$1$或者$-1$，也就是说 的关系直线平行于$[0,C]$和$[0,C]$形成的盒子的对角线。

由于${\alpha }_1,{\alpha }_2$的关系被限制在盒子里的一条线段上，所以两变量的优化问题实际上仅仅是一个变量的优化问题。不妨我们假设最终是${\alpha }_2$的优化问题。由于我们采用的是启发式的迭代法，假设我们上一轮迭代得到的解是${\alpha }_1^{old},{\alpha }_2^{old}$，假设沿着约束方向${\alpha }_2$未经剪辑的解是 ${\alpha }_2^{ew,unc}$(即：未考虑不等式约束$\alpha$的取值范围$[0,C]$的最优解)，本轮迭代完成后的解为${\alpha }_1^{new}，{\alpha }_2^{new}$(即：考虑不等式约束$\alpha$的取值范围的最优解)。

由于${\alpha }_2^{new}$必须满足上图中的线段约束。假设$L$和$H$分别是上图中${\alpha }_2^{new}$所在的线段的边界。那么很显然有：
$$L\le {\alpha }_2^{new}\le H$$

初中数学知识： 我们把函数f(x)左移一个单位得到的函数就是f(x+1) 同样我们面对一个f(x+1)的函数 他的图像就是f(x)左移一个单位，即：“左加右减”原则。

• 当$y_1$不等于$y_2$时：
  
  • 当$y_1=1,y_2=-1$时：有${\alpha }_1-{\alpha }_2=k$，此时$k>0$，如图中线段（1）所示。${\alpha }_2$的取值范围为${\alpha }_2\in (0,C+{\alpha }_2-{\alpha }_1)$。当线段（1）移动到虚线上半部分后，此时情况为$y_1=-1,y_2=1$
  • 当$y_1=-1,y_2=1$时：有${\alpha }_1-{\alpha }_2=k$，此时$k<0$，如图中线段（2）所示。${\alpha }_2$的取值范围为${\alpha }_2\in ({\alpha }_2-{\alpha }_1,C)$。
  • 此时${\alpha }_2$的取值范围为：$L=max(0,{\alpha }_2^{old}-{\alpha }_1^{old})$；$H=min(C+{\alpha }_2^{old}-{\alpha }_1^{old},C)$

• 当$y_1$等于$y_2$时：
  
  • 当$y_1=y_2=1$时：有${\alpha }_1+{\alpha }_2=k$，此时$k>0$，如图中线段（1）所示。此时${\alpha }_2$的取值范围为${\alpha }_2\in (0,{\alpha }_1+{\alpha }_2)$；当线段（1）移动到虚线上半部分后，如图中线段（1’），此时${\alpha }_2$的取值范围为${\alpha }_2\in ({\alpha }_1+{\alpha }_2-C,C)$。
  • 当$y_1=y_2=-1$时：有${\alpha }_1+{\alpha }_2=k$，此时$k<0$，如图中线段（2）所示。由于此线段并没有与$[0,C]$和$[0,C]$形成的盒子相交，所以不符合要求，在这种情况下${\alpha }_2$没有极值。
  • 此时${\alpha }_2$的取值范围为：$L=max(0,{\alpha }_1^{old}+{\alpha }_2^{old}-C)$；$H=min({\alpha }_1^{old}+{\alpha }_2^{old},C)$

注释：

1. 以上线段图像均可根据“左加右减”原则得到。
2. $L$和$H$指的是取二者中的最大/最小值，而不是范围。
3. $L$取$max$是因为${\alpha }_2^{new}$要比最小值中最大的那个值大； $H$取$min$是因为${\alpha }_2^{new}$要比最大值中最小的那个值小，这样才能确保${\alpha }_2^{new}$完全在$L$和$H$之间

综上所述： 假如通过求导得到${\alpha }_2^{new,unc}$，则最终的${\alpha }_2^{new}$应该为：
$${\alpha }_2^{new}=\{\begin{array}{l}H{\alpha }_2^{new,unc}>H\\ {\alpha }_2^{new,unc}L\le {\alpha }_2^{new,unc}\le H\\ L{\alpha }_2^{new,unc}<L\end{array}$$

2.${\alpha }_2^{new,unc}的求解$

令：
$$\begin{gathered} g(x)=w^{\ast }\cdot \varphi (x)+b=\sum _{j=1}^m{\alpha }_j^{\ast }{y}_j\kappa (x,x_j)+b^{\ast } \\ {E}_i=g(x_i)-y_i=\sum _{j=1}^m{\alpha }_j^{\ast }{y}_j\kappa (x_i,x_j)+b-y_i \\ {v}_i=\sum _{j=3}^m{y}_j{\alpha }_j\kappa (x_i,x_j)=g(x_i)-\sum _{j=1}^2{y}_j{\alpha }_j\kappa (x_i,x_j)-b \end{gathered}$$
这样优化目标函数，即公式（1）进一步化简为：
$$W({\alpha }_1,{\alpha }_2)=\frac{1}{2}{\kappa }_{11}{\alpha }_1^2+\frac{1}{2}{\kappa }_{22}{\alpha }_2^2+y_1{y}_2{\kappa }_{12}{\alpha }_1{\alpha }_2-({\alpha }_1+{\alpha }_2)+y_1{\alpha }_1{v}_1+y_2{\alpha }_2{v}_2(2)$$

由于${\alpha }_1{y}_1+{\alpha }_2{y}_2=\zeta$,并且$y_i^2=1$,可以得到${\alpha }_1$用${\alpha }_2$表达的式子为：

$${\alpha }_1=y_1(\zeta -{\alpha }_2{y}_2)(3)$$

将式（3）带入到式（2）中,就可以消除${\alpha }_1$，得到仅仅包含${\alpha }_2$的式子：

$$W({\alpha }_2)=\frac{1}{2}{\kappa }_{11}(\zeta -{\alpha }_2{y}_2{)}^2+\frac{1}{2}{\kappa }_{22}{\alpha }_2^2+y_2{\kappa }_{12}(\zeta -{\alpha }_2{y}_2){\alpha }_2-(\zeta -{\alpha }_2{y}_2)y_1-{\alpha }_2+(\zeta -{\alpha }_2{y}_2)v_1+y_2{\alpha }_2{v}_2(4)$$

通过对式（4）求偏导数来得到${\alpha }_2^{new,unc}$:

$$\frac{\partial W}{\partial {\alpha }_2}={\kappa }_{11}{\alpha }_2+{\kappa }_{22}{\alpha }_2-2{\kappa }_{12}{\alpha }_2-{\kappa }_{11}\zeta y_2+{\kappa }_{12}\zeta y_2+y_1{y}_2-1-v_1{y}_2+y_2{v}_2=0(5)$$

整理上式（5），得：

$$\begin{gathered} ({\kappa }_{11}+{\kappa }_{22}-2{\kappa }_{12}){\alpha }_2=y_2(y_2-y_1+\zeta {\kappa }_{11}-\zeta {\kappa }_{12}+v_1-v_2) \\ =y_2(y_2-y_1+\zeta {\kappa }_{11}-\zeta {\kappa }_{12}+(g(x_1)-\sum _{j=1}^2{y}_j{\alpha }_j{\kappa }_{1j}-b)-(g(x_2)-\sum _{j=1}^2{y}_j{\alpha }_j{\kappa }_{2j}-b))(6) \end{gathered}$$

将$\zeta ={\alpha }_1{y}_1+{\alpha }_2{y}_2$带入上式（6）中，得：

$$\begin{gathered} ({\kappa }_{11}+{\kappa }_{22}-2{\kappa }_{12}){\alpha }_2^{new,unc}=y_2(({\kappa }_{11}+{\kappa }_{22}-2{\kappa }_{12}){\alpha }_2^{old}{y}_2+y_2-y_1+g(x_1)-g(x_2)) \\ =({\kappa }_{11}+{\kappa }_{22}-2{\kappa }_{12}){\alpha }_2^{old}+y_2(E_1-E_2) \end{gathered}$$

最终得到了${\alpha }_2^{new,unc}$的表达式：

$${\alpha }_2^{new,unc}={\alpha }_2^{old}+\frac{y_2(E_1-E_2)}{{\kappa }_{11}+{\kappa }_{22-2{\kappa }_{12}}}$$

利用上面讲到的${\alpha }_2^{new,unc}$和${\alpha }_2^{new}$的关系式，就可以得到新的${\alpha }_2^{new}$了，利用${\alpha }_2^{new}$和${\alpha }_1^{new}$的线性关系，就可以得到新的${\alpha }_1^{new}$。

3.SMO算法两个变量的选择

3.1 第一个变量的选择

SMO算法称选择第一个变量为外层循环，这个变量需要选择在训练集中违反KKT条件最严重的样本点。直观来看，KKT条件违背的程度越大，则变量更新后可能导致的目标函数值增幅越大。于是，SMO先选取违背KKT调价程度最大的变量。

一般来说，首先选择违反$0<{\alpha }_j^{\ast }<C⟹y_{i}g(x_i)=1$这个条件的点。如果这些支持向量都满足KKT条件，再选择违反${\alpha }_i^{\ast }=0⟹y_{i}g(x_i)\ge 1$和${\alpha }_i^{\ast }=C⟹y_{i}g(x_i)\le 1$的点。

3.2 第二个变量的选择

SMO算法称选择第二个变量为内层循环，第二个变量应选择一个使目标函数值增长最快的变量，即：让$|E_1-E_2|$有足够大的变化。由于${\alpha }_1$定了的时候，$E_1$也确定了，所以想要$|E_1-E_2|$最大，只需要在$E_1$为正时，选择最小的$E_i$作为$E_2$，在$E_1$为负时，选择最大的$E_i$作为$E_2$，可以将所有的$E_i$保存下来加快迭代。

如果内存循环找到的点不能让目标函数有足够的下降， 可以采用遍历支持向量点来做${\alpha }_2$ ,直到目标函数有足够的下降， 如果所有的支持向量做${\alpha }_2$都不能让目标函数有足够的下降，可以跳出内层循环，重新选择${\alpha }_1$。

两个变量选择的总结： 这样的两个变量有很大的差别，与对两个相似的变量进行更新相比，对它们进行更新会带给目标函数值更大的变化。

4.计算阈值$b$和差值$E_i$

在每次完成两个变量的优化之后，需要重新计算阈值$b$

• 当$0<{\alpha }_1^{new}<C$时， 由$y_i(w_i^T+b)=1$知：
  $$y_1-\sum _{i=1}^m{\alpha }_i{y}_i{\kappa }_{i1}-b_1=0$$

  新的$b_1^{new}为：$
  $$b_1^{new}=y_1-\sum _{i=3}^m{\alpha }_i{y}_i{\kappa }_{i1}-{\alpha }_1^{new}{y}_1{\kappa }_{11}-{\alpha }_2^{new}{y}_2{\kappa }_{21}(7)$$

  计算出$E_1$为：
  $$E_1=g(x_1)-y_1=\sum _{i=3}^m{\alpha }_i{y}_i{\kappa }_{i1}+{\alpha }_1^{old}{y}_1{\kappa }_{11}+{\alpha }_2^{old}{y}_2{\kappa }_{21}+b^{old}-y_1$$

  可以看到上述两式都有$y_1-{\sum }_{i=3}^m{\alpha }_i{y}_i{\kappa }_{i1}$，因此可以将$b_1^{new}$用$E_1$表示：
  $$b_1^{new}=-E_1-y_1{\kappa }_{11}({\alpha }_1^{new}-{\alpha }_1^{old})-y_2{\kappa }_{21}({\alpha }_2^{new}-{\alpha }_2^{old})+b^{old}(8)$$

  注释： 其实用公式（7）即可求出$b_1^{new}$，但$E_1$是我们已知的值，为了避免冗余计算，所以用带有$E_i$的表达式来计算$b^{new}$。

• 同理得：当$0<{\alpha }_2^{new}<C$时，有：
  $$b_2^{new}=-E_2-y_1{\kappa }_{12}({\alpha }_1^{new}-{\alpha }_1^{old})-y_2{\kappa }_{22}({\alpha }_2^{new}-{\alpha }_2^{old})+b^{old}(9)$$

最终的$b^{new}$为：
$$b^{new}=\frac{b_1^{new}+b_2^{new}}{2}(10)$$

得到了$b^{new}$需要更新$E_i$：
$$E_i=\sum _S{y}_j{\alpha }_j\kappa (x_i,x_j)+b^{new}-y_i(11)$$
其中，$S$是所有支持向量$x_j$的集合。

注释：$S$之所以是所有支持向量的集合，是因为初始化的$\alpha$是一个全为$0$的向量，即${\alpha }_1={\alpha }_2=\cdots ={\alpha }_m=0$，$w$的值即为$0$。进行SMO算法时，每轮挑选出两个变量${\alpha }_i$，固定其他的$\alpha$值，也就是说，那些从来没有被挑选出来过的$\alpha$，值始终为$0$，而根据前面所述，支持向量对应的${\alpha }_i$是一定满足$0<{\alpha }_i\le C$的。由于不是支持向量的样本点，对应的${\alpha }_i$值为$0$，加起来也没有意义，对$w$产生不了影响，只有支持向量对应的点 $(x_i,y_i)$与对应的${\alpha }_i$相乘，产生的值才对$w$有影响。

5.SMO算法总结

【参考文献】

• 刘建平 博客园：https://www.cnblogs.com/pinard/
• 周志华 《机器学习》
• 李航 《统计学方法》