支持向量机原理及求解 SVM Slater条件 KKT条件 SMO算法 软间隔

支持向量机SVM原理及求解过程介绍

支持向量机（Support Vector Machine, 简称SVM），又称为Sparse Kernel Machine或Maximum Margin Classifier，是一类经典的机器学习方法，它融合了之前已有的计算学习方法、线性判别函数和优化方法，常用于分类、回归和异常检测任务，在解决小样本问题、非线性学习和高维模式识别中有特别的优势。20世纪60年代，SVM算法的前身由俄国科学家Vapnik和Chervonenkis建立起来，到了90年代，美国科学家Corinna Cortes和Vapnik提出了基于软间隔的标准SVM算法。在深度学习兴起之前SVM有着广泛的应用和影响，至今它仍是重要的分类器和学习算法之一。本文我们将重点介绍经典SVM的求解目标和优化方法。

最大间隔超平面

在机器学习中，样本经常由一系列特征来进行描述，这些特征数据构成一个向量，也构成欧式空间中的一个样本点，多个样本就可以看做欧式空间中分布的多个样本点。如果研究的是分类任务，这些样本点还经常具有类别标签信息。经典SVM研究的是二分类问题，假设现有训练集D，其中包含两类线性可分的样本，共n个：
$$\begin{gathered} D=(x_1,y_1),(x_2,y_2),\dots ,(x_n,y_n) \\ {x}_i=(d_{1i},d_{2i},\dots d_{mi}{)}^T,y_i=\pm 1 \end{gathered}$$
这里$x_i$表示第$i$个样本对应的特征向量，$m$为特征维度，$d_{ji}$表示样本$x_i$的第$j$个特征对应的值。$y_i$表示第i个样本的标签，取值为$1$或$-1$，分别表示正类或负类。在这$n$个样本点分布的欧式空间中，因为样本点是线性可分的，所以可能存在多个超平面$w^{T}x+b=0$可以将这些点分隔开来，其中$w=(w_1,w_2,\dots w_m{)}^T$,表示超平面的法向量，长度与样本特征维度相同为$m$，$b$是位移项。我们所说的超平面在二维空间中是直线，在三维空间中是平面，在更高维空间中就是抽象的超平面。

图1 可能存在的分割超平面

在图1中，为了简化并说明问题我们这里认为$m=2$，$d_1,d_2$表示两个特征维度，对于任意样本点$x_i$，可以根据在这两个特征维度上的值$d_{1i}$,$d_{2i}$寻找到其在上图的二维欧式空间中对应的位置，并根据所属类别分别用$+$或$-$标示出来。可以看到，上图中存在多个超平面可以将这两类点分隔开来。
在二分类任务中，我们只需要找到任意一个这样的超平面，就可以成功将两类样本分开了，对于一个新样本，只需要判断它在超平面上方还是下方就可以预测其类别了。但是SVM认为随意一个超平面还不够，它希望找到一个最鲁棒最优秀的超平面，这个选择标准就是：能正确划分训练集并且几何间隔最大。所谓几何间隔最大，就是说如果从超平面两边分别选取一个距离超平面最近的点，则距离之和应该最大。SVM认为这样的超平面最鲁棒。接下来我们讲如何确定这个距离之和最大的超平面。

图2 最佳超平面的选择

如图2所示，假设超平面上方$x$的点均为正类即$y=+1$，且满足$w^{T}x+b>0$；超平面下方的点均为负类即$y=-1$，且满足$w^{T}x+b<0$。然后进一步加入“间隔”概念，令
$$f(x)=\{\begin{array}{rl}(w^{T}x+b\ge +1,& ify=+1\\ w^{T}x+b\le -1,& ify=-1\end{array}$$

也就是说我们在$w^{T}x+b=0$这个超平面之外，还找到了对应的$w^{T}x+b=\pm 1$这两个超平面，两类的距离$w^{T}x+b=0$最近的点不可以越过$w^{T}x+b=\pm 1$，最次也要恰好分布在这两个超平面上。这是一个更严格的约束，我们首先假设这样的超平面是存在的。
这样的话所有的点就都满足$y(w^{T}x+b)\ge 1$。一个超平面的表达式可以有无数种，我们只选择满足以上描述的那一种就好了。恰好位于$w^{T}x+b=\pm 1$上的点使得等号成立，称为“支持向量”，其他的点使得大于号成立。我们知道，$D$中任何一个点到x到超平面$w^{T}x+b=0$的距离$r$可以表示为：
$$r=\frac{|w^{T}x+b|}{||w||}$$
“$||||$”表二范数，“$||$”表示绝对值。SVM希望$w^{T}x+b=\pm 1$这两个超平面之间的间隔最大，这个间隔$\gamma$用公式表达就是：
$$\gamma =\frac{2}{||w||}$$
未知量是$w,b$，求解目标是间隔$\gamma$最大化，约束条件是$y(w^{T}x+b)\ge 1$，经典二分类SVM的优化目标用公式表达就是：
$$\begin{gathered} \underset{w,b}{\max }\frac{2}{||w||} \\ s.t.y_i(w^T{x}_i+b)\ge 1,i=1,2,\dots n. \end{gathered}$$

拉格朗日乘子法，对偶问题与KKT条件

前面已经介绍了SVM的基本思想，下面是具体求解过程。首先我们将上述优化目标转化为等价形式：
$$\begin{gathered} \underset{w,b}{\min }\frac{1}{2}||w|{|}^2 \\ s.t.y_i(w^T{x}_i+b)\ge 1,i=1,2,\dots n. \end{gathered}$$
由于目标函数和约束条件都是$R^n$（$n$维实数向量空间）上连续可微的凸函数，所以这个等价形式是个凸优化问题，便于求解。凸优化问题原本有现成的计算方法和优化包可解，但是经典的SVM用的是更高效的算法。现在我们用拉格朗日乘子法建立拉格朗日函数$L(w,b,\alpha )$，这是机器学习中的常规方法：
$$\begin{gathered} L(w,b,\alpha )=\frac{1}{2}||w|{|}^2+\sum _{i=1}^n{\alpha }_i(1-y_i(w^T{x}_i+b)) \\ s.t.y_i(w^T{x}_i+b)\ge 1,i=1,2,\dots n. \\ \alpha =({\alpha }_1,{\alpha }_2,\dots ,{\alpha }_n),{\alpha }_i\ge 0 \end{gathered}$$
即最小化$L(w,b,\alpha )$。这个式子我们称为原问题。还是参数太多，难以求解。SVM使用原始问题和对偶问题做了进一步转化。我们现在假设有函数$\theta (\alpha )=L(w,b,\alpha )$，以$\alpha$为唯一参数，以$w,b$为常数，且${\alpha }_i\ge 0$，则$\theta (\alpha )$一定是在${\alpha }_i=0$时取得最大值$\frac{1}{2}||w|{|}^2$。然后再对这个最大值以$w,b$为参数求解最小值，这样的问题就与$L(w,b,\alpha )$等价。也就是说，最小化$L(w,b,\alpha )$等价于求解下式：
$$\underset{w,b}{\min }\underset{{\alpha }_i\ge 0}{\max }L(w,b,\alpha )$$
这个式子先以$\alpha$为参数求最大值，再以$w,b$为参数求最小值，是一个最小最大化问题，称之为原始问题。它对应的有一个最大最小化问题，是对偶问题：
$$\underset{{\alpha }_i\ge 0}{\max }\underset{w,b}{\min }L(w,b,\alpha )$$
注意原始问题是关于$w,b$的问题，而对偶问题是关于$\alpha$的问题。为了方便，我们假设原始问题的最优解为$p^{\ast }$，对偶问题的最优解为$d^{\ast }$，即
$$\begin{gathered} \underset{w,b}{\min }\underset{{\alpha }_i\ge 0}{\max }L(w,b,\alpha )=p^{\ast } \\ \underset{{\alpha }_i\ge 0}{\max }\underset{w,b}{\min }L(w,b,\alpha )=d^{\ast } \end{gathered}$$
由于
$$\underset{w,b}{\min }L(w,b,\alpha )\le L(w,b,\alpha )\le \underset{{\alpha }_i\ge 0}{\max }L(w,b,\alpha )$$
所以
$$\begin{gathered} d^{\ast }=\underset{{\alpha }_i\ge 0}{\max }\underset{w,b}{\min }L(w,b,\alpha )\le \underset{w,b}{\min }\underset{{\alpha }_i\ge 0}{\max }L(w,b,\alpha )=p^{\ast } \\ {d}^{\ast }\le p^{\ast } \end{gathered}$$
我们不加证明地给出以下结论：当满足Slater条件时，一定存在$(w,b,\alpha )$使得$w,b$为原始问题的解，$\alpha$为对偶问题的解，且$d^{\ast }=p^{\ast }=L(w,b,\alpha )$。Slater条件为，原问题是凸优化问题，且存在绝对可行点，所谓绝对可行点就是使得约束条件中的等式约束都成立，不等式约束都不取等号地成立的点。这样的点显然是存在的，就是那些非支持向量的点。因此对于SVM而言，我们又把问题转化成了求解原始问题和对偶问题,因为Slater条件告诉我们，把原始问题的解和对偶问题的解放在一起就是原问题的解。
为了求解，我们还需要引入KKT条件。同样不加证明地给出另一个结论：$w,b$和$\alpha$分别是原始问题和对偶问题的解的必要条件是w,b和α满足下面的KKT条件：

$[1]L(w,b,\alpha )$在$w,b$两处的偏导为0；
$[2]{\alpha }_i(1-y_i(w^T{x}_i+b))=0,i=1,2,\dots ,n$；
$[3]y_i(w^T{x}_i+b)\ge 1,i=1,2,\dots ,n$；
$[4]{\alpha }_i\ge 0,i=1,2,\dots ,n$；

KKT条件告诉我们怎么去求解$w,b$和$\alpha$。可以看到，条件$[1]$即原问题在最初的变量上的偏导为0，条件$[2]$即不等式约束乘以对应的拉格朗日系数为0，条件$[3][4]$还是原问题的约束条件。考虑条件$[1]$,我们计算$L(w,b,\alpha )$在$w,b$两处的偏导并分别令其为$0$，可得到：
$$\begin{gathered} \sum _{i=1}^n{\alpha }_i{y}_i{x}_i=w \\ \sum _{i=1}^n{\alpha }_i{y}_i=0 \end{gathered}$$
将以上两式代入$L(w,b,\alpha )$：
$$\begin{gathered} L(w,b,\alpha )=\frac{1}{2}||w|{|}^2+\sum _{i=1}^n{\alpha }_i(1-y_i(w^T{x}_i+b)) \\ =\frac{1}{2}{w}^T\sum _{i=1}^n{\alpha }_i{y}_i{x}_i+\sum _{i=1}^n{\alpha }_i-w^T\sum _{i=1}^n{\alpha }_i{y}_i{x}_i-b\sum _{i=1}^n{\alpha }_i{y}_i \\ =\sum _{i=1}^n{\alpha }_i-\frac{1}{2}{w}^T\sum _{(}i=1{)}^n{\alpha }_i{y}_i{x}_i-b\ast 0 \\ =\sum _{i=1}^n{\alpha }_i-\frac{1}{2}\sum _{i=1}^n{\alpha }_i{y}_i{x}_i\sum _{j=1}^n{\alpha }_j{y}_j{x}_j \\ =\sum _{i=1}^n{\alpha }_i-\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j \end{gathered}$$
这就是我们现在经过对偶问题转化后的求解目标：
$$\begin{gathered} \underset{\alpha }{\max }\sum _{i=1}^n{\alpha }_i-\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j \\ s.t.{\alpha }_i\ge 0;\sum _{i=1}^n{\alpha }_i{y}_i=0 \end{gathered}$$
可以看到这个式子中唯一的变量是$\alpha$，$w,b$已经被约去了，有利于求解。而$w$与$\alpha$的关系为 ${\sum }_{i=1}^n{\alpha }_i{y}_i{x}_i=w$，$b$与$\alpha$的关系为的关系为${\alpha }_i(1-y_i(w^T{x}_i+b))=0$，前面均已给出。在$b$与$\alpha$的关系中，需要注意，${\alpha }_i$的值不可能都为$0$，如果都为$0$的话根据${\sum }_{i=1}^n{\alpha }_i{y}_i{x}_i=w$，$w$也就恒为$0$了，这显然是不可能的。当${\alpha }_i$不为$0$，对应的$1-y_i(w^T{x}_i+b)$就必定为$0$，对应的那些点就是支持向量。也就是说，超平面的表达式仅仅与支持向量有关，这与我们从图上得到的直观感受是一致的。

异常点，软间隔与核函数引入

我们前面一直假设这些样本点是线性可分的，即一定存在超平面可以将两类样本点分隔开，然而事实上这样的超平面有时并不存在，如下图：

图3 异常点的存在 图3用蓝色和黄色的点表示两类样本，可以看到直线上方大部分是黄色点，但是有一个蓝色点；下方大部分是蓝色点，但是有一个黄色点。这两个异常点（Outliers）使得在当前空间中不存在线性的超平面可以将这两类点分隔开，虽然大部分点其实是线性可分的。

我们当然不希望一颗老鼠屎坏了一锅汤，因此引入“软间隔”的概念，允许一些错误样本存在。我们引入松弛变量$\xi$：
$$\begin{gathered} \underset{w,b,\xi }{\min }\frac{1}{2}||w|{|}^2+C\sum _{i=1}^n{\xi }_i \\ s.t.y_i(w^T{x}_i+b)\ge 1-{\xi }_i \\ {\xi }_i\ge 0,i=1,2,\dots n \end{gathered}$$
只需要满足$y_i(w^T{x}_i+b)+{\xi }_i\ge 1$即可，这时异常点就可以通过对应一个正值的${\xi }_i$来衡量它到自己类别一侧的距离，正常点对应的${\xi }_i$就为0。优化目标中也加入了${\sum }_{i=1}^n{\xi }_i$ ，$C$是一个可调节的参数，$C$较大时对错误分类的乘法较大，较小时对错误分类的惩罚较小。如前所述，对这个式子使用拉格朗日乘子法：
$$\begin{gathered} L(w,b,\xi ,\alpha ,\mu )=\frac{1}{2}||w|{|}^2+C\sum _{i=1}^n{\xi }_i+\sum _{i=1}^n{\alpha }_i(1-{\xi }_i-y_i(w^T{x}_i+b))-\sum _{i=1}^n{\mu }_i{\xi }_i \\ s.t.y_i(w^T{x}_i+b)\ge 1-{\xi }_{i}i=1,2,\dots ,n \\ {\alpha }_i\ge 0,{\mu }_i\ge 0,{\xi }_i\ge 0 \end{gathered}$$
新的$L(w,b,\xi ,\alpha ,\mu )$同样满足Slater条件。然后应用KKT条件求解对应的原始问题和对偶问题：

$[1]L(w,b,\xi ,\alpha ,\mu )$在$w,b,\xi$三处的偏导均为$0$；
$[2]$ ${\alpha }_i(1-{\xi }_i-y_i(w^T{x}_i+b))=0,i=1,2,\dots ,n$；
$[3]$ ${\mu }_i{\xi }_i=0,i=1,2,\dots ,n$；
$[4]$ $y_i(W^T{x}_i+b)+{\xi }_i-1\ge 0,i=1,2,\dots ,n$；
$[5]$ ${\alpha }_i\ge 0,{\mu }_i\ge 0,{\xi }_i\ge 0,i=1,2,\dots ,n$；
还是和前面类似，条件$[1]$是原问题在最初的变量$w,b,\xi$上的偏导为$0$，条件$[2][3]$即不等式约束乘以对应的拉格朗日系数为$0$，条件$[4][5]$还是原问题和拉格朗日乘子法的约束。现在我们把三个偏导为$0$计算出来可以得到：
$$\begin{gathered} \sum _{i=1}^n{\alpha }_i{y}_i{x}_i=w \\ \sum _{i=1}^n{\alpha }_i{y}_i=0 \\ C={\alpha }_i+{\mu }_i \end{gathered}$$
再把三式代入$L(w,b,\xi ,\alpha ,\mu )$，其实得到的结果和前一部分得到的结果一样，只是改变了${\alpha }_i$的取值范围（因为$C={\alpha }_i+{\mu }_i$且${\mu }_i\ge 0$，所以$0\le {\alpha }_i\le C$），这里就不展开了，直接给出结果：
$$\begin{gathered} \underset{\alpha }{\max }\sum _{i=1}^n{\alpha }_i-\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j \\ s.t.0\le {\alpha }_i\le C \\ \sum _{i=1}^n{\alpha }_i{y}_i=0 \end{gathered}$$
这个式子仍然仅以$\alpha$为变量，$\alpha$与$w,b,\xi$的关系都由KKT条件给出了。到这里还没完，我们介绍的软间隔是为了优化线性不可分问题，软间隔只是优化这个问题的很多种方法之一，在SVM中还有一种常见的方法就是引入核函数（或称为核方法），这里一并介绍。
核函数的功能是通变换或映射，将在当前空间中线性不可分的样本点映射到新的空间中，使得样本点在新空间中变得线性可分。在SVM中，假设有一个映射$\varphi (x)$，使得输入样本分布的欧式空间$X$中的超曲面模型对应于一个特征空间$H$中的超平面模型，这样，分类任务就可以通过在特征空间中求解线性的支持向量机来完成。核函数$K(x,z)$是对于所有$x,z\in X$都满足条件
$$K(x,z)=\varphi (x)\cdot \varphi (z)$$
的函数。其中$\varphi (x)$是映射函数，$K(x,z)$是核函数，$\varphi (x)\cdot \varphi (z)$是$\varphi (x)$和$\varphi (z)$的内积。在机器学习中，经常只定义核函数$K(x,z)$，而不显式地定义映射函数$\varphi (x)$，直接计算$K(x,z)$比较容易，计算$\varphi (x)\cdot \varphi (z)$却不容易，而且$H$一般是高维的甚至是无穷维的。

回到前面得到的求解目标，我们用核函数$K(x_i,x_j)$代替其中的$x_i^T{x}_j$，将样本点映射到线性可分的空间中：
$$\begin{gathered} \underset{\alpha }{\max }\sum _{i=1}^n{\alpha }_i-\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_{j}K(x_i,x_j) \\ s.t.0\le {\alpha }_i\le C \\ \sum _{i=1}^n{\alpha }_i{y}_i=0 \end{gathered}$$
这就是我们最终的优化目标了。

SMO算法求解

我们在前一部分得到了加入软间隔和核函数的SVM的优化目标，这也就是最常见的SVM了。即使约去了$w,b,\xi$，这个优化目标仍然难以求解，因为$\alpha$是一个长度为$n$的向量，$D$中样本数量越多求解就越复杂。虽然是个凸优化，但是用求导、偏导为0这样的方法仍然比较难解决，复杂度太高。这里介绍一种序列最小最优化（Sequential Minimal Optimization，SMO）算法，是常见的解决这一优化目标的方法。
$$\alpha =({\alpha }_1,{\alpha }_2,...,{\alpha }_n),{\alpha }_i\ge 0$$
SMO算法是一种启发式算法，它的基本思路是：如果所有变量的解都满足此最优化问题的KKT条件，那么这个最优化问题的解就得到了。SMO重复以下步骤直到收敛：从$\alpha$中选取两个待更新的变量${\alpha }_i,{\alpha }_j$，固定其他值，构建一个二次规划的子问题；求解子问题，获得更新后的${\alpha }_i,{\alpha }_j$。因为这个子问题是可以通过解析方法求解的，所以大大提高了算法计算效率。子问题的两个变量，一个变量选违反KKT条件最严重的一个，另一个是可变化幅度最大的。这样SMO算法就不断将问题分解为对子问题的求解。

为了不失一般性，假设我们现在选取了两个变量${\alpha }_1,{\alpha }_2$，其他变量${\alpha }_3,\dots ,{\alpha }_n$都是固定的。根据约束条件${\sum }_{i=1}^n{\alpha }_i{y}_i=0$可知，${\alpha }_1{y}_1+{\alpha }_2{y}_2$的值其实也是固定的。我们假设${\alpha }_1,{\alpha }_2$原本的值为${\alpha }_1^{o}ld,{\alpha }_2^{o}ld$，更新后的值为${\alpha }_1^{n}ew,{\alpha }_2^{n}ew$，则有：
$${\alpha }_1^{new}{y}_1+{\alpha }_2^{new}{y}_2={\alpha }_1^{old}{y}_1+{\alpha }_2^{old}{y}_2=-\sum _{i=3}^n{\alpha }_i{y}_i=\varsigma$$
$\varsigma$是一个常数。原优化目标可以写为：
$$\begin{gathered} \underset{\alpha }{\min }\sum _{i=1}^n{\alpha }_i-\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_{j}K(x_i,x_j) \\ s.t.0\le {\alpha }_i\le C \\ \sum _{i=1}^n{\alpha }_i{y}_i=0 \end{gathered}$$
我们去掉优化目标中与${\alpha }_1$,${\alpha }_2$无关的项可得到：
$$\begin{gathered} \underset{{\alpha }_1,{\alpha }_2}{\min }\frac{1}{2}{K}_{11}{\alpha }_1^2+\frac{1}{2}{K}_{22}{\alpha }_2^2+K_{12}{\alpha }_1{\alpha }_2{y}_1{y}_2+{\alpha }_1{y}_1\sum _3^n{\alpha }_i{y}_i{K}_{i1}+{\alpha }_2{y}_2\sum _3^n{\alpha }_i{y}_i{K}_{i2}-({\alpha }_1+{\alpha }_2) \\ s.t.{\alpha }_1{y}_1+{\alpha }_2{y}_2=\varsigma ,0\le {\alpha }_1,{\alpha }_2\le C \end{gathered}$$
其中$K_{ij}$表示$K(x_i,x_j)$。然后用${\alpha }_2$表示${\alpha }_1$：
$$\begin{gathered} {\alpha }_1{y}_1+{\alpha }_2{y}_2=\varsigma \\ {\alpha }_1{y}_1{y}_1+{\alpha }_2{y}_2{y}_1=\varsigma y_1={\alpha }_1+{\alpha }_2{y}_1{y}_2 \\ {\alpha }_1=y_1(\varsigma -{\alpha }_2{y}_2) \end{gathered}$$
然后再把${\alpha }_1$也约去，只留下${\alpha }_2$：
$$\underset{{\alpha }_2}{\min }\frac{1}{2}{K}_{11}(\varsigma -{\alpha }_2{y}_2{)}^2+1/2K_{22}{\alpha }_2^2+K_{12}(\varsigma -{\alpha }_2{y}_2){\alpha }_2{y}_2+(\varsigma -{\alpha }_2{y}_2)v_1+{\alpha }_2{y}_2{v}_2-{\alpha }_2-y_1(\varsigma -{\alpha }_2{y}_2)$$
其中：
$$\begin{gathered} v_1=\sum _3^n{\alpha }_i{y}_i{K}_{1i} \\ {v}_2=\sum _3^n{\alpha }_i{y}_i{K}_{2i} \end{gathered}$$
上式对${\alpha }_2$ 求导并令导数为$0$得：
$$\begin{gathered} {\alpha }_2(K_{11}+K_{22}-2K_{12})=y_2(y_2-y_1+\varsigma K_{11}-\varsigma K_{12}+v_1-v_2) \\ =y_2(y_2-y_1+\varsigma K_{11}-\varsigma K_{12}+(g(x_1)-\sum _1^2{\alpha }_i{y}_i{K}_{1i}-b)-(g(x_2)-\sum _1^2{\alpha }_i{y}_i{K}_{2i}-b) \\ g(x)=\sum _1^n{\alpha }_i{y}_{i}K(x,x_i)+b \end{gathered}$$
那么再将${\alpha }_1^{old}{y}_1+{\alpha }_2^{old}{y}_2=-{\sum }_{i=3}^n{\alpha }_i{y}_i=\varsigma$代进来，得到：
$$\begin{gathered} {\alpha }_2^{new,unc}(K_{11}+K_{22}-2K_{12})=y_2((K_{11}+K_{22}-2K_{12}){\alpha }_2^{old}{y}_2+y_2-y_1+g(x_1)-g(x_2)) \\ =(K_{11}+K_{22}-2K_{12}){\alpha }_2^{old}+y_2(E_1-E_1) \\ {E}_i=g(x_i)-y_i \end{gathered}$$
这里就可以得到：
$${\alpha }_2^{new,unc}={\alpha }_2^{old}+\frac{y_2(E_1-E_2)}{K_{11}+K_{22}-2K_{12}}$$
这个得到的新的${\alpha }_2^{new}$还需要再根据取值范围再做调整，因此标记为"new,unc(lliped)"。这里可能有读者会疑惑为什么一会儿是${\alpha }_2^{new}$一会儿是${\alpha }_2^{old}$，解释一下，前面已经得到了唯一的关于${\alpha }_2$ 的式子，这个式子的解就是${\alpha }_2^{new,unc}$，但是我们在解的过程中引入了$g(x)$，通过$g(x)$引入的就是${\alpha }_2^{old}$。
因为约束条件比较多，解出来的结果${\alpha }_2^{new,unc}$未必满足约束，所以我们考虑一下${\alpha }_2$ 的取值范围。假设$L\le {\alpha }_2\le H$，$L,H$需要计算。

图4 $α_2$取值范围的确定

首先至少$0\le {\alpha }_1,{\alpha }_2\le C$必须满足。前面已经得到${\alpha }_1{y}_1+{\alpha }_2{y}_2=\varsigma$，注意$y_1,y_2$的值要么是$+1$要么是$-1$。考虑两种情况：

$[1]$ 若$y_1!=y_2,{\alpha }_1-{\alpha }_2=\varsigma$，即可画出图4的左侧图，上下两条斜线分别对应$\varsigma$为负和为正的情况，此时$L=max(0,-\varsigma ),H=min(C,C-\varsigma )$
$[2]$ 若$y_1=y_2,{\alpha }_1+{\alpha }_2=\varsigma$，即可画出图4的右侧图，上下两条斜线分别对应$\varsigma$大于$C$和小于$C$的情况，此时$L=max(0,\varsigma -C),H=min(C,\varsigma )$
这样我们就得到了$L,H$的值。

根据得到的取值范围我们再调整前面算出的${\alpha }_2^{new,unc}$，得到${\alpha }_2^{new,clipped}$：
$${\alpha }_2^{new,clipped}=\{\begin{array}{rlr}& H,& if{\alpha }_2^{new,unc}>H\\ & {\alpha }_2^{new,unc},& ifL\le {\alpha }_2^{new,unc}\le H\\ & L,& if{\alpha }_2^{new,unc}<L\end{array}$$

这样就解决了${\alpha }_2$的更新问题，进而解决了${\alpha }_1$的更新。

我们还需要介绍${\alpha }_1$和${\alpha }_2$的选择方法。前面说SMO算法每次选取两个变量时，一个变量选择违反KKT条件最严重的，另一个变量是可变化幅度最大的。这里再细化一下具体怎样操作。

首先是怎样选取第一个变量${\alpha }_1$，这个选取过程是SMO算法的外层循环。顺序是，首先遍历所有$0<{\alpha }_i<C$的点，即支持向量，检验它们是否满足KKT条件，如果不满足则被选出，如果满足，则检验其他点。

然后是怎样选取第二个变量${\alpha }_2$，标准是希望${\alpha }_2$有足够大的变化。前面已经计算出，变化幅度依赖于$|E_1-E_2|$，${\alpha }_1$确定后$E_1$就确定下来了，如果$E_1$为正就选择最小的$E_i$为$E_2$，如果$E_1$为负就选最大的$E_i$为$E_2$。为了加快速度，所有的$E_i$都被保存在一个列表中供随时查取。

在每次选取并更新完${\alpha }_1,{\alpha }_2$后，都需要重新计算$b$。由KKT条件$w={\sum }_{i=1}^n{\alpha }_i{y}_i{x}_i$，加入核函数并代入$y=w^{T}x+b$可知：
$$\sum _1^n{\alpha }_i{y}_{i}K(x,x_i)+b=y$$
则有：
$$b_1^{new}=y_1-\sum _3^n{\alpha }_i{y}_i{K}_{1i}-{\alpha }_1^{new}{y}_1{K}_{11}-{\alpha }_2^{new}{y}_2{K}_{12}$$
由于$E_i=g(x_i)-y_i={\sum }_1^n{\alpha }_i{y}_{i}K(x,x_i)+b-y_i$，得：
$$y_1-\sum _3^n{\alpha }_i{y}_i{K}_{1i}=-E_i+{\alpha }_1^{old}{y}_1{K}_{11}+{\alpha }_2^{old}{y}_2{K}_{12}+b_1^{old}$$
也就是说：
$$\begin{gathered} b_1=b-E_1-y_1({\alpha }_1^{new}-{\alpha }_1^{old})K_{11}-y_2({\alpha }_2^{new}-{\alpha }_2^{old})K_{12} \\ {b}_2=b-E_2-y_1({\alpha }_1^{new}-{\alpha }_1^{old})K_{11}-y_2({\alpha }_2^{new}-{\alpha }_2^{old})K_{12} \end{gathered}$$
一般的更新原则是：
$$b=\{\begin{array}{rlr}& b_1,& if0<{\alpha }_1^{new}<C\\ & b_2,& if0<{\alpha }_2^{new}<C\\ & \frac{b_1+b_2}{2},& otherwise\end{array}$$

SVM小结

到这里我们就完成了SVM的介绍，这部分做个总结。
支持向量机SVM的核心思想就是寻找超平面分开不同类的点，并使得支持向量到超平面的距离最大化，超平面仅与支持向量有关。最简单的情况是线性可分支持向量机，条件是数据线性可分。为了处理非线性分布的数据，我们介绍了软间隔概念并引入核函数。在求解过程中，我们首先使用拉格朗日乘子法得到拉格朗日函数这个原问题，又证明了它与所谓的原始问题等价，满足Slatter条件表明原始问题与对应的的对偶问题和原问题的最值存在且相等，并且把前两者的解放在一起就是原问题的解。利用KKT条件我们得到了$w,b$与$\alpha$的关系，简化了计算。SMO算法通过迭代地选择最不符合KKT条件的点和变化幅度最大的点，以及更新b值，加快了运算速度，解决了问题。
经典SVM仅面向二分类问题，要解决多分类问题需要构建多个SVM来完成，而且经典SVM不能给出分类准确率。SVM算法复杂度较高，在大规模样本量上难以快速训练。它的主要优点是，对异常点不敏感，增删非支持向量对模型无影响，在小样本数据上表现良好。