机器学习（六）：支持向量机(SVM)

引言

    支持向量机（support vector machines,SVM）是一种二值分类模型。分类学习最基本的想法就是基于训练集在样本空间中找到一个分隔超平面（separating hyperplane），将不同类别的样本分开。但能将训练样本分开的分隔面可能有很多，我们应该努力去找哪一个呢？直观上看，应该去找位于两类训练样本‘正中间’的分隔面，即图1中的红线。

图1  线性可分支持向量机     如何寻找这条红线？我们希望找到离分隔面最近的点，确保它们离分隔面的距离尽可能远。这里点到分隔面的距离称为间隔（margin）。我们要做的就是为红线设一线性方程，用点到线的距离公式计算间隔，求出能使间隔最大化的线性方程即可求出分隔超平面。     由于寻找分隔超平面就是寻找能使间隔最大化的函数的值，介绍理论知识部分会用到求函数极值的许多数学知识，均在‘数学预备知识’中介绍，此部分只给出结论，不予证明，有此数学基础可跳过。另外，现实中很多数据并不像图1那样清晰可分，更多时候是如图2或图3所示，它们分别对应支持向量机中由简至繁的模型：线性可分支持向量机、线性支持向量机、非线性支持向量机。

图2  线性支持向量机

图3  非线性支持向量机

一、数学预备知识

无约束条件下求函数极值

1.函数极值必要条件

设函数$z=f(x,y)$在点$(x_0,y_0)$具有偏导数，且在点$(x_0,y_0)$处有极值，则有$$f_x(x_0,y_0)=0$$$$f_y(x_0,y_0)=0$$以上关于二元函数的概念，可推广到$n$元函数。
例1  某厂要用钢板做成一个体积为$2m^3$的长方体有盖水箱，问当长、宽、高各取怎样的尺寸时，才能使用料最省？
解：
设水箱的长、宽各为$x$、$y$，则其高应为$\frac{2}{xy}$，此水箱所用材料的面积$$A=2\left(xy+x\cdot \frac{2}{xy}+y\cdot \frac{2}{xy}\right)=2\left(xy+\frac{2}{y}+\frac{2}{x}\right)x>0,y>0$$下面求使上述函数取得最小值的点(x,y)，求其对x、y的一阶偏导数得$$A_x=2\left(y-\frac{2}{x^2}\right)=0$$$$A_y=2\left(x-\frac{2}{y^2}\right)=0$$解得$x=\sqrt[3]{2}$，$y=\sqrt[3]{2}$。
根据题意可知，水箱所用材料面积的最小值一定存在，并在开区域$D=\{(x,y)|x>0,y>0\}$内取得，又知函数在$D$内只有唯一的驻点$(\sqrt[3]{2},\sqrt[3]{2})$，因此可判定，当长、宽、高各取$\sqrt[3]{2}$、$\sqrt[3]{2}$、$\frac{2}{xy}=\sqrt[3]{2}$时，使用料最省。

求等式约束条件下函数极值,可用拉格朗日乘子法求解

2.拉格朗日乘子法

要找函数$z=f(x,y)$在约束条件$$s.t.\phi (x,y)=0(1)$$下的可能极值点，可以先作拉格朗日函数$$L(x,y,\lambda )=f(x,y)+\lambda \phi (x,y)$$其中$\lambda$为参数，求其对$x$与$y$的一阶偏导数，并使之为零，然后与方程(1)联立起来:$$f_x(x,y)+\lambda {\phi }_x(x,y)=0$$$$f_y(x,y)+\lambda {\phi }_y(x,y)=0$$$$\phi (x,y)=0$$由这方程组解出$x$、$y$及$\lambda$，这样得到的$(x,y)$就是函数$f(x,y)$在附加条件$\phi (x,y)=0$下的可能极值点。
$\lambda$称为拉格朗日乘子。
这方法还可以推广到自变量多于两个而条件多于一个的情形。
例如要求函数$u=f(x,y,z,t)$在约束条件$$s.t.{\phi }_1(x,y,z,t)=0,{\phi }_2(x,y,z,t)=0(2)$$下的可能极值点，可以先作拉格朗日函数$$L(x,y,z,t,{\lambda }_1,{\lambda }_2)=f(x,y,z,t)+{\lambda }_1{\phi }_1(x,y,z,t)+{\lambda }_2{\phi }_2(x,y,z,t)$$其中${\lambda }_1$、${\lambda }_2$均为参数，求其对$x$与$y$的一阶偏导数,并使之为零，然后与(2)中2个方程联立起来求解，这样得出的$(x,y,z,t)$就是函数$f(x,y,z,t)$在附加条件(2)下的可能极值点。
至于如何确定所求得的点是否为极值点，在实际问题中往往可根据问题本身的性质来判定。
例2  求表面积为$a^2$体积为最大的长方体的体积。
解:
设长方体的三棱长为$x,y,z$，则问题就是在条件$\phi (x,y,z)=2xy+2xz+2yz-a^2=0下$，求函数$V=xyz(x>0,y>0,z>0)$的最大值。作拉格朗日函数 $$L(x,y,z,\lambda )=xyz+\lambda (2xy+2xz+2yz-a^2)$$求其对$x,y,z$的偏导数，并使之为零，得到 $$yz+2\lambda (y+z)=0$$$$xz+2\lambda (x+z)=0$$$$xy+2\lambda (x+y)=0$$再与约束条件$\phi (x,y,z)$联立求解，得$x=y=z=\frac{\sqrt{6}}{6}a$，这是唯一可能的极值点，因为由问题本身可知最大值一定存在，所以最大值就在这个可能的极值点处取得。
固表面积为$a^2$体积为最大的长方体的体积为$xyz=\frac{\sqrt{6}}{36}{a}^3$。

求不等式约束条件下函数极值,可用K-T条件求解

3.库恩-塔克条件(K-T条件)

定义: 线性规划的一般形式

设$X^{\ast }$是非线性规划(4)式的极小点，且$X^{\ast }$点的所有起作用约束的梯度线性无关，则存在向量$T=({\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_n{)}^T$，使下述条件成立:

条件(5)式常简称为K-T条件，满足这个条件的点$X^{\ast }$称为库恩-塔克点(或K-T点)。
为了得出非线性规划(3)式的库恩-塔克条件,我们用

代替约束条件$h_i(X)=0$，这样即可得出(5)求解。
上式中，${\lambda }_1,{\lambda }_2,...,{\lambda }_n$称为广义拉格朗日(Lagrange)乘子。
例3  用K-T条件解下述非线性规划问题$$\min f(x)=(x-3{)}^2$$$$s.t.0\le x\le 5$$解:
先将该非线性规划问题写成以下形式$$\min f(x)=(x-3{)}^2$$$$s.t.g_1(x)=x\ge 0$$$$g_2(x)=5-x\ge 0$$写出其目标函数和约束函数的梯度: $$\nabla f(x)=2(x-3)$$$$\nabla g_1(x)=1,\nabla g_2(x)=-1$$对第一个和第二个约束条件分别引入广义拉格朗日乘子${\lambda }_1$和${\lambda }_2$，则可写出该问题的K-T条件如下: $$2(x-3)-{\lambda }_1+{\lambda }_2=0$$$${\lambda }_{1}x=0$$$${\lambda }_2(5-x)=0$$$${\lambda }_1,{\lambda }_2\ge 0$$解得${\lambda }_1=0$，${\lambda }_2=0$，$x=3$。
固函数在约束条件下的最小值为$f(3)=0$。

例4  写出下述非线性规划问题的K-T条件 $$\min f(x_1,x_2)=(x_1-3{)}^2+(x_2-2{)}^2$$$$s.t.4-x_1-x_2\ge 0$$$$x_1,x_2\ge 0$$解:
先将该非线性规划问题写成以下形式$$\min f(x_1,x_2)=(x_1-3{)}^2+(x_2-2{)}^2$$$$s.t.g_1(x_1,x_2)=4-x1-x2\ge 0$$$$g_2(x_1,x_2)=x1\ge 0$$$$g_3(x_1,x_2)=x2\ge 0$$写出其目标函数和约束函数的梯度:$$\nabla f(x_1,x_2)=(2x_1-6,2x_2-4{)}^T$$$$\nabla g_1(x_1,x_2)=(-1,-1{)}^T,\nabla g_2(x_1,x_2)=(1,0{)}^T,\nabla g_3(x_1,x_2)=(0,1{)}^T$$对三个约束条件分别引入广义拉格朗日乘子${\lambda }_1$、${\lambda }_2$和${\lambda }_3$，则可写出该问题的K-T条件如下: $$(2x_1-6,2x_2-4{)}^T-{\lambda }_1(-1,-1{)}^T-{\lambda }_2(1,0{)}^T-{\lambda }_3(0,1{)}^T=0$$分解为:$$2x_1-6+{\lambda }_1-{\lambda }_2=0$$$$2x_2-4+{\lambda }_1-{\lambda }_3=0$$$${\lambda }_1(4-x_1-x_2)=0$$$${\lambda }_2{x}_1=0$$$${\lambda }_3{x}_2=0$$$${\lambda }_1,{\lambda }_2,{\lambda }_3\ge 0$$

求不等式约束条件下函数极值,若原始问题过于复杂,可转换成对偶问题

4.拉格朗日对偶问题

1)原始问题
假设$f(x)$、$c_i(x)$、$h_j(x)$是定义在$R^n$上的连续可微函数，考虑约束条件

称此约束最优化问题为原始最优化问题或原始问题。
作广义拉格朗日函数$$L(x,\alpha ,\beta )=f(x)+\sum _{i=1}^k{\alpha }_i{c}_i(x)+\sum _{j=1}^l{\beta }_j{h}_j(x)$$其中$x=(x_1,x_2,...,x_n{)}^T\in R^n$，${\alpha }_i$和${\beta }_j$是拉格朗日乘子且${\alpha }_i\ge 0$。考虑$x$的函数:$${\theta }_p(x)=\underset{\alpha ,\beta ,{\alpha }_i\ge 0}{\max }L(x,\alpha ,\beta )$$这里下标P表示原始问题，则$${\theta }_p(x)=\underset{\alpha ,\beta ,{\alpha }_i\ge 0}{\max }f(x)+\sum _{i=1}^k{\alpha }_i{c}_i(x)+\sum _{j=1}^l{\beta }_j{h}_j(x)$$因为${\alpha }_i\ge 0$，$c_i(x)\le 0$，$h_j(x)=0$，解得${\theta }_P(x)=f(x)$。
考虑极小化问题$$\underset{x}{\min }{\theta }_p(x)=\underset{x}{\min }\underset{\alpha ,\beta ,{\alpha }_i\ge 0}{\max }L(x,\alpha ,\beta )$$它是与原始最优化问题(6)等价的，即它们有相同的解。问题${\min }_x{\max }_{\alpha ,\beta ,{\alpha }_i\ge 0}L(x,\alpha ,\beta )$称为广义拉格朗日的极小极大问题。
为了方便，定义原始问题的最优值$$p^{\ast }=\underset{x}{\min }{\theta }_p(x)$$称为原始问题的值。
2)对偶问题$${\theta }_D(\alpha ,\beta )=\underset{x}{\min }L(x,\alpha ,\beta )$$再考虑极大化${\theta }_D(\alpha ,\beta )={\min }_{x}L(x,\alpha ,\beta )$，即$$\underset{\alpha ,\beta ,{\alpha }_i\ge 0}{\max }{\theta }_D(\alpha ,\beta )=\underset{\alpha ,\beta ,{\alpha }_i\ge 0}{\max }\underset{x}{\min }L(x,\alpha ,\beta )$$问题${\max }_{\alpha ,\beta ,{\alpha }_i\ge 0}{\min }_{x}L(x,\alpha ,\beta )$称为广义拉格朗日的极大极小问题。
将拉格朗日函数的极大极小问题表示为约束最优化问题：

称为原始问题的对偶问题。
为了方便，定义对偶问题的最优值$$d^{\ast }=\underset{\alpha ,\beta ,{\alpha }_i\ge 0}{\max }{\theta }_D(\alpha ,\beta )$$称为对偶问题的值。
3)原始问题与对偶问题的关系
对原始问题(6)和对偶问题(7)，假设函数$f(x)$和$c_i(x)$是凸函数，$h_j(x)$是仿射函数，并且不等式约束$c_i(x)$是严格可行的，即存在$x$，对所有$i$有$c_i(x)<0$，则存在$x^{\ast }$、${\alpha }^{\ast }$、${\beta }^{\ast }$，使得$x^{\ast }$是原始问题的解，${\alpha }^{\ast }$、${\beta }^{\ast }$是对偶问题的解，并且$$p^{\ast }=d^{\ast }=L(x^{\ast },{\alpha }^{\ast },{\beta }^{\ast })$$$x^{\ast }$和${\alpha }^{\ast }$、${\beta }^{\ast }$分别是原始问题和对偶问题的解的充分必要条件是$x^{\ast }$、${\alpha }^{\ast }$、${\beta }^{\ast }$满足K-T条件。
例5  求下列非线性规划问题的对偶问题$$\min {x_1}^2+{x_2}^2$$$$s.t.4-x_1-x_2\le 0$$解：
该问题的拉格朗日函数为$$L(x,\alpha )={x_1}^2+{x_2}^2+\alpha (4-x_1-x_2),\alpha \ge 0$$设$f(x)={x_1}^2+{x_2}^2$，其中$x=(x_1,x_2{)}^T$。则原始问题为：$$\underset{x}{\min }f(x)=\underset{x}{\min }{\theta }_P(x)=\underset{x}{\min }\underset{\alpha ,\alpha \ge 0}{\max }L(x,\alpha )$$对偶问题为：$$\underset{\alpha ,\alpha \ge 0}{\max }{\theta }_D(\alpha )=\underset{\alpha ,\alpha \ge 0}{\max }\underset{x}{\min }L(x,\alpha )$$解${\min }_{x}L(x,\alpha )={\min }_x{x_1}^2+{x_2}^2+\alpha (4-x_1-x_2)$，求其对$x_1$、$x_2$的一阶偏导数得$$L_{x1}=2x_1-\alpha =0$$$$L_{x2}=2x_2-\alpha =0$$解得$x_1=\frac{\alpha }{2}$，$x_2=\frac{\alpha }{2}$，代入得${\min }_{x}L(x,\alpha )=-\frac{{\alpha }^2}{2}+4\alpha$
求得对偶问题为$$\underset{\alpha ,\alpha \ge 0}{\max }{\theta }_D(\alpha )=\underset{\alpha ,\alpha \ge 0}{\max }-\frac{{\alpha }^2}{2}+4\alpha$$

二、线性可分支持向量机

1.基本型

给定训练集$D=\{(x_1,y_1),(x_2,y_2),\cdots ,(x_N,y_N)\}$，$y_i\in \{-1,1\}$，分类学习最基本的想法就是基于训练集$D$在样本空间中找到一个分隔超平面，将不同类别的样本分开。
在样本空间中，分隔超平面可通过如下线性方程来描述：$$w^{T}x+b=0(8)$$其中$w=(w_1,w_2,\cdots ,w_n{)}^T$为法向量，决定了分隔面的方向，$b$为位移项，决定了分隔面与原点之间的距离。样本空间中任意点x到分隔面的距离可写为$$r=\frac{|w^{T}x+b|}{||w||}$$证明：
考虑二维空间，则(8)可表示为$w_1{x}_1+w_2{x}_2+b=0$，点$(x_1,x_2)$到线的距离为$$r=\frac{|w_1{x}_1+w_2{x}_2+b|}{\sqrt{{w_1}^2+{w_2}^2}}$$考虑三维空间，则(8)可表示为$w_1{x}_1+w_2{x}_2+w_3{x}_3+b=0$，点$(x_1,x_2,x_3)$到面的距离为$$r=\frac{|w_1{x}_1+w_2{x}_2+w_3{x}_3+b|}{\sqrt{{w_1}^2+{w_2}^2+{w_3}^2}}$$以此类推，可得$n$维空间，点$(x_1,x_2,\dots ,x_n$)到分隔面的距离为$$r=\frac{|w_1{x}_1+w_2{x}_2+\cdots +w_n{x}_n+b|}{\sqrt{{w_1}^2+{w_2}^2+\cdots +{w_n}^2}}=\frac{|w^{T}x+b|}{||w||}$$
假设分隔面能将训练样本正确分类，即对于$(x_i,y_i)\in D$，若$y_i=+1$，则有$w^{T}x+b>0$；若$y_i=-1$,则有$w^{T}x+b<0$。令

如图4所示，距离分隔面最近的这几个训练样本点（位于黑线上的点）使式(9)的等号成立，它们被称为“支持向量”，两个异类支持向量到超平面的距离（两条黑线的间隔）之和为$$\gamma =\frac{2}{||w||}$$它被称为间隔。
证明：
假设$\xi >0$且${\xi }^2=1$。
若$y_i=+1$，则有$w^{T}x+b>0$等价于$w^{T}x+b\ge \xi$，等号两边同时乘以$\xi$得$\xi w^{T}x+\xi b\ge 1$；
若$y_i=-1$，则有$w^{T}x+b<0$等价于$w^{T}x+b\le -\xi$，等号两边同时乘以$\xi$得$\xi w^{T}x+\xi b\le -1$；
即若分隔面能将训练样本正确分类，则总存在缩放变换$\xi w\to w^{\prime }$和$\xi b\to b^{\prime }$使式(9)成立。

图4

欲找到具有“最大间隔”的分隔面，也就是要找到能满足式(9)中约束的参数$w$和$b$，使
得$\gamma$最大，即

显然为了最大化间隔，仅需要最大化$||w|{|}^{-1}$，这等价于最小化$||w|{|}^2$，于是式(10)可重写为

这就是支持向量机的基本型。

2.对偶问题

基本型的对偶问题为：

证明：
基本型的拉格朗日函数为$$L(w,b,\alpha )=\frac{||w|{|}^2}{2}+\sum _{i=1}^n{\alpha }_i\left(1-y_i(w^T{x}_i+b)\right),i=1,2,...,n$$其中$\alpha =({\alpha }_1,{\alpha }_2,...,{\alpha }_n)$，设$f(w,b)=\frac{||w|{|}^2}{2}$，则原始问题为$$\underset{w,b}{\min }f(w,b)=\underset{w,b}{\min }{\theta }_P(w,b)=\underset{w,b}{\min }\underset{\alpha ,\alpha \ge 0}{\max }L(w,b,\alpha )$$对偶问题为：$$\underset{\alpha ,\alpha \ge 0}{\max }{\theta }_D(\alpha )=\underset{\alpha ,\alpha \ge 0}{\max }\underset{w,b}{\min }L(w,b,\alpha )$$要求对偶问题，先求$mi{n}_{w,b}L(w,b,\alpha )$，即求$L(w,b,\alpha )$对$w$和$b$的一阶偏导数并使之为零$$L_w=w-\sum _{i=1}^n{\alpha }_i{y}_i{x}_i=0$$$$L_b=-\sum _{i=1}^n{\alpha }_i{y}_i=0$$解得$$w=\sum _{i=1}^n{\alpha }_i{y}_i{x}_i(13)$$$$0=\sum _{i=1}^n{\alpha }_i{y}_i(14)$$将(13)代入拉格朗日函数$L(w,b,\alpha )$，并利用(14)得

已知$mi{n}_{w,b}L(w,b,\alpha )$则可得对偶问题(12)

3.利用对偶问题求解$w$和$b$

设${\alpha }^{\ast }=({{\alpha }_1}^{\ast },{{\alpha }_2}^{\ast },...,{{\alpha }_n}^{\ast }{)}^T$是对偶问题(12)的解，则存在下标$j$，使得${{\alpha }_j}^{\ast }>0$，并可按下式求得原始问题(11)的解$w^{\ast }$、$b^{\ast }$得$$w^{\ast }=\sum _{i=1}^n{\alpha }_i{y}_i{x}_i(15)$$$$b^{\ast }=y_i-\sum _{i=1}^n{\alpha }_i{y}_i{x_i}^T{x}_j(16)$$
证明：
$w^{\ast }$、$b^{\ast }$和${\alpha }^{\ast }$分别是原始问题和对偶问题的解的充分必要条件是$w^{\ast }$、$b^{\ast }$、${\alpha }^{\ast }$满足K-T条件。
先将(11)式写成以下形式：$$\underset{w,b}{\min }f(w,b)=\frac{||w|{|}^2}{2}$$$$s.t.g_i(w,b)=y_i(w^T{x}_i+b)-1\ge 0,i=1,2,...,n$$写出其目标函数和约束函数的梯度：$$\nabla f(w,b)=(||w||,0{)}^T,\nabla g_i(w,b)=(x_i{y}_i,y_i{)}^T$$对$n$个约束条件分别引入广义拉格朗日乘子${\alpha }_1,{\alpha }_2,...,{\alpha }_n$，则可写出该问题的K-T条件如下：$$(||w||,0{)}^T-\sum _{i=1}^n{\alpha }_i(x_i{y}_i,y_i{)}^T=0$$将上式分解为: $$||w||=\sum _{i=1}^n{\alpha }_i{x}_i{y}_i=0$$$$-\sum _{i=1}^n{\alpha }_i{y}_i=0$$$${\alpha }_i(y_i(w^T{x}_i+b)-1)=0$$$${\alpha }_i\ge 0,i=1,2,...,n$$由此解得式(15)
其中至少有一个${{\alpha }_j}^{\ast }>0$（用反证法，假设${\alpha }^{\ast }=0$，由式(15)可知$w^{\ast }=0$，而$w^{\ast }=0$不是原始问题(11)的解，产生矛盾），对此$j$有$$y_j(w^{\ast }{x}_j+b^{\ast })-1=0(17)$$注意到${y_j}^2=1$，将(17)两边同时乘以$y_j$，将式(15)代入即得式(16)
综上所述，对于给定的线性可分训练数据集，可以先求对偶问题(12)的解${\alpha }^{\ast }$，再利用式(15) (16)求得原始问题的解$w^{\ast }$和$b^{\ast }$，从而得到分隔超平面的线性方程。这种算法称为线性可分支持向量机的对偶算法，是线性可分支持向量机学习的基本算法。

三、线性支持向量机

1.基本型

在前面的讨论中，我们一直假定训练样本是线性可分的，即存在一个分隔面能将不同类的样本完全划分开。然而在现实任务中，往往存在一些异常点。线性不可分意味着某些样本点$(x_i,y_i)$不能满足函数间隔大于等于1的约束条件，如图5绿色框中的两个样本点。为了解决这个问题，可以对每个样本点$(x_i,y_i)$引进一个松弛变量${\xi }_i\ge 0$，使函数间隔加上松弛变量大于等于1，这样，约束条件变为$$y_i(w^T{x}_i+b)+{\xi }_i\ge 1$$目标函数由原来的$mi{n}_{w,b}\frac{||w|{|}^2}{2}$变成$$\underset{w,b,\xi }{\min }\frac{||w|{|}^2}{2}+C\sum _{i=1}^n{\xi }_i(18)$$这里$C>0$称为惩罚参数，一般由应用问题决定，$C$值大时对误分类的惩罚增大，$C$值小时对误分类的惩罚减小。最小化目标函数(18)包含两层含义：使$\frac{||w|{|}^2}{2}$尽量小即间隔尽量大，同时使误分类点的个数尽量小。至此，线性支持向量机基本型如下：

图5

2.对偶问题

基本型的对偶问题为：

证明：
基本型的拉格朗日函数为$$L(w,b,\xi ,\alpha ,\mu )=\frac{||w|{|}^2}{2}+C\sum _{i=1}^n{\xi }_i+\sum _{i=1}^n{\alpha }_i\left(1-y_i(w^T{x}_i+b)-\xi \right)-\sum _{i=1}^n{\mu }_i{\xi }_i$$其中${\alpha }_i\ge 0$，${\mu }_i\ge 0$，设$f(w,b,\xi )=\frac{||w|{|}^2}{2}+C{\sum }_{i=1}^n{\xi }_i$，则原始问题为$$\underset{w,b,\xi }{\min }f(w,b,\xi )=\underset{w,b,\xi }{\min }{\theta }_P(w,b,\xi )=\underset{w,b,\xi }{\min }\underset{\alpha ,\mu }{\max }L(w,b,\xi ,\alpha ,\mu )$$对偶问题为：$$\underset{\alpha ,\mu }{\max }{\theta }_D(\alpha ,\mu )=\underset{\alpha ,\mu }{\max }\underset{w,b,\xi }{\min }L(w,b,\xi ,\alpha ,\mu )$$解${\min }_{w,b,\xi }L(w,b,\xi ,\alpha ,\mu )$，求$L(w,b,\xi ,\alpha ,\mu )$对$w$、$b$和$\xi$的一阶偏导数得$$L_w=w-\sum _{i=1}^n{\alpha }_i{x}_i{y}_i=0$$$$L_b=-\sum _{i=1}^n{\alpha }_i{y}_i=0$$$$L_{\xi }=C-{\alpha }_i-{\mu }_i=0$$解得$$w=\sum _{i=1}^n{\alpha }_i{x}_i{y}_i(21)$$$$\sum _{i=1}^n{\alpha }_i{y}_i=0(22)$$$$C-{\alpha }_i-{\mu }_i=0(23)$$将(21)代入${\min }_{w,b,\xi }L(w,b,\xi ,\alpha ,\mu )$，并利用(22)(23)求得对偶问题$$\underset{\alpha ,\mu }{\max }\sum _{i=1}^n{\alpha }_i-\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j{x_i}^T{x}_j$$$$s.t.\sum _{i=1}^n{\alpha }_i{y}_i=0$$$$C-{\alpha }_i-{\mu }_i=0(24)$$$${\alpha }_i\ge 0,i=1,2,\dots ,n$$$${\mu }_i\ge 0,i=1,2,\dots ,n$$利用等式(24)得${\mu }_i=C-{\alpha }_i$，即可消去${\mu }_i$，并将(24)的约束写成$$0\le {\alpha }_i\le C$$从而得到最终的对偶问题(20)

3.利用对偶问题求解$w$和$b$

设${\alpha }^{\ast }=({{\alpha }_1}^{\ast },{{\alpha }_2}^{\ast },...,{{\alpha }_n}^{\ast }{)}^T$是对偶问题(20)的解，若存在${\alpha }^{\ast }的$一个分量${{\alpha }_j}^{\ast }$，满足$0<{{\alpha }_j}^{\ast }<C$，则原始问题(19)的解$w^{\ast }$、$b^{\ast }$可按下式求得$$w^{\ast }=\sum _{i=1}^n{\alpha }_i{x}_i{y}_i(25)$$$$b^{\ast }=y_i=\sum _{i=1}^n{\alpha }_i{y}_i{x_i}^T{x}_j(26)$$证明：
$w^{\ast }$、$b^{\ast }$和${\alpha }^{\ast }$分别是原始问题和对偶问题的解的充分必要条件是$w^{\ast }$、$b^{\ast }$、${\alpha }^{\ast }$满足K-T条件。
先将式(19)写成以下形式：$$\underset{w,b,\xi }{\min }f(w,b,\xi )=\frac{||w|{|}^2}{2}+C\sum _{i=1}^n{\xi }_i$$$$s.t.g_i(w,b,{\xi }_i)=y_i(w^T{x}_i+b)+{\xi }_i-1\ge 0$$$$h_i(w,b,{\xi }_i)={\xi }_i\ge 0$$写出其目标函数和约束函数的梯度：$$\nabla f(w,b,\xi )=(||w||,0,C{)}^T$$$$\nabla g_i(w,b,{\xi }_i)=(x_i{y}_i,y_i,1{)}^T,\nabla h_i(w,b,{\xi }_i)=(0,0,1{)}^T$$对$2n$个约束条件分别引入广义拉格朗日乘子${\alpha }_1,{\alpha }_2,...,{\alpha }_n$和${\mu }_1,{\mu }_2,\dots ,{\mu }_n$，则可写出该问题的K-T条件如下：$$(||w||,0,C{)}^T-\sum _{i=1}^n{\alpha }_i(x_i{y}_i,y_i,1{)}^T=\sum _{i=1}^n{\mu }_i(0,0,1{)}^T=0$$将上式分解为: $$||w||-\sum _{i=1}^n{\alpha }_i{x}_i{y}_i=0$$$$-\sum _{i=1}^n{\alpha }_i{y}_i=0$$$$C-{\alpha }_i-{\mu }_i=0$$$${\alpha }_i(y_i(w^T{x}_i+b)+{\xi }_i-1)=0,i=1,2,\dots ,n$$$${\mu }_i{\xi }_i=0,i=1,2,\dots ,n$$$${\alpha }_i\ge 0,i=1,2,...,n$$$${\mu }_i\ge 0,i=1,2,...,n$$由此解得式(25)
选择一个${{\alpha }_j}^{\ast }$满足$0<{{\alpha }_j}^{\ast }<C$，对此有$$y_j(w^{\ast }{x}_j+b^{\ast })-1=0(27)$$注意到${y_j}^2=1$，将(27)两边同时乘以$y_j$，将式(25)代入即得式(26)
综上所述，对于给定的训练数据集，可以先求对偶问题(20)的解${\alpha }^{\ast }$，再利用式(25)(26)求得原始问题的解$w^{\ast }$和$b^{\ast }$，从而得到分隔超平面的线性方程。

四、非线性支持向量机

1、非线性分类问题

    一般来说，对给定的一个训练数据集，如果能用一个超曲面将数据集正确分开，则称这个问题为非线性分类问题。
    在图3中，数据点处于一个圆中，无法用直线（线性模型）将数据正确分开，但可以用一条椭圆曲线（非线性模型）将它们正确分开。
    非线性问题往往不好求解，所以希望能用线性分类问题的方法解决，所采用的方法是进行一个非线性变换，将非线性问题变换为线性问题，通过解变换后的线性问题的方法求解原来的非线性问题。

2、核函数的定义

    设X是输入空间，又称H为特征空间（希尔伯特空间），如果存在一个从X到H的映射$$\phi (x):X\to H$$使得对所有z,x∈X，函数K(x,z)满足条件$$K(x,z)=\phi (x)\cdot \phi (z)$$则称K(x,z)为核函数，φ(x)为映射函数，式中φ(x)·φ(z)为φ(x)和φ(z)的内积。
    核技巧的想法是，在学习与预测中只定义核函数K(x,z)，而不显式地定义映射函数φ。通常，直接计算K(x,z)比较容易，而通过φ(x)和φ(z)计算K(x,z)并不容易。
例6
如下图，左边椭圆方程为$$w_1(x^{(1)}{)}^2+w_2(x^{(2)}{)}^2+b=0$$定义映射$$y=\phi (x)=((x^{(1)}{)}^2,(x^{(2)}{)}^2{)}^T$$则可将椭圆变换为下图中右边的直线$$w_1{y}^{(1)}+w_2{y}^{(2)}+b=0$$根据定义可得对所有z,x∈X，核函数为$$K(x,z)=\phi (x)\cdot \phi (z)=(x^{(1)}{)}^2(z^{(1)}{)}^2+(x^{(2)}{)}^2(z^{(2)}{)}^2$$

3、核技巧在支持向量机中的应用

    我们注意到在线性支持向量机的对偶问题中，无论是目标函数还是决策函数都只涉及输入实例与实例之间的内积。在对偶问题(20)的目标函数中的内积$x_i^T{x}_j$可以用核函数$K(x_i,x_j)=x_i^T{x}_j$来代替。

4、常用核函数

五、序列最小最优化(Sequential Minimal Optimization，SMO)算法

    如何求解式(20)的解α*呢？人们通过利用问题本身的特性，提出了很多高效算法，SMO就是其中一个著名的代表，这种算法1998年由Platt提出。
    将对偶问题(20)的目标函数求极大转换为求极小，即可得到SMO算法要解的如下问题：

其中$K(x_i,x_j)={x_i}^T{x}_j$，在这个问题中，变量是拉格朗日乘子，一个变量${\alpha }_i$对应一个样本点$(x_i,y_i)$，变量的总数等于训练样本容量$N$。

1.SMO算法思路

    SMO是一种启发式算法，该算法并不直接求解对偶问题，而是从K-T条件入手，如果所有变量的解${\alpha }^{\ast }$都满足此最优化问题的K-T条件，那么这个最优化问题的解就得到了，因为K-T条件是该最优化问题的充分必要条件。具体做法如下：
    首先，初始化一个$\alpha$，此$\alpha$满足对偶问题的约束条件(29)(30)，若$\alpha$也刚好满足K-T条件，得解。然而，很多时候我们需要不断优化$\alpha$，直到$\alpha$即满足(29)(30)也满足K-T条件，以此来求得最优解。
    如何优化$\alpha$呢？
    先选择两个待优化的变量${{\alpha }_i}^{old}$和${{\alpha }_j}^{old}$（其中一个是违反K-T条件最严重的，另一个由约束条件自动确定），其他变量固定，从而构造一个新的二次规划问题，问题就变成简单的求二次函数极值。我们不太可能求解一次就让优化后的${\alpha }^{new}$满足K-T条件，但是关于优化后的${{\alpha }_i}^{new}$和${{\alpha }_j}^{new}$应该更接近原始问题的解，因为这会使得原始二次规划问题的目标函数值变得更小。
    如此，SMO算法将原问题不断分解为子问题并对子问题求解，进而达到求解原问题的目的。

2.构造两个变量的二次规划问题

不失一般性，假设选择的两个变量是${\alpha }_1$和${\alpha }_2$，其他变量${\alpha }_i$（$i=3,4,\dots ,n$）是固定的。于是(28)-(30)的子问题可以写成：

其中$K_{ij}=K(x_i,x_j)$，$i,j=1,2,\dots ,n$，$\xi$是常数。
######3.两个变量二次规划问题的求解方法
假设问题的初始解为${{\alpha }_i}^{old}$、${{\alpha }_j}^{old}$，最优解为${{\alpha }_i}^{new}$、${{\alpha }_j}^{new}$，并且假设未经剪辑（忽略约束条件(33)）时${\alpha }_2$的最优解为${{\alpha }_2}^{new,unc}$。
为了叙述简单，记$$g(x)=\sum _{j=1}^n{\alpha }_j{y}_{j}K(x,x_j)+b$$令$$E_i=g(x_i)-y_i=\left(\sum _{j=1}^n{\alpha }_i{y}_{i}K(x_i,x_j)+b\right)-y_i,i=1,2(34)$$当$i=1,2$时，$E_i$为函数$g(x)$对输入$x_i$的预测值与真实输出$y_i$之差。
则$${{\alpha }_2}^{new,unc}={{\alpha }_2}^{old}+\frac{y_2(E_1-E_2)}{K_{11}+K_{22}-2K_{12}}(35)$$求${{\alpha }_2}^{new}$得

其中当$y_1$、$y_2$异号$$L=max(0,{{\alpha }_2}^{old}-{{\alpha }_1}^{old})，H=min(C,C+{{\alpha }_2}^{old}-{{\alpha }_1}^{old})$$当$y_1$、$y_2$同号$$L=max(0,{{\alpha }_2}^{old}+{{\alpha }_1}^{old}-C)，H=min(C,{{\alpha }_2}^{old}+{{\alpha }_1}^{old})$$由${{\alpha }_2}^{new}$求得${{\alpha }_1}^{new}$是$${{\alpha }_1}^{new}={{\alpha }_1}^{old}+y_1{y}_2({{\alpha }_2}^{old}-{{\alpha }_2}^{new})(36)$$证明：
①求未经剪辑（忽略约束条件(33)）时${\alpha }_2$的最优解${{\alpha }_2}^{new,unc}$
引进记号$$v_i=\sum _{j=3}^n{\alpha }_j{y}_{j}K(x_i,x_j)=g(x_i)-\sum _{j=1}^2{\alpha }_j{y}_{j}K(x_i,x_j)+b-b$$目标函数可写成$$W({\alpha }_1,{\alpha }_2)=\frac{1}{2}{K}_{11}{{\alpha }_1}^2+$$