【机器学习算法】支持向量机SVM

线性可分

  在二维平面中，正样本和负样本可以由一条直线完全隔开。假设存在直线$y={\omega }_{1}x+b$使得平面上${\omega }_{1}x+b\ge 0$处完全是正样本，${\omega }_{1}x+b<0$完全是负样本，那么这条直线就是一个超平面，它将样本完全分开，并且这样的样本被称为线性可分。

超平面

  超平面是推广到n维空间后的概念，在一维空间下，超平面就是一个点；在二维空间下，超平面就是一条直线；在三维平面下，超平面就是一个平面；…推广到n维情况，则统称为超平面

支持向量机

  在二维平面上，对于一组线性可分的数据，往往可以找到很多条直线作为超平面。支持向量机可以在这若干条直线中，找出最合适的一条直线作为决策边界。如何判断直线足够合适呢？对于一个决策边界，我们希望他能够具有较好的泛化能力。假如正样本均匀分布在y=0的直线上，负样本均匀分布在存在于y=9的直线上。假设我们取y=1，y=5，y=8作为超平面，从直觉上来讲，y=1，y=8两条直线都离一组样本过近，离另外一组样本过远，因此这两条直线都不合适。而y=5作为y=0和y=9的垂线，对于正样本和负样本都留有一定的余地，这使得模型的泛化能力变强。当出现一些噪声，比如y=2上出现了正样本，y=7上出现了负样本的情况，y=5都能够将其归为正确的分类。当然，并不是所有的样本都如我们期望的那样线性可分。
  总的来说，支持向量机（support vector machines）可以分为以下三种：

1. 当训练样本线性可分时，通过硬间隔最大化，学习一个线性可分SVM。
2. 当训练样本近似线性可分时，通过软间隔最大化，学习一个线性SVM。
3. 当训练样本线性不可分时，通过核技巧和软间隔最大化，学习一个非线性支持向量机。

算法推导

几何间隔

  在超平面确定的情况下，$|\omega x+b|$表示点到超平面的距离，而函数最终预测输出的y（1和-1）与$\omega x+b$ 符号一致，因此可用$y(\omega x+b)$来表示分类预测的准确程度。定义所有样本点最小的$y(\omega x+b)$作为函数间隔，
  根据高中的知识，我们知道点到直线的距离公式为$d=|\frac{a{x}_0+b{y}_0+c}{\sqrt{a^2+b^2}}|$，点到平面的距离公式为$d=|\frac{A{x}_0+B{y}_0+C{z}_0+D}{\sqrt{A^2+B^2+C^2}}|$，如果用向量表示，设$\omega =(a,b)$,$f(x)={\omega }^{T}x+c$，那么这个距离正是$\frac{|f(x)|}{||\omega ||}$。

支持向量

  我们知道对于一个超平面恒有
$$y_i(w{x}_i+b)>0$$
  则我们一定可以找到一个最小值$r$令
$$y_i(w{x}_i+b)=r$$
  对于$wx+b$和$2wx+2b$来说，对应的是相同的超平面，我们不妨令r=1，尽管最小值可能不是1，我们也可以通过缩放操作令其等于1，这样我们实际上也对w做了限制，使我们能够找到特定的解而不是无数解。
  满足$y({\omega }^{T}x+b)=1$的样本点我们称之为支持向量。因为它们是撑开超平面的并且离超平面最近的点。对于其他不是支持向量的点，显然有$y({\omega }^{T}x+b)>1$。
  令$x_{+}$和$x_{-}$表示两个正负支持向量，满足$y({\omega }^{T}x+b)=1$，推出$\{\begin{array}{l}{\omega }^T{x}_{+}=1-b\\ {\omega }^T{x}_{-}=-1-b\end{array}$。对于一正一负两个支持向量的间隔等于两个支持向量的差在$\omega$上的投影,即
$$\gamma =\frac{x_{+}\cdot {\omega }^T}{||\omega ||}-\frac{x_{-}\cdot {\omega }^T}{||\omega ||}=\frac{x_{+}\cdot {\omega }^T-x_{-}\cdot {\omega }^T}{||\omega ||}=\frac{1-b+(1+b)}{||\omega ||}=\frac{2}{||\omega ||}$$。因此，我们的目标就是最大化这个间隔，也就是
$$\underset{w,b}{\max }\frac{2}{||\omega ||},s.t.y_i({\omega }^T{x}_i+b)\ge 1(i=1,2,...,m)$$
最大化$\frac{2}{||\omega ||}$相当于最小化$||\omega ||$，为了计算方便，将上述式子转化为
$$\underset{w,b}{\min }\frac{1}{2}||\omega |{|}^2,s.t.y_i({\omega }^T{x}_i+b)\ge 1(i=1,2,...,m)..................(1)$$

对偶问题

  该问题的拉格朗日函数可以写为:
$$L(\omega ,b,a)=\frac{1}{2}||\omega |{|}^2+\sum _{i=1}^m{a}_i(1-y_i({\omega }^T{x}_i+b)).....................(2)$$
  公式(1)等价于求解$\underset{w,b}{\min }(\underset{a_n\ge 0}{\max }L(w,b,a))$，考虑两种情况：

• 如果某个b，w不符合原始问题的条件，即某个$1-y_i({\omega }^T{x}_i+b)>0$，则内部的max操作会将a推向无穷大，在min操作中会被淘汰。
• 如果某个b，w满足原始问题的约束，则内部max会将所有的a推向0，在外部的min操作中就会取得满足条件的b，w中目标函数最小的组合。

对于一个确定的a’，根据$max\ge any$，有
$$\underset{w,b}{\min }(\underset{a_n\ge 0}{\max }L(w,b,a))\ge \underset{w,b}{\min }L(w,b,a^{\prime })$$
因为对于a’都有上式成立，所以
$$\underset{w,b}{\min }(\underset{a_n\ge 0}{\max }L(w,b,a))\ge \underset{a_n\ge 0}{\max }(\underset{w,b}{\min }L(w,b,a^{\prime }))$$
  上式被称作是弱对偶关系，当等号成立时称为强对偶关系。什么时候会是强对偶关系呢？我们先将其对偶问题写出来：
$$\underset{a_n\ge 0}{\max }(\underset{w,b}{\min }L(w,b,a^{\prime }))$$
  当原问题和对偶具有强对偶关系的充要条件是它们满足KKT条件。该拉格朗日函数式子的KKT条件为：
$$\{\begin{array}{l}\frac{\partial L}{\partial w}=0,\frac{\partial L}{\partial b}=0,\frac{\partial L}{\partial a}=0\\ a_i\ge 0\\ 1-y_i({\omega }^T{x}_i+b)\le 0\\ a_i(1-y_i({\omega }^T{x}_i+b))=0\end{array}$$
  公式(2)分别对$\omega$和b求偏导得到：
$$\{\begin{array}{l}\frac{\partial L}{\partial \omega }=\omega -\sum _{i=1}^m{a}_i{y}_i{x}_i\\ \frac{\partial L}{\partial b}=\sum _{i=1}^m{a}_i{y}_i\end{array}$$
  分别令偏导为0，得到
$$\{\begin{array}{l}\omega =\sum _{i=1}^m{a}_i{y}_i{x}_i..........(3)\\ \sum _{i=1}^m{a}_i{y}_i=0..............(4)\end{array}$$
  由于并没有出现$b$，因此我们还需要看一下b怎么求。对于KKT条件，可以发现只有支持向量上的点$x_k$满足
$$1-y_k({\omega }^T{x}_k+b)=0$$
  而除了支持向量以外的点，其参数a都为0。对上式进行同乘$y_i$并化简，就得到了求b的公式
$$b=y_k-{\omega }^T{x}_k=y_k-\sum _{i=1}^m{a}_i{y}_i{x}_i^T\cdot x_k...........(5)$$
  将公式(3)和(4)代入(2)中得到
$$\begin{array}{rl}L(\omega ,b,a)& =\frac{1}{2}{\omega }^T\omega +\sum _{i=1}^m{a}_i-\sum _{i=1}^m{a}_i{y}_i({\omega }^T{x}_i+b)\\ & =\frac{1}{2}{\omega }^T\omega +\sum _{i=1}^m{a}_i-{\omega }^T\sum _{i=1}^m{a}_i{y}_i{x}_i-b\sum _{i=1}^m{a}_i{y}_i\\ & =\frac{1}{2}{\omega }^T\sum _{i=1}^m{a}_i{y}_i{x}_i+\sum _{i=1}^m{a}_i-{\omega }^T\sum _{i=1}^m{a}_i{y}_i{x}_i-b\cdot 0\\ & =\sum _{i=1}^m{a}_i-\frac{1}{2}{\omega }^T\sum _{i=1}^m{a}_i{y}_i{x}_i\\ & =\sum _{i=1}^m{a}_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{a}_i{a}_j{y}_i{y}_j{x}_i{x}_j\\ & s.t.\sum _{i=1}^m{a}_i{y}_i=0,a_i\ge 0,i=1,2,...m\end{array}$$
  于是我们得到了只包含变量a的表达式，从上面的式子可以得到
$$\begin{gathered} \underset{a}{\max }\sum _{i=1}^m{a}_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{a}_i{a}_j{y}_i{y}_j{x}_i{x}_j......(6) \\ s.t.\sum _{i=1}^m{a}_i{y}_i=0,a_i\ge 0,i=1,2,...m \end{gathered}$$
  通过求解公式(6)得到a后，并回代得到$\omega$和b，我们最终可以到超平面：
$$f(x)={\omega }^{T}x+b=\sum _{i=1}^m{a}_i{y}_i{x}_i^{T}x+b..........(7)$$
  结合式子(2)以及KKT条件，可以知道对于任意的训练样本$(x_i,y_i)$，若$a_i=0$，则其不会在(6)中出现， 也不会在求b和w的公式中出现，不影响模型训练。若$a_i>0$，则$y_i({\omega }^T{x}_i+b)=1$，即该样本一定是支持向量。不难发现，最终模型只与支持向量有关；

非线性SVM

  对于非线性的问题，上面的SVM并不能够有效解决，必须用到非线性模型才可以分类。对于二维平面上散落的点，我们不一定能够用一条直线就将其分开，比如圆形、椭圆形、矩形或其他不规则的决策边界。对于这样的问题，我们可以将训练样本映射到一个更高的维度，并且在这个高维度中样本是线性可分的，这样我们就又可以用回前面的公式。
  想象一个平面上分散着线性不可分的样本点，一个高手一拍桌子，样本点飞上了天空，并且刚好有一个平面可以将正样本和负样本隔开。令${\varphi }_{(}x)$表示将x映射到高维空间后的特征向量，于是在特征空间中，模型变为
$$f(x)={\omega }^T\varphi (x)+b..........(8)$$
  最小化函数为：
$$\underset{w,b}{\min }\frac{1}{2}||\omega |{|}^2,s.t.y_i({\omega }^T\varphi (x_i)+b)\ge 1(i=1,2,...,m)...............(9)$$
  其对偶问题变为：
$$\begin{gathered} \underset{a}{\max }\sum _{i=1}^m{a}_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{a}_i{a}_j{y}_i{y}_j\varphi (x_i{)}^T\varphi (x_j).........(10) \\ s.t.\sum _{i=1}^m{a}_i{y}_i=0,a_i\ge 0,i=1,2,...m \end{gathered}$$
  若要计算，由于样本已经被映射到高维空间，如果要计算高维度的$\varphi (x_i{)}^T\varphi (x_j)$通常是困难的，于是我们想利用样本在原特征空间下，通过某个函数$K(x_i,x_j)$得到其在高维空间下的內积。则式子(10)变为
$$\begin{gathered} \underset{a}{\max }\sum _{i=1}^m{a}_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{a}_i{a}_j{y}_i{y}_{j}K(x_i,x_j).........(11) \\ s.t.\sum _{i=1}^m{a}_i{y}_i=0,a_i\ge 0,i=1,2,...m \end{gathered}$$
求解后得到
$$\begin{array}{rl}f(x)& ={\omega }^T\varphi (x)+b\\ & =\sum _{i=1}^m{a}_i{y}_i\varphi (x_i{)}^T\varphi (x_j)+b(12)\\ & =\sum _{i=1}^m{a}_i{y}_{i}K(x_i,x_j)+b\end{array}$$

核函数

  上面提到的$K(x_i,x_j)$，其实就是核函数，它用来映射原始样本$x_i,x_i$在高维特征空间下的內积，从而避免了直接在高维空间中进行计算。由于核函数的构造较为复杂，因此人们通常从一些常用的核函数中选择，而不是自己构造。一些常用的核函数如下：

• 线性核：$K(x_i,x_j)=x_i^T{x}_j$
• 多项式核：$K(x_i,x_j)=(x_i^T{x}_j{)}^d$(d是多项式的次数，d=1时为线性核)
• 高斯核：$K(x_i,x_j)=exp(\frac{||x_i-x_j|{|}^2}{2{\sigma }^2}),(\sigma >0)$
• 拉普拉斯核：$K(x_i,x_j)=exp(\frac{||x_i-x_j||}{\sigma }),(\sigma >0)$
• Sigmoid核：$K(x_i,x_j)=tanh(\beta x_i^T{x}_j+\theta ),(\beta >0,\theta >0)$

松弛变量

  当样本是线性不可分的时候，往往需要映射到高维空间内计算。但有时仅仅只是因为数据有噪音，比如说，有一两个噪声，偏离了正常的位置。这些噪声如果作为支持向量的话，超平面将不得不变得偏离，间隔也会变小。如果我们能够允许数据点在一定程度上偏离超平面，这样我们依旧能够得到较好的超平面。因此我们定义一个变量$${\xi }_i=1-y_i({\omega }^T{x}_i+b)$$，使得约束条件变为：
$$y_i({\omega }^T{x}_i+b)\ge 1-{\xi }_i,i=1,2,...,n$$
  ${\xi }_i$称为松弛变量，是样本$x_i$允许偏移的量。当$\xi$很大时，任意的超平面都符合条件。所以在目标函数加上一项，使得$\xi$的总和也要最小，新的优化目标为
$$\begin{gathered} min\frac{1}{2}||\omega |{|}^2+C\sum _{i=1}^m{\xi }_i(13) \\ s.t.y_i({\omega }^T{x}_i+b)\ge 1-{\xi }_i,i=1,2,...m \\ {\xi }_i\ge 0,i=1,2,...m \end{gathered}$$
  其中C作为惩罚参数，当C很大时，对分类错误的惩罚较大；当C较小时，对分类错误的惩罚较小，公式(13)要使最小间隔尽量大，误分类点尽量少，C是调和两者的权重系数。
  在式子(13)中新增的松弛变量，其实可以看做是对损失函数$$loss=max\{0,{\xi }_i\}=max\{0,1-y_i(w\cdot x_i+b)\}$$
的优化，它又被称为合页损失函数。
  当样本点被正确分类时且函数间隔$y_i(w\cdot x_i+b)$大于1时，损失是0，否则损失是$1-y_i(w\cdot x_i+b)$。相比0-1损失函数和感知机损失函数，合页损失函数不仅要正确分类，而且确信度足够高时损失才是0。也就是说，合页损失函数对学习有更高的要求。
  公式(13)的拉格朗日函数为
$$L(\omega ,b,a,\xi ,\mu )=\frac{1}{2}||\omega |{|}^2+C\sum _{i=1}^m{\xi }_i+\sum _{i=1}^m{a}_i(1-{\xi }_i-y_i({\omega }^T{x}_i+b))-\sum _{i=1}^m{\mu }_i{\xi }_i..........(14)$$
  该式子的KKT条件为：
$$\{\begin{array}{l}{a}_i\ge 0\\ 1-{\xi }_i-y_i({\omega }^T{x}_i+b)\ge 0\\ a_i(1-{\xi }_i-y_i({\omega }^T{x}_i+b))=0\\ {\xi }_i\ge 0\\ {\mu }_i\ge 0\\ {\mu }_i{\xi }_i=0\end{array}$$
  求导后令偏导数为0，得
$$\{\begin{array}{l}\omega =\sum _{i=1}^m{a}_i{y}_i{x}_i.........(15)\\ \sum _{i=1}^m{a}_i{y}_i=0.........(16)\\ \frac{\partial L}{\partial {\xi }_i}=C-a_i-{\mu }_i=0i=1,2,...m(17)\end{array}$$
  将公式(15)(16)(17)带入(14)得到
$$\begin{gathered} \underset{a}{\max }\sum _{i=1}^m{a}_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{a}_i{a}_j{y}_i{y}_j{x}_i{x}_j.............(18) \\ s.t.\sum _{i=1}^m{a}_i{y}_i=0,a_i\ge 0,{\mu }_i\ge 0,0\le a_i\le C,i=1,2,...m \end{gathered}$$

SMO算法

  那么如何求解以上公式中的a呢？这里要用到的是一种高效求解的算法SMO算法，即序列最小最优化算法。a需要满足两个条件，因此我们同时更新两个变量，保证两个基本条件可以满足。假设我们更新变量$a_1,a_2$，则其他变量$a_i(i=3,4,...m)$是固定的，令$\xi =-\sum _{i=3}^m{a}_i{y}_i$,则有$a_1{y}_1+a_2{y}_2=\xi$。优化问题的子问题变为:
$$\begin{gathered} \underset{a_1,a_2}{\min }W(a_1,a_2)=\frac{1}{2}{K}_{11}{a}_1^2+\frac{1}{2}{K}_{22}{a}_2^2+y_1{y}_2{K}_{12}{a}_1{a}_2-(a_1+a_2)+y_1{a}_1\sum _{i=3}^m{y}_i{a}_i{K}_{i1}+y_2{a}_2\sum _{i=3}^m{y}_i{a}_i{K}_{i2} \\ s.t.a_1{y}_1+a_2{y}_2=\xi ,0\le a_i\le C,i=1,2,...m \end{gathered}$$
  由于$a_1{y}_1+a_2{y}_2=\xi$等价于$\{\begin{array}{l}{a}_1+a_2=\xi \\ a_1-a_2=\xi \end{array}$。由于$a_1$和$a_2$都位于0和C之间，目标函数的约束域是以(0,0),(0,C),(C,0),(C,C)围成的正方形区域，其中存在的$a_1+a_2=\xi$和$a_1-a_2=\xi$两条直线。由条件$a_1{y}_1+a_2{y}_2=\xi ，y_i^2=1$得$a_1=(\xi -a_2{y}_2)y_1$，回代到$W(a_1,a_2)$得到只包含$a_2$的函数
$$\begin{gathered} W(a_2)=\frac{1}{2}{K}_{11}(\xi -a_2{y}_2{)}^2+\frac{1}{2}{K}_{22}{a}_2^2+y_2{K}_{12}(\xi -a_2{y}_2)a_2 \\ -(\xi -a_2{y}_2)y_1-a_2+v_1(\xi -a_2{y}_2)+y_2{v}_2{a}_2 \end{gathered}$$，
  其中
$$v_i=\sum _{j=3}^N{a}_j{y}_{j}K(x_i,x_j)=g(x)-\sum _{j=1}^2{a}_j{y}_{j}K(x_i,x_j)-b,i=1,2$$
  令
$$\begin{gathered} g(x)=\sum _{i=1}^N{a}_i{y}_{i}K(x_i,x)+b \\ {E}_i=g(x_i)-y_i=\left(\sum _{j=1}^N{a}_j{y}_{j}K(x_j,x_i)+b\right)-y_i,i=1,2 \end{gathered}$$
  其中$E_i$表示函数g(x)对输入$x_i$的预测值与真实输出$y_i$的差。
  对$W(a_2)$求导并令其为0，且$a_1^{old}{y}_1+a_2^{old}{y}_2=\xi$，$\eta =K_{11}-2K_{12}+K_{22}=(\varphi (x_1)-\varphi (x_2){)}^2$，于是得到
$$a_2^{new,unc}=a_2^{old}+\frac{y_2(E_1-E_2)}{\eta }$$
我们的目标是求在正方形内的线段上的最优值，令线段的左端点为L，右端点为H，则有$a_1,a_2$的更新值如下
$$\begin{gathered} a_2^{new}=\{\begin{array}{l}H,a_2^{new,unc}>H\\ a_2^{new,unc},L\le a_2^{new,unc}\le H\\ L,a_2^{new,unc}<L\end{array} \\ {a}_1^{new}=a_1^{old}+y_1{y}_2(a_2^{old}-a_2^{new}) \end{gathered}$$
  关于$a_1,a_2$变量的选择，SMO采用启发式选择，选择的a应该满足KKT条件，并且更新时应该最大限度地它包含三个步骤：

1. 扫描所有拉格朗日乘子，把第一个违反KKT条件的作为更新对象，令其为$a_j$；
2. 在所有不违反KKT条件的乘子中，选择使$|E_i-E_j|$最大的$a_i$。
3. 重新计算$b、E_i,E_j$。

  SMO算法的主要步骤总结如下：

1. 选择接下来要更新的一对$a_i$和$a_j$；采用启发式的方式进行选择，使目标函数最大程度接近全局最优值。
2. 将$a_i$和$a_j$进行优化，保持其他所有的$a_k(k̸=i,j)$不变。

合页损失函数

  对于线性支持向量机来说，还有另外一种解释就是最小化以下目标函数：
$$\sum _{i=1}^N[1-y_i(w\cdot x_i+b){]}_{+}+\lambda ||w|{|}^2$$
  其中第一项是经验损失，函数$$L(y(w\cdot x+b))=[1-y_i(w\cdot x_i+b){]}_{+}$$被称为合页损失函数。下标“+”表示以下函数
$$[z{]}_{+}=\{\begin{array}{ll}z,& z>0\\ 0,& z\le 0\end{array}$$
  当样本点被正确分类时且函数间隔$y_i(w\cdot x_i+b)$大于1时，损失是0，否则损失是$1-y_i(w\cdot x_i+b)$。相比0-1损失函数和感知机损失函数，合页损失函数不仅要正确分类，而且确信度足够高时损失才是0。也就是说，合页损失函数对学习有更高的要求。