支持向量机原理（二）线性支持向量机的软间隔最大化模型

        上一节当中我们对线性可分，即硬间隔情况进行了介绍，本节继续介绍一下支持向量的软间隔模型。

1.线性分类SVM面临的问题      

      我们在讨论线性支持向量机的时候，就假定数据是线性可分的，也就是说可以找到一个可行的超平面可以将数据完全分开，但是有的时候会在可分类的样本中混入异常点，我们称之为outlier,存在这种outlier导致样本不能线性可分，比如下面的这张图，本来所有的样本都是可以线性分类的，但是由于一个橙色和一个蓝色的异常点导致了我们没法按照之前的线性支持向量机中的方法来进行分类。

                                                            

                                                                               图1：混入异常点的样本

       或者还有这样一种情况，如下图所示，其中的异常点并没有那么严重的不可分，但是会严重影响预测效果，如果我们不考虑左上角的蓝色异常点，那么超平面会是图中的红线，但是由于存在这样的一个异常点，导致了我们的超平面是下图中的粗虚线，这样会严重影响我们的分类模型预测效果。

                                                             

                                                                                 图2：SVM中的outlier

2.线性分类SVM的软间隔最大化

        这里的软间隔（soft margin）是相当于上一节的硬间隔而言的，回顾一下硬间隔最大化的条件：

                                                                               

                                                                                                               (2.1)

         SVM对训练集里面的每个样本引入了一个松弛变量，使函数间隔加上松弛变量大于等于1，即：

                                                                                                                                            (2.2)

          松弛变量对应着数据点允许偏离函数间隔的量，当然也不是无限大的，每一个松弛变量都对应这一个代价，所以要在原来的目标函数后面加上一项，使得这些的总和也要最小，即得到软间隔最大化的学习条件：

                                                                       

                                                                                                     (2.3)

                                                                        

         这里的C作为惩罚参数，C越大，对误分类的惩罚越大，C越小，对误分类的惩罚越小。也就是说，我们希望尽量小，误分类的点尽可能少，用于控制目标函数中两项之间的权重，在实际应用当中，需要调参数来选择。在这里是需要优化的变量，这个目标函数的优化和上一篇线性可分的SVM方式类似，接下来就对线性分类的SVM的软间隔最大化进行学习优化。 

3.线性分类SVM的软间隔最大化目标函数的优化 

       和之前的方法类似将限制或约束条件加入到目标函数当中去，运用拉格朗日函数将原约束问题转化为无约束问题，如下：

                                                     (3.1) 

      其中均为拉格朗日系数。现在我们要优化的目标函数是：

                                                                                                                                    (3.2)

      这个优化目标同样满足KKT条件，我们可以通过拉格朗日对偶将要优化的目标转化为等价的对偶问题来求解：

                                                                                                                                     (3.3)

     先求优化函数对的极小值，然后在求拉格朗日乘子的极大值。首先来求对于的极小值，这个可以通过求偏导数来求得：

 

                                                                      

                                                                                                                                             (3.4)

                                                                      

将（3.4）式带入到（3.1）式当中消去和，得：

                                                      

                                                                    

                                                                      

                                                                     

                                                                      

                                                                      

                                                                       

                                                                                                                                  (3.5) 

          仔细观察（3.5）式，会发现这个式子和硬间隔SVM的优化目标是一样的，唯一不一样的是约束条件，现在把软间隔得优化目标写出来：

                                                                            

                                                                                                                                                            (3.6)

                                                                                            

                                                                                                

对于，可以先消去，只留下，也就是说。这就是软间隔最大化时的线性可分SVM的优化目标形式，和上一篇的硬间隔最大化的线性可分SVM相比，我们仅仅是多出来了一个约束条件，我们依然可以通过SMO算法来求上式极小化时对应的向量就可以求出和了。

 4、软间隔最大化时的支持向量

       在硬间隔最大化的时候，支持向量满足就可以了。根据KKT条件中的对偶互补条件，如果，则有，即点在支持向量上，否则如果，则有，即样本在支持向量上或者已经被正确分类了。

      类似的对于软间隔支持向量机，KKT条件是：

                                                                                                                         (3.7)

  在软间隔最大化时，稍复杂一些，因为我们每一个样本引入了松弛变量，通过下图来说明软间隔最大化时支持向量的情况，第i个点对应到类别支持向量的距离为，根据软间隔最大化时KKT条件中对偶互补条件，分类来说明一下：

     1）如果,,那么，即样本在间隔边界上或者已经被正确分类。如图中所有远离间隔边界的点。

     2）如果，那么，即点在间隔边界上。

     3）如果，说明这是一个可能比较异常的点，需要检查此时的

            i）如果，那么点被正确分类，但是却在超平面和自己的类别的间隔边界之间，比如图中的样本2和4。

           ii）如果，那么点在分离超平面上，无法被正确分类。

           iii) 如果，那么点在超平面的另一侧，也就是说，这个点不能被正常分类。如图中的样本1和3。

                                                                                             

                                                                                         图3：软间隔的支持向量

5、软间隔最大化的线性可分SVM的算法过程

     和线性可分硬间隔SVM一样，在这里我们对软间隔SVM的算法过程也做一个总结。

---

输入：线性可分的m个样本,其中的x是有多维特征的特征向量，y为二元输出，值为1或者-1。

输出：分离超平面的参数的分类决策函数。

     1）选择一个惩罚系数，构造约束优化问题

                                                       

                                                                                                                  

                                                                         

     2) 用SMO算法求出上式最大时对应的向量的值。

     3) 计算   

     4) 找出所有的S个支持向量对应的样本，通过，计算出每个向量对应的，计算出这些，所有的对应的平均值即为最终的。

     5）得到最终的分类超平面为：，最终的分类决策函数为：。

---

   下一节会继续介绍线性不可分的SVM模型以核函数。