求解SVM---SMO算法

 

支持向量机的学习可以形式化为凸二次规划问题，这种凸二次规划问题一般采用序列最小优化（sequential minimal optimization, SMO）算法. SMO算法解决SVM的对偶问题：

       

SMO算法是一种启发式的算法，基本思路是：如果所有变量的解都满足此最优化问题的KKT条件，那么这个最优化为题的解就找到了。算法大致流程为：选择两个变量和，固定其他变量，其中为违反KKT条件最严重的一个，另一个由约束条件自动确定；针对这两个变量构建一个二次规划问题，则和可通过解析解直接求出；更新b；迭代上述过程直至满足条件。

每次迭代的算法流程如下所述：

1. 选择两个变量和，其中违反KKT条件

• 1.1 检验训练样本点是否满足KKT条件，即：

            

                 

            

             其中，

            

• 1.2 选择使得最大的变量为。

2. 求出和

• 2.1 计算的下限和上限：

            

            

• 2.2 计算无上下限约束时的

            

             其中，

            

             

• 2.3 更新和

             

             

3. 计算阈值和差值

• 3.1 计算b

             

                        

             

                        

              如果同时满足上述条件，则。

              如果是0或者C，那么和以及它们之间的数都是符合KKT条件的阈值，这时选择中点作为。

• 3.2 更新

            

对于线性可分支持向量机（硬间隔）、线性支持向量机（软间隔）、线性不可分支持向量机，SMO求解过程都是相同的，只不过KKT条件不同。SMO的特点是不断地将原来的二次规划问题分解为只有两个变量的二次规划子问题，并对子问题进行解析求解，直到所有变量都满足KKT条件位置。因为子问题有解析解，所以求解过程很快，总体也叫高效。

参考文献：《统计学习方法》 李航