序列最小优化Sequential Minimal Optimization

项目地址：https://github.com/Daya-Jin/ML_for_learner/blob/master/svm/SMO.ipynb
原博客：https://daya-jin.github.io/2019/03/24/SequentialMinimalOptimization/

算法概述

在之前讲解SVM博客中，分析了SVM模型的理论基础与优化目标，并且讨论了SVM在达到最优解时的一些性质。但是前文中并没有提及SVM目标函数的优化方法，本文的目的就是讨论二次优化算法SMO用于SVM的学习。因为SMO算法涉及到的很多数学知识已超出本文范畴，某些地方只给出直接结论。

首先回顾SVM的优化目标为：

$$\begin{array}{rl}\underset{\lambda }{\min }L(\lambda )& =\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\lambda }_i{\lambda }_j{y}^i{y}^j{x}^i{x^j}^T-\sum _{i=1}^m{\lambda }_i\\ s.t.& 0\le {\lambda }_i\le C,\sum {\lambda }_i{y}^i=0\end{array}$$

为了将核函数加入进来，将目标函数中两训练样本的内积替换成核函数的形式：

$$\begin{array}{rl}\underset{\lambda }{\min }L(\lambda )& =\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\lambda }_i{\lambda }_j{y}^i{y}^j{\kappa }_{ij}-\sum _{i=1}^m{\lambda }_i\\ s.t.& 0\le {\lambda }_i\le C,\sum {\lambda }_i{y}^i=0\end{array}$$

SMO算法的核心思想是：每次只选取一对参数进行优化。假设在上述目标中，我们只令${\lambda }_a$与${\lambda }_b$为参数，其他$\lambda$为常数，那么优化问题可以写成：

$$\begin{array}{rl}\underset{{\lambda }_a,{\lambda }_b}{\min }& \frac{1}{2}{\lambda }_a^2{y^{(a)}}^2{\kappa }_{aa}+\frac{1}{2}{\lambda }_b^2{y^{(b)}}^2{\kappa }_{bb}+\frac{1}{2}{\lambda }_a{y}^a\sum _{i̸=a}{\lambda }_i{y}^i{\kappa }_{ai}+\frac{1}{2}{\lambda }_b{y}^b\sum _{i̸=b}{\lambda }_i{y}^i{\kappa }_{bi}-{\lambda }_a-{\lambda }_b-\sum _{i̸=a,b}{\lambda }_i\\ s.t.& 0\le {\lambda }_{a,b}\le C,{\lambda }_a{y}^a+{\lambda }_b{y}^b=-\sum _{i̸=a,b}{\lambda }_i{y}^i\end{array}$$

去除无关常量，简化后的优化目标可以写成：

$$\begin{array}{rl}\underset{{\lambda }_a,{\lambda }_b}{\min }& \frac{1}{2}{\lambda }_a^2{\kappa }_{aa}+\frac{1}{2}{\lambda }_b^2{\kappa }_{bb}+\frac{1}{2}{\lambda }_a{y}^a\sum _{i̸=a}{\lambda }_i{y}^i{\kappa }_{ai}+\frac{1}{2}{\lambda }_b{y}^b\sum _{i̸=b}{\lambda }_i{y}^i{\kappa }_{bi}-{\lambda }_a-{\lambda }_b\\ s.t.& 0\le {\lambda }_{a,b}\le C,{\lambda }_a{y}^a+{\lambda }_b{y}^b=-\sum _{i̸=a,b}{\lambda }_i{y}^i\end{array}$$

在前文中提过SVM在优化后的一些性质，如对于分类正确的样本，其对应的${\lambda }_i$是等于$0$的，同样的，那么对于软间隔SVM，不难推出优化后的几个性质：

样本分类情况	对应的$\lambda$
$y^i(x^i{\theta }^T+{\theta }_0)\ge 1$	${\lambda }_i=0$
$y^i(x^i{\theta }^T+{\theta }_0)\le 1$	${\lambda }_i=C$
$y^i(x^i{\theta }^T+{\theta }_0)=1$	$0<{\lambda }_i<C$

优化策略

SMO每次只选取一对$\lambda$视为参数，假设先选定${\lambda }_a$，那么${\lambda }_b$的优化公式为：

$$\begin{array}{rl}{\lambda }_b:& ={\lambda }_b-\frac{y^b(({\hat{y}}^a-y^a)-({\hat{y}}^b-y^b))}{2{\kappa }_{ab}-{\kappa }_{aa}-{\kappa }_{bb}}\\ & ={\lambda }_b-\frac{y^b(E_a-E_b)}{\eta }\end{array}$$

然后再看优化问题中的约束条件${\lambda }_a{y}^a+{\lambda }_b{y}^b=-\sum _{i̸=a,b}{\lambda }_i{y}^i$，由于只有${\lambda }_a$与${\lambda }_b$是参数，那么该优化条件还可以写成：${\lambda }_a{y}^a+{\lambda }_b{y}^b=\xi$。而$y^a$与$y^b$的可能取值为$\{-1,+1\}$，由几何方法可以得到优化参数$\lambda$的一个上下界：

• 若$y^a̸=y^b$，$L=\max (0,{\lambda }_b-{\lambda }_a)$，$H=\min (C,C+{\lambda }_b-{\lambda }_a)$
• 若$y^a=y^b$，$L=\max (0,{\lambda }_a+{\lambda }_b-C)$，$H=\min (C,{\lambda }_b+{\lambda }_a)$

所以，在优化之后，还需要检验${\lambda }_b$是否还符合约束条件，若不满足，则需要做截断处理：

$${\lambda }_b=\{\begin{array}{ll}H& \text{if λb>H}\\ {\lambda }_b& \text{if L<λb<H}\\ L& \text{if λb<L}\end{array}$$

而${\lambda }_a$的优化公式为：

$${\lambda }_a:={\lambda }_a-y^a{y}^b\Delta {\lambda }_b$$

其中$\Delta {\lambda }_b={\lambda }_b^{new}-{\lambda }_b^{old}$。

针对任一一个$\lambda$，若$\lambda$在边界范围$(0,C)$内，可以推出对应的${\theta }_{0,k}$：

$${\theta }_{0,k}={\theta }_0-E_k-y^a\Delta {\lambda }_a{\kappa }_{ak}-y^b\Delta {\lambda }_b{\kappa }_{kb}k=a,b$$

那么将其写成一个条件函数，可得到${\theta }_0$的迭代优化公式：

$${\theta }_0:=\{\begin{array}{ll}{\theta }_{0,a}& \text{if 0<λa<C}\\ {\theta }_{0,b}& \text{if 0<λb<C}\\ ({\theta }_{0,a}+{\theta }_{0,b})/2& \text{otherwise}\end{array}$$

实现指导