序列最小最优化（Sequential Minimal Optimization, SMO）算法的推导、理解

内容是自己做的 ppt 的截图，有需要的小伙伴可以去 下载，也可以给我留言，看到会回复的。

前言

1998 年，John Platt 提出了序列最小最优化算法 (SMO) 算法用于训练 SVM 分类器。SMO 算法是一种启发式算法，其基本思路是：一次迭代只优化两个变量而固定剩余的变量。

SMO 要解如下凸二次规划的对偶问题

其实就是训练 SVM 分类器

算法过程

精度$ϵ$指 KKT 条件的容错率 toler。
部分 KKT 条件：

比如第二个条件，不要求严格等于 1 ，在容错率范围内都是可以接收的。原文内容如下：

SMO 算法主要有两个部分组成：

1. 选取两个$\alpha$进行优化；
2. 求解两个$\alpha$的解析解。

先说第二个内容

求解$\alpha$的解析解

子问题

假设选择的变量是${\alpha }_1,{\alpha }_2$，其余变量${\alpha }_i(i=3,\cdots ,N)$是固定的，则 SMO 的最优化问题的子问题如下，其中 $K(x_i,xj)=K_{ij}$

首先分析约束条件，重新定义${\alpha }_2$的取值范围

取值范围

根据约束条件得到${\alpha }_2$的表达式，然后分情况讨论，并根据${\alpha }_1\in [0,C]$进行放缩

还可以将约束条件用图形表示出来，也可以得到相同的结果

解析解

目标函数是含${\alpha }_1^{new},{\alpha }_2^{new}$两个变量的二次函数，为了方便求解，我们利用等式约束，将目标函数转化成只含${\alpha }_2^{new}$的函数，然后求极小值，并与之前求得的取值范围进行比较，确定${\alpha }_2^{new}$最终的表达式，最后根据等式约束也可以得到${\alpha }_1^{new}$.

将已知的量用${\nu }_i$替换，其中
$$f(x_i)=\sum _{j=1}^N{y}_j{\alpha }_j^{new}{K}_{ij}+b$$

下一步转化成只含${\alpha }_2^{new}$的函数

对目标函数求导，并令其等于$0$

定义一些等式，使表达式更简洁

得到的极值点不一定在${\alpha }_2^{new}$的取值范围里，所以需要剪辑，则最终的${\alpha }_1^{new},{\alpha }_2^{new}$的表达式如下

更新$b,E_i$

根据 KKT 条件得到相应的等式，然后求解就可以了。

之前一直不明白当${\alpha }_i$都在边界上时$b^{new}$的取值为什么要取中点，试着推导，恍然大悟 。

可以看出，当四种$y_i$的情况放在一起时，$b^{new}$只能取中点。
其他在边界的情况也可以推导出相同的结论，同时关于$b^{new}$其他情况的取值也清晰了。

选取${\alpha }_1,{\alpha }_2$

多次遍历${\alpha }_i\in [0,C]$的样本点，个人的理解是因为：根据 KKT 条件，这时

这样的样本点很容易违背 KKT 条件，对它们进行判断更新可以加快求解速度。

SMO 算法的理论推导就到这里了，最后贴一下李航老师《统计学习方法》里的算法流程。

算法实现

关于算法的实现，可以参考
支持向量机|SMO算法实现
如有错误，请指正，谢谢

参考资料

[1] 李航. 统计学习方法[M]. 清华大学出版社, 2012.
[2]https://www.jianshu.com/p/436d429ce91b