SMO算法详细推导（Sequential Minimal Optimization）

本文针对一般性的“软判断的核函数的对偶问题的SVM”，形如下式：

上式问题所在：当采样点 $x_i$ 选取50000个点时，则基于核函数变量$\mathbf{\Theta }({\mathbf{x}}_{\mathbf{i}},{\mathbf{x}}_{\mathbf{j}})$将需要大约10GB的RAM来存储$\mathbf{\Theta }({\mathbf{x}}_{\mathbf{i}},{\mathbf{x}}_{\mathbf{j}})$。这里介绍前人所提的SMO算法，以降低存储空间。

一. 算法流程框架

首先，先给出SMO算法的算法流程，如下：

意思是：第一步，选取一对${\alpha }_i$和${\alpha }_j$，选取方法使用启发式方法。第二步，固定除${\alpha }_i$和${\alpha }_j$之外的其他参数，确定目标函数（即：$W(\alpha )$。图片中用$W(\alpha )$表示整个目标函数）取得最大值时的${\alpha }_i^{\ast }$的取值，并由${\alpha }_i^{\ast }$计算出${\alpha }_j^{\ast }$。重复迭代上述两步，直到收敛。

SMO之所以高效就是因为在固定其他参数后，对一个参数优化过程很高效。

二. 符号定义与基础回顾

（1）先定义下述三个符号，以便后文表述：

（2）若为线性核函数分类，由基本二分类SVM可知，最后的分类是根据$w^{\ast T}{x}_i+b^{\ast }$来判断的：若$w^{\ast T}{x}_i+b^{\ast }>0$则判断$y_i$属于某一类，若$w^{\ast T}{x}_i+b^{\ast }<0$则判断$y_i$属于另一类。如果是非线性核函数分类，则是$w^{\ast T}\varphi (x_i)+b^{\ast }$与0的大小比较（但是，在实际核函数模型中，我们没有$\varphi ({\mathbf{x}}_i)$的表达式，往往都是直接给出$\mathbf{\Theta }({\mathbf{x}}_{\mathbf{i}},{\mathbf{x}}_{\mathbf{j}})$(而：$\mathbf{\Theta }({\mathbf{x}}_{\mathbf{i}},{\mathbf{x}}_{\mathbf{j}})$=$\varphi ({\mathbf{x}}_i{)}^T\varphi ({\mathbf{x}}_j)$)。因此，$w^{\ast T}{x}_i+b^{\ast }$仅用于线性核函数中，而在非线性核函数里，并不用$w^{\ast }$来判断分类的结果。虽然不用，但为了完整性，这里还是给出核函数下的$w^{\ast }$），${\mathbf{w}}^{\ast }$的具体表达式为：

$$\begin{array}{r}{\mathbf{w}}^{\ast }=\sum _i{\alpha }_i^{\ast }{y}_i\varphi ({\mathbf{x}}_i)\end{array}$$

而对标量$b^{\ast }$的计算，书上式子(2.75)写道：

（3）符号$E_i$定义如下：

$$\begin{array}{rl}{E}_i& =f({\mathbf{x}}_i)-y_i\\ & =(\sum _{j=1}^n{y}_j{\alpha }_j{K}_{ij}+b)-y_i\\ & =(\sum _{j=1}^n{y}_j{\alpha }_j\varphi (x_j{)}^T\varphi (x_i)+b)-y_i\\ & =(w^{\ast T}\varphi (x_i)+b)-y_i\end{array}$$

显然，$E_i$是函数$f(x)$对输入$x_i$的预测值与真实输出值$y_i$之差。（备注：1998年原始参考文献中，预测值$f(x_i)$用$u_i$表示的，即$E_i=u_i-y_i$）

三. 整理目标函数

四. ${\alpha }_2^{new}$的推导(不考虑范围约束时)

由于下述约束条件成立：

因此，有

其中，$C^{\prime }$是常数。根据式子(2.142)，可知：
$$\begin{array}{r}{\alpha }_1=\gamma -s{\alpha }_2\end{array}$$

其中$\gamma =C^{\prime }{y}_1$、$s=y_1{y}_2$ （因为$y_1$只能取+1或-1，因此，除以$y_1$等价于乘以$y_1$）。带入消除${\alpha }_1$后，我们可将式子(2.141)重新整理为下式：

将上式对${\alpha }_2$求导，并令其为0，得到下式：

解出上式中的${\alpha }_2$为：

上式(2.145)中，${\alpha }_2$有个上角标，是表示此为更新后的${\alpha }_2$，或者说是最优的${\alpha }_2$，用${\alpha }_2^{new}$表示。

上式经过下面照片中的推导可以化简，详细推导过程见照片(可省略不看)：

推导结果为：（此结果也是1998年中论文的结果）

五. ${\alpha }_2^{new,revised}$的推导

显然，上述分析没有考虑式子(2.97)的约束条件，换句话说，${\alpha }_2^{new}$很可能不在指定区域$[0,C]$内，而由于此时已经转化为一元函数求极值问题，所有，如果极点不在区域内，那么最值一定取在边界点，所有，最优的${\alpha }_2$的取值不再是${\alpha }_2^{new}$，应该换符号表示，文中采用${\alpha }_2^{new,revised}$表示考虑式子(2.97)中约束的新更新变量。故为了分析式子(2.97)的约束条件，有下述两个公式：

（1）当$y_1$与$y_2$异号时

（2）当$y_1$与$y_2$同号时

解释一下上述公式：
首先将式子(2.142)两侧同时乘以$y_1$，由于$y_1$只能取正负1，故，分类讨论：
（1）解释：当$y_1$与$y_2$异号，所以有：
$$\begin{array}{r}{\alpha }_1+{\alpha }_2=\gamma \end{array}$$

由于${\alpha }_1$与${\alpha }_2$只能取[0,C]之间的box内，所以，此时有两种情况，如图：

（2）解释：当$y_1$与$y_2$同号时，有：

综合上述两种情况，我们有：

此时得到的${\alpha }_2^{new,revised}$是完全符合题意的最优的${\alpha }_2$值！下面回带如公式，反求最优的${\alpha }_1$。

六. ${\alpha }_1^{new}$的推导

由于式子 (2.142)成立(且，算法流程中已提及，叠代${\alpha }_1$与${\alpha }_2$时，需要固定其余参数，即${\alpha }_3$到${\alpha }_n$是固定不变的，只叠代${\alpha }_1$与${\alpha }_2$)，因此，迭代前后的${\alpha }_1$与${\alpha }_2$都满足下式：

$$\begin{array}{r}{y}_1{\alpha }_1^{old}+y_2{\alpha }_2^{old}=C^{\prime }\end{array}$$

$$\begin{array}{r}{y}_1{\alpha }_1^{new}+y_2{\alpha }_2^{new}=C^{\prime }\end{array}$$

所以有：

$$\begin{array}{r}{y}_1{\alpha }_1^{old}+y_2{\alpha }_2^{old}=y_1{\alpha }_1^{new}+y_2{\alpha }_2^{new}\end{array}$$

上述左右同时乘以 y1，可解出${\alpha }_1^{new}$如下：

七. KKT条件

下式KKT条件中的$f(x_i)$，代表在当前$w$这个分类准则下，输入为$x_i$时，输出的分类预测结果。

（此处的KKT推导见2001年论文即可！）这个KKT条件说明，在两条间隔线外面的点，对应前面的系数${\alpha }_i$为0（即距离线很远且不起作用的点），在两条间隔线里面的对应${\alpha }_i$为C，在两条间隔线上的对应的系数${\alpha }_i$在0和C之间。

八. $b$的推导

（1）先说结论：

解释为什么${\alpha }_1^{new}$和${\alpha }_2^{new,clipped}$在界内时（$0<{\alpha }_i^{new}<C$），$b_1=b_2$，这是因为，此时${\alpha }_i\ne 0$，因此必须是$y_i(w^T\varphi (x_i)+b)-1=0$（由原问题转为对偶问题时，其KKT条件中的互补松弛条件约束），换言之，此时的两个样本点便是支撑向量（因为一个$\alpha$对应一个样本点），因此，由下图蓝虚线与红虚线可知，通过支撑向量的样本点具有同一个$b$值！因此，$b_1=b_2$。

（2）再说结论的证明过程：

之所以要更新$E_i$，是因为这个变量有两个作用，一是用以作为第二个乘子的选取因子；二是用以作为判断算法终止的条件！

九. SMO应用流程

下面是SMO算法详细流程，该流程比本文第一节中的要详细，可用于实际应用中：

其中，用启发式算法选取点的原则为：

十. 其余说明：

（1）论文中说，如果采用的是线性核函数，那么久按照如下方式更新${\mathbf{w}}^{new}$：

$$\begin{array}{r}{\mathbf{w}}^{new}=\mathbf{w}+y_1({\alpha }_1^{new}-{\alpha }_1){\mathbf{x}}_1+y_2({\alpha }_2^{new,revised}-{\alpha }_2){\mathbf{x}}_2\end{array}$$

上式的结论依据以下两个公式便可得到：

看完这句话以后我误会了好久，仔细看公式才发现，之所以文中说“线性核函数”才更新${\mathbf{w}}^{new}$，是因为这里的更新公式中没有$\varphi (.)$，换言之，并不是$\mathbf{w}$只能用于线性，而是这里的公式没有加核，所以，这个公式里的$\mathbf{w}$只能用于线性。若改为下式，则任何满足题意的核，都可以用此式来分类：

$$\begin{array}{r}{\mathbf{w}}^{new}=\mathbf{w}+y_1({\alpha }_1^{new}-{\alpha }_1)\mathbf{\varphi }(x_1)+y_2({\alpha }_2^{new,revised}-{\alpha }_2)\mathbf{\varphi }(x_2)\end{array}$$

（按照更新${\alpha }_1$与${\alpha }_2$的方式，来更新所有需要更新的${\alpha }_i$，全部训练并更新完后，便可将该模型用于分类，最终的${\mathbf{w}}^{new}$可按照上述更新两个参数的方式来推导，但是正如前文所述说，实际中直接给出的是$\mathbf{\Theta }({\mathbf{x}}_{\mathbf{i}},{\mathbf{x}}_{\mathbf{j}})$的矩阵取值（$\mathbf{\Theta }({\mathbf{x}}_{\mathbf{i}},{\mathbf{x}}_{\mathbf{j}})$=$\varphi ({\mathbf{x}}_i{)}^T\varphi ({\mathbf{x}}_j)$），并非$\varphi ({\mathbf{x}}_i)$。因此，非线性核函数下的${\mathbf{w}}^{new}$没有实际用处，仅用于求解$b^{new}$

（2）另外一个待更新资料：

下文中，迭代的终止条件是两次叠代的${\alpha }_{old}$与${\alpha }_{new}$所对应的$f_i^{old}$与$f_i^{new}$之间的数值小于某个数时，则终止叠代。毕竟选取的${\alpha }_1$都是那些不满足KKT条件的，当都满足以后，自然每次叠代$\alpha$后，其$f$改进就会很小了。

算法中，各个所需的阿尔法求解完毕后（即样本训练结束以后），最终应用时分类的原则为：

十一. SMO改进（个人记录）：

问题所在：(举例)

计算如下：（为了清晰地凸显出1998年SMO的缺点，下文的更新中，同时叠代了 “传统的$b$” 和 “新颖的$b_{low}、b_{up}$”）

（1）第一次迭代更新计算：
此时所有$\alpha$都为0，初始类别为$y_1=-1;y_2=+1;y_3=+1$，因此可计算得：$F_1=1;F_2=-1;F_3=-1$，1,2,3三个样本点分别属于$I_4、I_1、I_1$，因此$b_{low}=1、b_{up}=-1$。由于$\alpha$都为0，因此$f(x_i)={\sum }_{j=1}^n{y}_j{\alpha }_j{K}_{ij}-b=-b=0$(i=1,2,3)，因此由公式$E_i=f(x_i)-y_i$计算得：$E_1=1;E_2=-1;E_3=-1$。此外，容易计算初始状态的三个节点都违背KKT条件。

（2）第二次迭代更新计算：
${\alpha }_2^{new}=0+\frac{1(1+1)}{1+1-0}=1$
$L=max(0,{\alpha }_2-{\alpha }_1)=0$
$H=min(C,C+{\alpha }_2-{\alpha }_1)=C=\frac{1}{4}$
${\alpha }_2^{new,clipped}=H=C=\frac{1}{4}$
${\alpha }_1^{new}=0+(-1)(0-\frac{1}{4})=\frac{1}{4}$

因此，可知，${\alpha }_1^{new}={\alpha }_2^{new}=C$，此时都是上界！（按照传统SMO中所提的算法，此时的b的更新公式为$b_1$与$b_2$的平均值）。下面继续更新叠代：
$F_1={\sum }_{j=1}^n{\alpha }_j{y}_j{K}_{1j}-y_1=\frac{1}{4}(-1)(1)+0+0+1=\frac{3}{4}$
$F_2=0+\frac{1}{4}(1)(1)+0-1=-\frac{3}{4}$
$F_3=0+\frac{1}{4}(1)(2)+0-1=-\frac{1}{2}$

下面按照1998年论文的步骤更新参数$b$

$b_1^{new}=1+(-1)(\frac{1}{4}-0)(1)+(1)(\frac{1}{4}-0)=\frac{3}{4}$
$b_2^{new}=-\frac{3}{4}$

注意，若仔细按照《统计学习方法》中的步骤推导b的公式，则发现，其实这里b的更新公式中，用到的$E_i$其实是$E_i^{old}$，正因为是old，所以b中的公式里才要减去old并加上new的那一项，因此，标准低来写，上图中，用以计算$b_1$和$b_2$的公式（20）和公式（21）的实质由下式化简而来：$b_1^{new}=f^{new}(x_i)-y_i$，其中的$f^{new}(x_i)$中是更新后的新$\alpha$计算的，带入后就分别等于公式（20）和公式（21）了。（其中，$f^{new}(x_1)={\sum }_{j=1}^3{y}_j{\alpha }_j{K}_{ij}-b^{old}=(-1)(\frac{1}{4})(1)+0+0-0=-\frac{1}{4}$或者也可以直接用$f^{new}(x_1)=b_1^{new}+y_1=-\frac{1}{4}$，同理，$f^{new}(x_2)=\frac{1}{4}$，$f^{new}(x_3)=\frac{1}{2}$）。注意！！！上述$f^{new}(x_i)$的取值并没有在SMO代码中出现，换句话说，下一轮迭代时所采用的$f^{new}(x_i)$并不是上述计算的取值，上述的取值只是理论上的$f^{new}(x_i)$；而在传统SMO中实际运行时的$f^{new}(x_i)$由于使用了不恰当的b（即：$b=\frac{b_1+b_2}{2}$更新的），而出现弊端，这也正是2001年论文的精髓所在，具体在第三次迭代中详细说明。论文的截图中，$b^{new}$的计算用的是$F_1$与$F_2$的均值，并非$b_1$与$b_2$的均值，这是因为，在更新$b_1$与$b_2$时，我们假设了此时的两个$\alpha$都位于界内（即0与C的开区间上），而界内的含义是该样本点表示支撑向量！根据KKT条件中的第二个限制可知（看本博客上方的KKT，或参见《统计学习方法》中的公式7.112）此时的$y_{i}f(x_i)=1$，我们若将此式左右同乘以$y_i$，则有：$f(x_i)=y_i$，即：$f(x_i)-y_i=0$，而根据$E_i$定义，$E_i=f(x_i)-y_i$，所以我们可知，对满足KKT条件且在界内的样本点而言，其误差$E_i=0$，而论文中有如下定义：

$E_i=f(x_i)-y_i=F_i-{\beta }_i$
上述公式说明：$E_i=f(x_i)-y_i$是1998年论文的定义。$E_i=F_i-{\beta }_i$是2001年论文的定义，两者相等是显然的，因为$F_i={\sum }_{j=1}^n{\alpha }_j{y}_j{K}_{ij}-y_i$，而$f(x_i)={\sum }_{j=1}^n{\alpha }_j{y}_j{K}_{ij}-b$，且$b=\beta$。

因此，在该限制条件下（界内且满足KKT，由于19981年中loop1与loop2的叠代保证会使得参数满足KKT），$F_i={\beta }_i$，所以，2001年论文中，计算b才有截图所示的$\beta =\frac{F_1+F_2}{2}=\frac{(-\frac{3}{4})+\frac{3}{4}}{2}=0$。

此时继续更新，由于此时的${\alpha }_1=C$，${\alpha }_2=C$，${\alpha }_3=0$，再结合仍然不变的$y_1=-1;y_2=+1;y_3=+1$，因此，此三个样本点分别属于$I_2$、$I_3$、$I_1$。并且此时的三个$F_i$已经计算好了。因此，根据$b_{up}$和$b_{low}$的计算公式，可知：
$b_{up}=min\{\frac{3}{4},-\frac{1}{2}\}=-\frac{1}{2}$
$b_{low}=max\{-\frac{3}{4}\}=-\frac{3}{4}$

（3）第三次迭代更新计算：
此时我们会惊奇地发现，用原始的b来计算时，我们发现原本计算好的$\alpha$又不满足了KKT条件…究其原因是因为b的选取不合适，因此才需要用$b_{low}、b_{up}$代替。若按照传统SMO代码来更新$f^{new}(x_i)$，则要用到上文计算的b，其中的b=0（由公式$\beta =\frac{F_1+F_2}{2}=\frac{(-\frac{3}{4})+\frac{3}{4}}{2}=0$计算而来！并没有采用上文中的$b_i^{new}$，这里与上文加粗字体处相呼应！），因此，传统SMO计算$f^{new}(x_i)$公式如下：

$f^{new}(x_1)={\sum }_{j=1}^3{y}_j{\alpha }_j{K}_{1j}-\beta =-\frac{1}{4}$

论文中说此时，用$\beta =0$计算时，违背了KKT，但是我验证好像没有违背啊？？？但是后来该大佬重复发表的此篇论文中，没有这个例子了。

即使这个例子不合理，但是这个事实是成立的！因此，在1998年的SMO中，才有不断地循环loop2的事情，一直到loop2中所有参数都满足KKT后，才能重新循环loop1，并更新新的参数！而不断循环loop2的原因就在此，即b的选取是病态的，尤其是当$\alpha$的取值在边界上（$\alpha =C$时），此时最容易出现b取值不合理，正因为b的不合理，因此导致loop2不断地迭代循环，一直到所有参数都满足KKT才结束，才能让examineAll=1并执行loop1。

2001年论文中的其余注意事项：

第二次读2001年论文的感悟：

注意，不是原来的β不正确，而是KKT的判断中有β的参与而导致低效！因此，本文更改KKT的判断，令其脱离β！因此，将β从KKT公式中分离出来，然后比较β两侧的大小关系即可！由此实现高效的SMO叠代！！！
（发现第一次读的理解有偏差…）

参考资料：
[1] 《Sequential Minimal Optimization:
A Fast Algorithm for Training Support Vector Machines》 作者：John C. Platt 时间：1998 （SMO原文）
[2] 《Selected Applications of Convex Optimization》作者：Li Li
[3] 学习网址1
[4] 学习网址2
[5] SMO算法的matiab代码下载网址1
[6] SMO算法的matiab代码下载网址2
[7] SMO算法的matiab代码下载网址3
[7] 从SVM到SMO详细讲解
[8] 简化的SMO伪代码
[9] C_SVC 和 V_SVC区别