SMO（Sequential minimal optimization）算法的详细实现过程

SMO算法主要是为优化SVM（支持向量机）的求解而产生的，SVM的公式基本上都可以推到如下这步：

$ma{x}_{\alpha }{\sum }_{i=1}^m{\alpha }_i-\frac{1}{2}{\sum }_{i=1}^m{\sum }_{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j$

$s.t.{\sum }_i^m{\alpha }_i{y}_i=0$

$0\le {\alpha }_i\le C，i=1,2,3,...,m$

其中，C是SVM中惩罚参数（或正则化常数），可令：

$\phi (\alpha )={\sum }_{i=1}^m{\alpha }_i-\frac{1}{2}{\sum }_{i=1}^m{\sum }_{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j$

SMO的具体步骤：

第一步：为了满足${\sum }_i^m{\alpha }_i{y}_i=0$公式，首先要固定两个变量${\alpha }_i和{\alpha }_j$，这里以${\alpha }_1和{\alpha }_2$为例，其余的${\alpha }_i(i=3,4,...,m)都是已知量$，则约束条件变成：

${\alpha }_1{y}_1+{\alpha }_2{y}_2=c=-{\sum }_{i=3}^m{\alpha }_i{y}_i，(0\le {\alpha }_1\le C，0\le {\alpha }_2\le C)$

两边同乘$y_1$，并记$y_1{y}_2=h_0$得：

${\alpha }_1+h_0{\alpha }_2=-y_1{\sum }_{i=3}^m{\alpha }_i{y}_i={\alpha }_{1_{new}}+h_0{\alpha }_{2_{new}}$

令$H=-y_1{\sum }_{i=3}^m{\alpha }_i{y}_i$，可得：

${\alpha }_{1_{new}}=H-h_0{\alpha }_{2_{new}}$ (1)

第二步：由于${\alpha }_{1_{new}}$可以用${\alpha }_{2_{new}}$来表示，且${\alpha }_i(i=3,4,...,m)$都是已知量，此时$\phi (\alpha )$只有一个未知变量${\alpha }_{2_{new}}$，那么可以直接求导得到${\alpha }_{2_{new}}$。具体实施过程如下：

1、展开$\phi (\alpha )$可得：

$\phi (\alpha )={\alpha }_{1_{new}}+{\alpha }_{2_{new}}-\frac{1}{2}{\alpha }_{1_{new}}^2{k}_{11}-\frac{1}{2}{\alpha }_{2_{new}}^2{k}_{22}-{\alpha }_{1_{new}}{\alpha }_{2_{new}}{y}_1{y}_2{k}_{12}-{\alpha }_{1_{new}}{y}_1{\sum }_{i=3}^m{\alpha }_i{y}_i{k}_{i1}-{\alpha }_{2_{new}}{y}_2{\sum }_{i=3}^m{\alpha }_i{y}_i{k}_{i2}+{\phi }_{constant}$ (2)

式中， $kij=k(x_i,x_j)$，表示核函数

${\phi }_{constant}={\sum }_{i=3}^m{\alpha }_i-\frac{1}{2}{\sum }_{i=3}^m{\sum }_{j=3}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{k}_{ij}$

2、SVM的超平面模型：$f(x_j)=w^T+b={\sum }_{i=1}^m{\alpha }_i{y}_i{k}_{ij}+b$

令$V_j={\sum }_{i=3}^m{\alpha }_i{y}_i{k}_{ij}=f(x_j)-b-{\alpha }_1{y}_1{k}_{1j}-{\alpha }_2{y}_2{k}_{2j}$ (3)

3、 将公式（1）、（3）代入（2）得：

$\phi (\alpha )=H-h_0{\alpha }_{2_{new}}+{\alpha }_{2_{new}}-\frac{1}{2}(H-h_0{\alpha }_{2_{new}}{)}^2{k}_{11}-\frac{1}{2}{\alpha }_{2_{new}}^2{k}_{22}-(H-h_0{\alpha }_{2_{new}}){\alpha }_{2_{new}}{y}_1{y}_2{k}_{12}-(H-h_0{\alpha }_{2_{new}})y_1{V}_1-{\alpha }_{2_{new}}{y}_2{V}_2+{\phi }_{constant}$

对${\alpha }_{2_{new}}$求导数可得：

$\frac{d\phi (\alpha )}{d{\alpha }_{2_{new}}}=-(k_{11}+k_{22}-2k_{12}){\alpha }_{2_{new}}+h_{0}H(k_{11}-k_{22})+y_2(V_1-V_2)-h_0+1=0$

求解可得：

$(k_{11}+k_{22}-2k_{12}){\alpha }_{2_{new}}=h_{0}H(k_{11}-k_{22})+y_2(V_1-V_2)-h_0+1$ (4)

此时，将$H、V_j$代入公式（4）可得：

$(k_{11}+k_{22}-2k_{12}){\alpha }_{2_{new}}=(k_{11}+k_{22}-2k_{12}){\alpha }_2+y_2(f(x_1)-y_1-f(x_2)+y_2))$ (5)

令$\eta =k_{11}+k_{22}-2k_{12}，E_i=f(x_i)-y_i$并代入公式（5）得：

${\alpha }_{2_{new}}={\alpha }_2+\frac{y_2(E_1-E_2)}{\eta }$

4、由于$0\le {\alpha }_1\le C，0\le {\alpha }_2\le C$，且${\alpha }_1{y}_1+{\alpha }_2{y}_2=c$，所以\alpha_{2_{new}}必落在如下区域内

结合图形可以得到${\alpha }_2$的范围：

$\{\begin{array}{c}L=max\left\{0,{\alpha }_1+{\alpha }_2-C\right\},H=min\left\{C,{\alpha }_1+{\alpha }_2\right\},if{y}_1=y_2\\ L=max\left\{0,{\alpha }_2-{\alpha }_1\right\},H=min\left\{C,C+{\alpha }_2-{\alpha }_1\right\},if{y}_1̸=y_2\end{array}$

此时${\alpha }_{2_{new}}$取值为：

${\alpha }_{2_{new}}=\{\begin{array}{c}H,if{\alpha }_{2_{new}}\ge H\\ {\alpha }_{2_{new}},ifL<{\alpha }_{2_{new}}<H\\ L,if{\alpha }_{2_{new}}\le L\end{array}$

第三步：重复第一、第二步直到${\alpha }_{i_{new}}$收敛

1、由${\alpha }_{i_{new}}$，根据公式$w={\sum }_{i=1}^m{\alpha }_i{y}_i{x}_i求出w$

2、只有支持向量满足$1-y_i(w^T{x}_i+b)=0$，所以大于0的${\alpha }_{i_{new}}$必然都是支持向量，否则${\alpha }_{i_{new}}>0，1-y_i(w^T{x}_i+b)<0$，则${\alpha }_{i_{new}}(1-y_i(w^T{x}_i+b))<0$与条件${\alpha }_{i_{new}}(1-y_i(w^T{x}_i+b))=0$（KKT条件）相违背

3、现实中采用了一种鲁棒的方法求解b，方式为：

$b=\frac{1}{|S|}{\sum }_{s\in S}(\frac{1}{y_s}-w{x}_s)$

4、最终超平面为：

$wx+b=0$

根据分类决策函数$f(x)=sign(wx+b)$得：

$sign(x)=\{\begin{array}{c}-1,ifx<0\\ 0,ifx=0\\ 1,ifx>0\end{array}$