SMO算法原理转载＋自己补充

几何间隔：
这个意思就是超平面离数据集的点的距离．
都别装逼了，说人话是啥？
说人话就是高中几何里的＂点到平面距离＂．

经常听到的硬间隔和软间隔是啥？
说人话：
惩罚系数Ｃ＝０，硬间隔
惩罚系数Ｃ>0,软间隔

我们需要解决的问题是：
$$\underset{w,b}{\max }\gamma$$
$$s.t.y_i(\frac{w}{||w||}\cdot x_i+\frac{b}{||w||})\ge \gamma$$
也就是说，我们希望分类点离超平面的距离尽可能大．
显然在$\gamma$一定的情况下，$w$要尽可能小
因为对于平面Ａｘ+By+Cz+D=0而言：
$$d=\frac{|Ａｘ+By+Cz+D|}{\sqrt{A^2+B^2+C^2}}$$
根据ｄ公式可知，当取$\gamma =1$时，上述问题可以等价转化为：
$$\underset{w,b}{\min }\frac{1}{2}||w|{|}^2$$
$$s.t.y_i(w\cdot x_i+b)\ge 1,i\in [1,N]$$
为啥是等价转化呢？
因为我们想让ｄ这个式子最大，那么显然要让ｗ最小，为了使用凸优化的理论，
让ｗ最小＝让$\frac{1}{2}||w|{|}^2$最小
凸优化指的是凸函数
（国外的凸函数是国内的凹函数，国内的凸函数是国外的凹函数，这里采用的是国外的说法）
所以为了使用凸优化理论，我们集中精力研究让$\frac{1}{2}||w|{|}^2$最小

注意：
高数中，我们的拉格朗日约束是针对＂等式约束＂
在这里，我们的拉格朗日约束是针对＂不等式约束＂
对上式引入拉格朗日乘子${\alpha }_i\ge 0$
我们得到：
$$L(w,b,\alpha )=\frac{1}{2}||w|{|}^2+\sum _{i=1}^N{\alpha }_i[y_i(w\cdot x_i+b)-1]$$
好了，接下来咋处理？
李航的书上没说明，注意，接下来我们做的事情是求解上面这个式子的＂鞍点＂．
这个东西叫鞍点定理．
鞍点啥意思呢？

通俗地讲：
对于凸函数求极值，等于求解该函数在一个维度的最大值，另外一个维度的最小值，称为鞍点定理．
所以上面的问题经过鞍点定理以后，最终变成了：
$$\underset{\alpha }{\max }\underset{w,b}{\min }L(w,b,\alpha )$$
对该式子的$w,b$求偏导并且让他们等于０，得到：
$${▽}_{w}L(w,b,\alpha )=w-\sum _{i=1}^N{\alpha }_i{y}_i{x}_i=0$$
$${▽}_{b}L(w,b,\alpha )=\sum _{i=1}^N{\alpha }_i{y}_i=0$$
将上面两个式子代入到$L(w,b,\alpha )$,
得到
$$\underset{w,b}{\min }L(w,b,\alpha )=-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)+\sum _{i=1}^N{\alpha }_i$$
∴剩下的问题就是：
$$\underset{\alpha }{\max }\underset{w,b}{\min }L(w,b,\alpha )＝$$
$$\underset{\alpha }{\max }-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)+\sum _{i=1}^N{\alpha }_i$$

###############################################
下面开始参考：
https://blog.csdn.net/luoshixian099/article/details/51227754#commentBox

1.SMO概念

$$\begin{gathered} \underset{\alpha }{\min }\Psi (\alpha ) \\ =\underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{y}_i\cdot y_j\cdot K(x_i,x_j)\cdot {\alpha }_i\cdot {\alpha }_j-\sum _{i=1}^N{\alpha }_i \end{gathered}$$
$$0\le {\alpha }_i\le C,\forall i,$$
$$\sum _{i=0}^N{y}_i\cdot {\alpha }_i=0$$
其中$K(x_i,x_j)$表示向量内积

其中:
($x_i$,$y_i$):训练样本数据，
$x_i$:样本特征
$y_i\in \{-1,1\}$:为样本标签
$C$:惩罚系数

上述问题是要求解N个参数$({\alpha }_1,{\alpha }_2,{\alpha }_3,...,{\alpha }_N)$
，其他参数均为已知，有多种算法可以对上述问题求解，但是算法复杂度均很大。
但1998年，由Platt提出的序列最小最优化算法(SMO)可以高效的求解上述SVM问题，它把原始求解N个参数二次规划问题分解成很多个子二次规划问题分别求解，每个子问题只需要求解2个参数，方法类似于坐标上升，节省时间成本和降低了内存需求。每次启发式选择两个变量进行优化，不断循环，直到达到函数最优值。

$2.SMO原理分析$
$2.1视为一个二元函数$

为了求解N个参数$({\alpha }_1,{\alpha }_2,{\alpha }_3,...,{\alpha }_N)$,首先想到的是坐标上升的思路，例如求解${\alpha }_1$,可以固定其他N-1个参数，可以看成关于${\alpha }_1$的一元函数求解，但是注意到上述问题的等式约束条件${\sum }_{i=1}^N{y}_i{\alpha }_i=0$,当固定其他参数时，参数${\alpha }_1$也被固定，因此此种方法不可用。

SMO算法选择同时优化两个参数，
固定其他N-2个参数，假设选择的变量为${\alpha }_1,{\alpha }_2$的二元函数,

$Constant$表示常数项,(不包含变量${\alpha }_1$,${\alpha }_2$的项)。
$$min\Psi ({\alpha }_1,{\alpha }_2)=\frac{1}{2}{K}_{11}{\alpha }_1^2+\frac{1}{2}{K}_{22}{\alpha }_2^2+y_1{y}_2{K}_{12}{\alpha }_1{\alpha }_2-({\alpha }_1+{\alpha }_2)+y_1{v}_1{\alpha }_1+y_2{v}_2{\alpha }_2+Constant(1)$$
其中$v_i={\sum }_{j=3}^N{\alpha }_j{y}_{j}K(x_i,x_j),i=1,2$

$2.2视为一元函数$
由等式约束得：
$${\alpha }_1{y}_1+{\alpha }_2{y}_2=-\sum _{i=3}^N{\alpha }_i{y}_i=\zeta$$
可见$\zeta$为定值。

等式${\alpha }_1{y}_1+{\alpha }_2{y}_2=\zeta$两边同时乘以$y_1$,且$y_1^2=1$，得
$${\alpha }_1=(\zeta -y_2{\alpha }_2)y_1(2)$$

(2)式代回到(1)中得到只关于参数${\alpha }_2$的一元函数，由于常数项不影响目标函数的解，以下省略掉常数项$Constant$
$$min\Psi ({\alpha }_2)=\frac{1}{2}{K}_{11}(\zeta -{\alpha }_2{y}_2{)}^2+\frac{1}{2}{K}_{22}{\alpha }_2^2+y_2{K}_{12}(\zeta -{\alpha }_2{y}_2){\alpha }_2-(\zeta -{\alpha }_2{y}_2)y_1-{\alpha }_2+v_1(\zeta -{\alpha }_2{y}_2)+y_2{v}_2{\alpha }_2(3)$$

$2.3对一元函数求极值点$
上式中是关于变量α2的函数，对上式求导并令其为0得：
$$\frac{\partial \Psi ({\alpha }_2)}{\partial {\alpha }_2}=(K_{11}+K_{22}-2K_{12}){\alpha }_2-K_{11}\zeta y_2+K_{12}\zeta y_2+y_1{y}_2-1-v_1{y}_2+v_2{y}_2=0$$
1.由上式中假设求得了${\alpha }_2$的解，带回到(2)式中可求得${\alpha }_1$的解，分别记为:
${\alpha }_1^{new},{\alpha }_2^{new}$
优化前的解记为:
${\alpha }_1^{old},{\alpha }_2^{old}$,
由于参数${\alpha }_3,{\alpha }_4,...,{\alpha }_N$固定,由等式约束
${\sum }_{i=1}^N{y}_i{\alpha }_i=0$有:
$$\begin{gathered} {\alpha }_1^{old}{y}_1+{\alpha }_2^{old}{y}_2 \\ =-\sum _{i=3}^N{\alpha }_i{y}_i \\ ={\alpha }_1^{new}{y}_1+{\alpha }_2^{new}{y}_2 \\ =\zeta \end{gathered}$$
$$\zeta ={\alpha }_1^{old}{y}_1+{\alpha }_2^{old}{y}_2(4)$$

2.假设SVM超平面的模型为$f(x)=w^{T}x+b$,
3.上一篇中已推导出$w$的表达式,将其带入得
$$f(x)=\sum _{i=1}^N{\alpha }_i{y}_{i}K(x_i,x)+b$$
$f(x_i)$:表示样本$x_i$的预测值
$y_i$表示样本$x_i$的真实值，定义$E_i$表示预测值与真实值之差为
$$E_i=f(x_i)-y_i(5)$$

3.由于$v_i={\sum }_{j=3}^N{\alpha }_j{y}_{j}K(x_i,x_j),i=1,2$因此,
$$v_1=f(x_1)-\sum _{j=1}^2{y}_j{\alpha }_j{K}_{1j}-b(6)$$

$$v_2=f(x_2)-\sum _{j=1}^2{y}_j{\alpha }_j{K}_{2j}-b(7)$$

把(4)(6)(7)带入下式中：
$(K_{11}+K_{22}-2K_{12}){\alpha }_2-K_{11}\zeta y_2+K_{12}\zeta y_2+y_1{y}_2-1-v_1{y}_2+v_2{y}_2=0$

化简得: 此时求解出的${\alpha }_2^{new}$未考虑约束问题，先记为${\alpha }_2^{new,unclipped}$:

$$(K_{11}+K_{22}-2K_{12}){\alpha }_2^{new,unclipped}=(K_{11}+K_{22}-2K_{12}){\alpha }_2^{old}+y_2\left[y_2-y_1+f(x_1)-f(x_2)\right]$$

代入(5)式，并记$\eta =K_{11}+K_{22}-2K_{12}$:
$${\alpha }_2^{new,unclipped}={\alpha }_2^{old}+\frac{y_2(E_1-E_2)}{\eta }(8)$$

$2.4对原始解修剪$
上述求出的解未考虑到约束条件：
$$0\le {\alpha }_{i=1,2}\le C$$
$${\alpha }_1\cdot y_1+{\alpha }_2\cdot y_2=\zeta$$

在二维平面上直观表达上述两个约束条件 :

最优解必须要在方框内且在直线上取得，因此
$$L\le {\alpha }_2^{new}\le H$$
当$y_1̸=y_2$时，
$$L=max(0,{\alpha }_2^{old}-{\alpha }_1^{old});$$
$$H=min(C,C+{\alpha }_2^{old}-{\alpha }_1^{old})$$

当$y_1=y_2$时，
$$L=max(0,{\alpha }_1^{old}+{\alpha }_2^{old}-C);$$
$$H=min(C,{\alpha }_2^{old}+{\alpha }_1^{old})$$

经过上述约束的修剪，最优解就可以记为${\alpha }_2^{new}$了．

$${\alpha }_2^{new}=\{\begin{array}{ll}& \text{ H ,}{\alpha }_2^{new,unclipped}>H\\ & \\ & {\alpha }_2^{new,unclipped},L⩽{\alpha }_2^{new,unclipped}⩽H\\ & \\ & \text{ L ,}{\alpha }_2^{new,unclipped}<L\end{array}$$

$2.5求解{\alpha }_1^{new}$
由于其他N-2个变量固定，因此

$${\alpha }_1^{old}{y}_1+{\alpha }_2^{old}{y}_2={\alpha }_1^{new}{y}_1+{\alpha }_2^{new}{y}_2$$
所以可求得:
$${\alpha }_1^{new}={\alpha }_1^{old}+y_1{y}_2({\alpha }_2^{old}-{\alpha }_2^{new})(9)$$

$2.6取临界情况$
大部分情况下，有$\eta =K_{11}+K_{22}-2K_{12}>0$。
但是在如下几种情况下，${\alpha }_2^{new}$需要取临界值L或者H.

1.$\eta$<0,当核函数K不满足Mercer定理时，矩阵K非正定；
2.$\eta$=0,样本$x_1$与$x_2$输入特征相同；
也可以如下理解，对(3)式求二阶导数就是
$\eta =K_{11}+K_{22}-2K_{12}$
当$\eta$<0时，目标函数为凸函数，没有极小值，极值在定义域边界处取得。
当$\eta$=0时，目标函数为单调函数，同样在边界处取极值。
计算方法：
即当${\alpha }_2^{new}=L$和${\alpha }_2^{new}=H$分别代入(9)式中,
计算出${\alpha }_1^{new}=L_1$和${\alpha }_1^{new}=H_1$,其中$s=y_1{y}_2$

$$L_1={\alpha }_1+s({\alpha }_2-L)$$
$$H_1={\alpha }_1+s({\alpha }_2-H)$$
代入目标函数(1)内,比较$\Psi ({\alpha }_1=L_1,{\alpha }_2=L)$与$\Psi ({\alpha }_1=H_1,{\alpha }_2=H)$的大小,${\alpha }_2$取较小的函数值对应的边界点.
$${\Psi }_L=L_1{f}_1+L{f}_2+\frac{1}{2}{L}_1^{2}K(x_1,x_1)+\frac{1}{2}{L}^{2}K(x_2,x_2)+sL{L}_{1}K(x_1,x_2)$$

$${\Psi }_H=H_1{f}_1+H{f}_2+\frac{1}{2}{H}_1^{2}K(x_1,x_1)+\frac{1}{2}{H}^{2}K(x_2,x_2)+sH{H}_{1}K(x_1,x_2)$$

其中:
$$f_1=y_1(E_1-b)-{\alpha }_{1}K(x_1,x_1)-s{\alpha }_{2}K(x_1,x_2)$$

$$f_2=y_2(E_2-b)-s{\alpha }_{1}K(x_1,x_2)-{\alpha }_{2}K(x_2,x_2)$$
$3.启发式选择变量$
上述分析是在从N个变量中已经选出两个变量进行优化的方法，下面分析如何高效地选择两个变量进行优化，使得目标函数下降的最快。

第一个变量的选择称为外循环，首先遍历整个样本集，选择违反KKT条件的$a_i$作为第一个变量，接着依据相关规则选择第二个变量(见下面分析),对这两个变量采用上述方法进行优化。
当遍历完整个样本集后，遍历非边界样本集($0＜{\alpha }_i＜C$)中违反KKT的${\alpha }_i$作为第一个变量，同样依据相关规则选择第二个变量，对此两个变量进行优化。
当遍历完非边界样本集后，再次回到遍历整个样本集中寻找，即在整个样本集与非边界样本集上来回切换，寻找违反KKT条件的${\alpha }_i$作为第一个变量。直到遍历整个样本集后，没有违反KKT条件${\alpha }_i$，然后退出。
边界上的样本对应的${\alpha }_i=0$或者${\alpha }_i=C$,在优化过程中很难变化，然而非边界样本$0<{\alpha }_i<C$
会随着对其他变量的优化会有大的变化。
$$KKT条件$$
$${\alpha }_i=0\Rightarrow y^{(i)}(w^T{x}^{(i)}+b)\ge 1$$
$${\alpha }_i=C\Rightarrow y^{(i)}(w^T{x}^{(i)}+b)\le 1$$
$$0<{\alpha }_i<C\Rightarrow y^{(i)}(w^T{x}^{(i)}+b)=1$$

$第二个变量的选择$
SMO称第二个变量的选择过程为内循环，假设在外循环中找个第一个变量记为${\alpha }_1$,二个变量的选择希望能使${\alpha }_2$有较大的变化,由于${\alpha }_2$是依赖于
$|E_1-E_2|$,当$E_1$为正时，那么选择最小的$E_i$作为$E_2$,如果$E_i$为负，选择最大$E_i$作为$E_2$,通常为每个样本的$E_i$保存在一个列表中，选择最大的$|E_1-E_2|$来近似最大化步长。
有时按照上述的启发式选择第二个变量，不能够使得函数值有足够的下降，这时按下述步骤:

首先在非边界集上选择能够使函数值足够下降的样本作为第二个变量，
如果非边界集上没有，则在整个样本集上选择第二个变量，
如果整个样本集依然不存在，则重新选择第一个变量。

$4.阈值b的计算$
每完成对两个变量的优化后，要对b的值进行更新，因为b的值关系到$f(x)$的计算，即关系到下次优化时$E_i$的计算

1.如果$0<{\alpha }_1^{new}<C$,
由KKT条件$y_1(w^T{x}_1+b)=1$,得到${\sum }_{i=1}^N{\alpha }_i{y}_i{K}_{i1}+b=y_1$,由此得:
$$b_1^{new}=y_1-\sum _{i=3}^N{\alpha }_i{y}_i{K}_{i1}-{\alpha }_1^{new}{y}_1{K}_{11}-{\alpha }_2^{new}{y}_2{K}_{21}$$
由(5)式得，上式前两项可以替换为：
$$y_1-\sum _{i=3}^N{\alpha }_i{y}_i{K}_{i1}=-E_1+{\alpha }_1^{old}{y}_1{K}_{11}+{\alpha }_2^{old}{y}_2{K}_{11}+b^{old}$$
得出:
$$b_1^{new}=-E_1-y_1{K}_{11}({\alpha }_1^{new}-{\alpha }_1^{old})-y_2{K}_{21}({\alpha }_2^{new}-{\alpha }_2^{old})+b^{old}$$

2.如果$0<{\alpha }_2^{new}<C$,则
$$b_2^{new}=-E_2-y_1{K}_{12}({\alpha }_1^{new}-{\alpha }_1^{old})-y_2{K}_{22}({\alpha }_2^{new}-{\alpha }_2^{old})+b^{old}$$

3.如果同时满足$0<{\alpha }_i^{new}<C$,则$b_1^{new}=b_2^{new}$

4.如果同时不满足$0<{\alpha }_i^{new}<C$，则$b_1^{n}ew$与$b_2^{n}ew$以及它们之间的数都满足KKT阈值条件,这时选择他们的中点