支持向量机（SVM）原理推导：Soft-margin

Soft-margin SVM原理推导

问题阐述

已知硬边缘支持向量机模型为：
$$\begin{array}{rl}& \underset{w,b}{\min }\frac{1}{2}\Vert w{\Vert }^2\\ & s.t.y_i\left({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b\right)⩾1,i=1,2,\dots ,m\end{array}$$

然而现实训练样本存在不完全线性可分的情况，如下图所示

即存在某些样本不满足约束

$$y_i\left({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b\right)⩾1$$

因此引入“松弛变量” ${\xi }_i\ge 0$，并使得在最大化间隔的同时，不满足约束的样本应该尽可能少。

$$\begin{array}{rl}& \underset{w,b,{\xi }_i}{\min }\frac{1}{2}\Vert w{\Vert }^2+C\sum _{i=1}^m{\xi }_i\\ & s.t.y_i\left({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b\right)⩾1-{\xi }_i\\ & {\xi }_i\ge 0,i=1,2,...,m\end{array}$$

拉格朗日对偶问题

使用拉格朗日乘子法得到拉格朗日函数：

$$\begin{array}{rl}L(\mathbf{w},b,\mathbf{\alpha },\mathbf{\xi },\mathbf{\mu })=& \frac{1}{2}\Vert \mathbf{w}{\Vert }^2+C\sum _{i=1}^m{\xi }_i\\ & +\sum _{i=1}^m{\alpha }_i\left(1-{\xi }_i-y_i\left({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b\right)\right)-\sum _{i=1}^m{\mu }_i{\xi }_i\end{array}$$

其中 ${\alpha }_i\ge 0,{\mu }_i\ge 0$ 是拉格朗日乘子。

即原始问题的等价问题变为：
$$\underset{w,b,{\xi }_i}{\min }\max L(\mathbf{w},b,\mathbf{\alpha },\mathbf{\xi },\mathbf{\mu })$$

再求其对偶问题：

$$\max \underset{w,b,{\xi }_i}{\min }L(\mathbf{w},b,\mathbf{\alpha },\mathbf{\xi },\mathbf{\mu })$$

求解 ${\min }_{w,b,{\xi }_i}L(\mathbf{w},b,\mathbf{\alpha },\mathbf{\xi },\mathbf{\mu })$ ，令 $L(\mathbf{w},b,\mathbf{\alpha },\mathbf{\xi },\mathbf{\mu })$ 对 $\mathbf{w},\mathbf{\xi },\mathbf{\mu }$ 求偏导数：

$$\begin{array}{rl}& \frac{\partial L(\mathbf{w},b,\mathbf{\alpha },\mathbf{\xi },\mathbf{\mu })}{\partial \mathbf{w}}=\mathbf{w}-\sum _{i=1}^m{\alpha }_i{y}_i{\mathbf{x}}_{\mathbf{i}}\\ & \frac{\partial L(\mathbf{w},b,\mathbf{\alpha },\mathbf{\xi },\mathbf{\mu })}{\partial b}=\frac{\partial {\sum }_{i=1}^m{\alpha }_i(-y_i)b}{\partial b}=-\sum _{i=1}^m{\alpha }_i{y}_i\\ & \frac{\partial L(\mathbf{w},b,\mathbf{\alpha },\mathbf{\xi },\mathbf{\mu })}{\partial {\xi }_i}=C-{\alpha }_i-{\mu }_i\end{array}$$

令偏导数为零可得：

$$\begin{array}{rl}& \mathbf{w}=\sum _{i=1}^m{\alpha }_i{y}_i{\mathbf{x}}_{\mathbf{i}},\\ & 0=\sum _{i=1}^m{\alpha }_i{y}_i\\ & C={\alpha }_i+{\mu }_i\end{array}$$

将其带入拉格朗日函数，对偶问题变为：

$$\begin{array}{rl}\underset{\alpha }{\max }& \sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{\mathbf{x}}_i^{\mathrm{T}}{\mathbf{x}}_j\\ \text{ s.t. }& \sum _{i=1}^m{\alpha }_i{y}_i=0,\\ & 0⩽{\alpha }_i⩽C,i=1,2,\dots ,m\end{array}$$

KKT条件

对于软间隔支持向量机，KKT条件要求：

$$\{\begin{array}{l}{\alpha }_i⩾0,{\mu }_i⩾0\\ y_{i}f\left({\mathbf{x}}_i\right)-1+{\xi }_i⩾0\\ {\alpha }_i\left(y_{i}f\left({\mathbf{x}}_i\right)-1+{\xi }_i\right)=0\\ {\xi }_i⩾0,{\mu }_i{\xi }_i=0\end{array}$$

分析上述条件，对于 $\forall ({\mathbf{x}}_i,y_i)$，总有 ${\alpha }_i=0\bigvee y_{i}f({\mathbf{x}}_i)=1-{\xi }_i$。

• 若 ${\alpha }_i=0$，则该样本无影响。
• 若 $y_{i}f({\mathbf{x}}_i)=1-{\xi }_i$，则该样本为“支持向量”。由对偶问题的约束可知
  • 若 ${\alpha }_i<C$，则 ${\mu }_i>0$，进而 ${\xi }_i=0$，该样本恰处于最大间隔边界
  • 若 ${\alpha }_i=C$，则 ${\mu }_i=0$，此时若 ${\xi }_i\le 1$，则样本处于最大间隔内部；若 ${\xi }_i>1$ 则样本被错误分类

因此最终模型仅与支持向量有关，根据上述式子可得：

$$\begin{array}{rl}w& =\sum _{i=1}^m{\alpha }_i{y}_i{\mathbf{x}}_i\end{array}$$

令所有支持向量的下标集为 $\mathbf{S}=\{i|{\alpha }_i>0,i=1,2,...,n\}$，对于任意支持向量 $({\mathbf{x}}_s,y_s)$，都有 $y_s{f}_{(}{\mathbf{x}}_s)=1-{\xi }_s$，因此

$$y_s(\sum _{i\in \mathbf{S}}{\alpha }_i{y}_i{\mathbf{x}}_i^{\mathrm{T}}{\mathbf{x}}_s+b)=1-{\xi }_s$$

理论上可以采用任意支持向量求得 $b$，但鲁棒性更高的做法为使用所有支持向量的均值求得：

$$b=\frac{1}{|\mathbf{S}|}\sum _{s\in S}(\frac{1-{\xi }_s}{y_s}-\sum _{i\in \mathbf{S}}{\alpha }_i{y}_i{\mathbf{x}}_i^{\mathrm{T}}{\mathbf{x}}_s)$$