SVM(支持向量机)的一些思考：在margin上却不属于支持向量

首先支持向量机问题：

$$\begin{array}{ll}\underset{\beta ,{\beta }_0}{\min }& \frac{1}{2}\Vert \beta {\Vert }^2+C\sum _{i=1}^N{\xi }_i\\ s.t.& {\xi }_i\ge 0,y_i(x_i^T\beta +{\beta }_0)\ge 1-{\xi }_i,\forall i\end{array}\text{\hspace{1em}(12.8)}$$

拉格朗日函数：

$$L_P=\frac{1}{2}\Vert \beta {\Vert }^2+C\sum _{i=1}^N{\xi }_i-\sum _{i=1}^N{\alpha }_i[y_i(x_i^T\beta +{\beta }_0)-(1-{\xi }_i)]-\sum _{i=1}^N{\mu }_i{\xi }_i\text{\hspace{1em}(12.9)}$$

先写出KKT条件：

12.10：对$\beta$求偏导，12.11：对${\beta }_0$求偏导，12.12：对${ϵ}_i$求偏导

$$\begin{array}{rlr}\beta & =\sum _{i=1}^N{\alpha }_i{y}_i{x}_i& \\ 0& =\sum _{i=1}^N{\alpha }_i{y}_i& \\ {\alpha }_i& =C-{\mu }_i,\forall i,& \end{array}\text{\hspace{1em}(12.10)(12.11)(12.12)}$$

$$\begin{array}{rlr}{\alpha }_i[y_i(x_i^T\beta +{\beta }_0)-(1-{\xi }_i)]& =0& \\ {\mu }_i{\xi }_i& =0& \\ y_i(x_i^T\beta +{\beta }_0)-(1-{\xi }_i)& \ge 0& \end{array}\text{\hspace{1em}(12.14)(12.15)(12.16)}$$

KKT条件总结了两种情况：

1. 极值在边界取到，此时约束取等号
2. 极值在可行域内部取到，此时约束取不等号

因此分类可得(注意这里分类的技巧，必须按照约束是否为0进行分类，如果用变量是否为0进行分类，则变量为0时，约束仍然可能为0，需要再次分类)：

• 当${\xi }_i=0$时，点在边缘上，$\mu \ge 0$(12.15)，

  • $y_i(x_i^T\beta +{\beta }_0)-1=0$：点落在边缘上，此时根据12.12，$0\le \alpha <C$，
  • $y_i(x_i^T\beta +{\beta }_0)-1>0$：点在边缘外，此时根据12.14，$\alpha =0$, $\mu =C$

• 当${\xi }_{>}0$时，点在边缘内侧，不满足原来的约束，$\mu =0$(12.15)

  • $y_i(x_i^T\beta +{\beta }_0)-(1-{\xi }_i)\ge 0$，$\alpha =C$(12.12)

点在边缘外侧，$\alpha =C$，点在边缘内侧$\alpha =0$，点在边缘上，$\alpha$可能等于0。

为什么在边缘上仍然不是支持向量呢?

根据拉格朗日乘数法：$\nabla f(x)=-\alpha h(x)$ ，其中f是目标函数也就是$\frac{1}{2}{w}^2$，h是约束，

而$\alpha =0$时，说明$\nabla f(x)=0$，也就是$w=0$，代入原方程可以得到w=0, b=0，这是我们需要避免的。因此这种情况是不会出现的，换句话说在边缘上的一定是支持向量。