【SVM】简单介绍（三）

我们考虑SVM的对偶问题，我们通常是在对偶空间中进行求解的。

1、Lagrange Multipliers

对于一个很一般的问题
$$\begin{array}{rl}\text{ Minimize }& f(x)\\ \text{ subject to }& \{\begin{array}{l}a(x)\ge 0\\ b(x)\le 0\\ c(x)=0\end{array}\end{array}$$

构造拉氏函数
$$\begin{array}{rl}L(x,\alpha )=& f(x)-{\alpha }_{1}a(x)-{\alpha }_{2}b(x)-{\alpha }_{3}c(x)\\ & \{\begin{array}{l}{\alpha }_1\ge 0\\ {\alpha }_2\le 0\\ {\alpha }_3\text{ is unconstrained }\end{array}\end{array}$$
我们对拉氏函数关于拉格朗日乘子求最大
$$\underset{\alpha }{\max }L(x,\alpha )=\{\begin{array}{lr}f(x),& \text{ if }\{\begin{array}{l}a(x)\ge 0\\ b(x)\le 0\\ c(x)=0\end{array}\\ +\infty ,& \text{ otherwise }\end{array}$$
于是我们的优化目标变为
$$\begin{array}{rl}\underset{x}{\min }& \underset{\alpha }{\max }L(x,\alpha )\\ \text{ subject to }& \{\begin{array}{l}a(x)\ge 0\\ b(x)\le 0\\ c(x)=0\end{array}\end{array}$$
进一步的，我们又有
$$\underset{x}{\min }\underset{\alpha }{\max }L(x,\alpha )=\underset{\alpha }{\max }\underset{x}{\min }L(x,\alpha )$$
当我们在内层把$x$消掉后，我们最终的优化问题将与样本无关，只与拉格朗日乘子有关，SVM似乎不会受样本的维数影响

2、KKT条件

$$\begin{array}{rl}& \text{ Stationarity }\nabla f\left(x^{\ast }\right)-{\alpha }_1\nabla a\left(x^{\ast }\right)-{\alpha }_2\nabla b\left(x^{\ast }\right)-{\alpha }_3\nabla c\left(x^{\ast }\right)=0\\ & \text{ Primal feasibility }\{\begin{array}{l}a\left(x^{\ast }\right)\ge 0\\ b\left(x^{\ast }\right)\le 0\\ c\left(x^{\ast }\right)=0\end{array}\\ & \text{ Dual feasibility }\{\begin{array}{l}{\alpha }_1\ge 0\\ {\alpha }_2\le 0\\ {\alpha }_3\text{ is unconstrained }\end{array}\\ & \text{ Complementary slackness }\{\begin{array}{l}{\alpha }_{1}a\left(x^{\ast }\right)=0\\ {\alpha }_{2}b\left(x^{\ast }\right)=0\\ {\alpha }_{3}c\left(x^{\ast }\right)=0\end{array}\end{array}$$

3、Hard Margin SVM 对偶问题

回到我们的Hard Margin SVM

Minimize $\frac{1}{2}\Vert \mathbf{w}{\Vert }^2$
subject to $1-y_i\left({\mathbf{w}}^T{\mathbf{x}}_i+b\right)\le 0$ for $i=1,\dots ,n$

构造拉格朗日函数
$$\mathcal{L}=\frac{1}{2}{\mathbf{w}}^T\mathbf{w}+\sum _{i=1}^n{\alpha }_i\left(1-y_i\left({\mathbf{w}}^T{\mathbf{x}}_i+b\right)\right)$$
分别对权重和偏置求偏导
$$\begin{array}{rl}\mathbf{w}+\sum _{i=1}^n{\alpha }_i\left(-y_i\right){\mathbf{x}}_i& =0\Rightarrow \mathbf{w}=\sum _{i=1}^n{\alpha }_i{y}_i{\mathbf{x}}_i\\ \sum _{i=1}^n{\alpha }_i{y}_i& =0{\alpha }_i\ge 0\\ & \end{array}$$
因此将Hard Margin SVM转化为对偶问题（把求得的$\mathbf{w}$代入）
$$\begin{array}{rl}& \max .W(\mathbf{\alpha })=\sum _{i=1}^n{\alpha }_i-\frac{1}{2}\sum _{i=1,j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j{\mathbf{x}}_i^T{\mathbf{x}}_j\\ & \text{ subject to }{\alpha }_i\ge 0,\sum _{i=1}^n{\alpha }_i{y}_i=0\end{array}$$
特别注意到：
$$\mathbf{w}=\sum _{i=1}^n{\alpha }_i{y}_i{\mathbf{x}}_i$$

1. 由于标签的值为+1或-1,所以上式隐含正负样本对分解面的贡献是大致相同的。正负样本规模大致相当
2. 对于每一个样本${\mathbf{x}}_i$，都有一个${\alpha }_i$，而当${\alpha }_i$为$0$时，该样本对分类器没有贡献，事实确实如此。而那些对分类器有贡献的样本又叫支撑向量Support Vectors