SVM之目标函数求解

经过前面几篇文章的介绍，我们知道了支持向量机背后的原理。同时，为了求解SVM中的目标函数，我们还在前面两篇文章中陆续介绍了拉格朗日乘数法和对偶性问题。接下来，在这篇文章中将开始正式介绍SVM的求解过程。

1 构造广义拉格朗日函数$\mathcal{L}(w,b,\alpha )$

由 前文可知SVM最终的优化目标为：
$$\begin{array}{rl}& \underset{w,b}{\min }\frac{1}{2}||w|{|}^2\\ & s.t.y^{(i)}(w^T{x}^{(i)}+b)\ge 1,i=1,2,...m\end{array}\text{\hspace{1em}(1)}$$

由此我们可以得到广义的拉格朗日函 数为：
$$\begin{array}{rl}& \mathcal{L}(w,b,\alpha )=\frac{1}{2}||w|{|}^2-\sum _{i=1}^m{\alpha }_i[y^{(i)}(w^T{x}^{(i)}+b)-1]\end{array}\text{\hspace{1em}(2)}$$

且同时记：
$$g_i(w)=-y^{(i)}(w^T{x}^{(i)}+b)+1\le 0\text{\hspace{1em}(3)}$$
由对偶性：
$$d^{\ast }=\underset{\alpha ,{\alpha }_i\ge 0}{\max }\underset{w,b}{\min }\mathcal{L}(w,b,\alpha )=\underset{w,b}{\min }\underset{\alpha ,{\alpha }_i\ge 0}{\max }\mathcal{L}(w,b,\alpha )=p^{\ast }\text{\hspace{1em}(4)}$$
可知，对偶问题$d^{\ast }$与原始问题$p^{\ast }$同解需满足KKT条件：
$$\begin{array}{r}\{\begin{array}{l}{\alpha }_i\ge 0;\\ g_i(w,b)\le 0;\\ {\alpha }_i{g}_i(w,b)=0\end{array}\end{array}\text{\hspace{1em}(5)}$$

于是，对于任意训练样本$(x^{(i)},y^{(i)})$，总有${\alpha }_i=0$或者${\alpha }_i{g}_i(w,b)=0$。若${\alpha }_i=0$，由下面式子$(6)$中$w$的解析式可知，超平面为$0x+b=0$，这就意味着${\alpha }_i=0$所对应的样本点与决策面无关；若${\alpha }_i>0$，由式子$(3)(5)$可知则必有$y^{(i)}(w^T{x}^{(i)}+b)=1$，也就是说该样本点是一个支持向量。这显示出一个重要性质：超平面仅仅与支持向量有关。

2 关于参数$w,b$,求$\mathcal{L}$的极小值$W(\alpha )$

这一步同拉格朗日乘数法求极值一样，分别对$w,b$求偏导，并令其为0：
$$\begin{array}{rl}\frac{\partial \mathcal{L}}{\partial w}& =w-\sum _{i=1}^m{\alpha }_i{y}^{(i)}{x}^{(i)}=0;\\ w& =\sum _{i=1}^m{\alpha }_i{y}^{(i)}{x}^{(i)}\\ \frac{\partial \mathcal{L}}{\partial b}& =\sum _{i=1}^m{\alpha }_i{y}^{(i)}=0\end{array}\text{\hspace{1em}(6)}$$

在此，我们便得到了权重$w$的解析表达式，而它对于理解SVM中核函数的利用有着重要作用。接着将$(6)$代入$(2)$可得：
$$\begin{array}{r}W(\alpha )=\underset{w,b}{\min }\mathcal{L}(w,b,\alpha )=\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i,j=1}^m{y}^{(i)}{y}^{(j)}{\alpha }_i{\alpha }_j(x^{(i)}{)}^T{x}^{(j)}\end{array}\text{\hspace{1em}(7)}$$

详细步骤：
$$\begin{array}{rl}\mathcal{L}& =\frac{1}{2}{w}^{T}w-\sum _{i=1}^m{\alpha }_i[y^{(i)}(w^T{x}^{(i)}+b)-1]\\ & =\frac{1}{2}{w}^{T}w-\sum _{i=1}^m{\alpha }_i{y}^{(i)}{w}^T{x}^{(i)}-\sum _{i=1}^m{\alpha }_i{y}^{(i)}b+\sum _{i=1}^m{\alpha }_i\\ & =\frac{1}{2}{w}^{T}w-w^T\sum _{i=1}^m{\alpha }_i{y}^{(i)}{x}^{(i)}-b\sum _{i=1}^m{\alpha }_i{y}^{(i)}+\sum _{i=1}^m{\alpha }_i\end{array}\text{\hspace{1em}(8)}$$

将$(6)$代入$(8)$得
$$\begin{array}{rl}W(\alpha )& =\frac{1}{2}{w}^{T}w-w^{T}w+\sum _{i=1}^m{\alpha }_i\\ & =\sum _{i=1}^m{\alpha }_i-\frac{1}{2}{w}^{T}w\\ & =\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i,j=1}^m{\alpha }_i{\alpha }_j{y}^{(i)}{y}^{(j)}(x^{(i)}{)}^T{x}^{(j)}\end{array}\text{\hspace{1em}(9)}$$
其中：
$$\begin{array}{rl}{w}^{T}w& =\sum _{i=1}^m{\alpha }_i{y}^{(i)}{x}^{(i)}\cdot \sum _{j=1}^m{\alpha }_j{y}^{(j)}{x}^{(j)}\\ & =\sum _{i,j=1}^m{\alpha }_i{\alpha }_j{y}^{(i)}{y}^{(j)}(x^{(i)}{)}^T{x}^{(j)}\\ & =\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}^{(i)}{y}^{(j)}(x^{(i)}{)}^T{x}^{(j)}\end{array}\text{\hspace{1em}(10)}$$

3 求$W(\alpha )$的极大值

由式子$(7)$我们可以得出如下优化问题：
$$\begin{array}{rl}\underset{\alpha }{\max }& W(\alpha )=\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i,j=1}^m{y}^{(i)}{y}^{(j)}{\alpha }_i{\alpha }_j(x^{(i)}{)}^T{x}^{(j)}\\ s.t.& {\alpha }_i\ge 0,i=1,...,m\\ & \sum _{i=1}^m{\alpha }_i{y}^{(i)}=0\end{array}\text{\hspace{1em}(11)}$$
之所以式子$(6)$中的最后一个也会成为约束条件，是因为$W(\alpha )$就是通过$(6)$求解出来的，是$W(\alpha )$存在的前提。

现在我们的优化问题变成了如上的形式。对于这个问题，我们有更高效的优化算法，即序列最小优化（SMO）算法。我们通过这个优化算法能得到$\alpha$，然后再将$\alpha$代入式子$(6)$我们就可以求解出$w,b$，进而求得我们最初的目的：找到超平面，即”决策平面”。

4 求解参数$b$

在求解出$\alpha$之后，代入$(6)$即可求解得到$w$；而$b$的求解公式为：
$$b=-\frac{1}{2}(\underset{i:y^{(i)}=-1}{\max }{w}^T{x}^{(i)}+\underset{i:y^{(i)}=+1}{\min }{w}^T{x}^{(i)})\text{\hspace{1em}(12)}$$

这个公式怎么来的呢？由式子$(5)$可知，正负样本支持向量所在的直线为$y^{(i)}(w^T{x}^{(i)}+b)=1$，即：

对于正样本支持向量来说有：
$$w^T{x}^{(+)}+b=1\text{\hspace{1em}(13)}$$
对于负样本支持向量来说有：
$$w^T{x}^{(-)}+b=-1\text{\hspace{1em}(14)}$$
因此由$(13)(14)$可得：
$$b=-\frac{1}{2}(w^T{x}^{(+)}+w^T{x}^{(-)})\text{\hspace{1em}(15)}$$
不过这看起来似乎和$(12)$还有一点点差距，原因在哪儿呢？在前面的文章我们说到可以用$|w^{T}x+b|$（函数间隔）来衡量样本点到超平面的远近程度，由于大家的截距$b$都是一样，所以我们同样可以用$|w^{T}x|$来作为标准。因此对于正样本来说，离超平面最近的支持向量就应该是$\min (w^{T}x)$（因为此时$w^{T}x>0$，所以选择最小的）；而对于负样本来说，离超平面最近的支持向量就应该是$\max (w^{T}x)$（因为此时$w^{T}x<0$，所以选择最大的）。由此，我们便能得到截距$b$的计算公式。

例如：

如图，红色为正样本($y=+1$),紫色为负样本($y=-1$),直线为$x_1+x_2-b=0$,则有：

$$\begin{array}{rl}& \underset{i:y^{(i)}=-1}{\max }{w}^T{x}^{(i)}=\max (1\ast 2+1\ast 3,1\ast 1+1\ast 2)=5\\ & \underset{i:y^{(i)}=+1}{\min }{w}^T{x}^{(i)}=\min (1\ast 5+1\ast 4,1\ast 6+1\ast 3)=9\\ & b=-\frac{1}{2}(5+9)=-7\end{array}$$

5 总结

在这篇文章中，笔者首先介绍了在求解SVM模型中如何构造广义的拉格朗日函数以及其对应的对偶问题；接着我们通过求解对偶问题中$\mathcal{L}(w,b,\alpha )$的极小值得到了$w$的计算解析式$(6)$，需要提醒的是$w$的表达式也是理解SVM核函数的关键；最后我们同样还得到了截距$b$的计算解析式。同时，这也是关于SVM内容的最后一篇文章，当然还是有很多地方没有介绍到例如$\alpha ,w$的求解过程等。其原因在于对于最后部分的求解内容笔者自己确实也没弄明白，所以就不再此处献丑了。感兴趣的朋友可以自己检索相关资料进行学习。本次内容就到此结束，感谢阅读！

若有任何疑问与见解，请发邮件至[email protected]并附上文章链接，青山不改，绿水长流，月来客栈见！

引用

[1]《统计机器学习（第二版）》李航，公众号回复“统计学习方法”即可获得电子版与讲义

[2] Andrew Ng. CS229. Note3 http://cs229.stanford.edu/notes/cs229-notes3.pdf

[3] Deriving the optimal value for the intercept term in SVM https://stats.stackexchange.com/questions/91269/deriving-the-optimal-value-for-the-intercept-term-in-svm

推荐阅读

[1]原来这就是支持向量机

[2]从另一个角度理解支持向量机

[3]SVM之sklearn建模与线性不可分

[4]SVM之软间隔最大化