SVM(support vector machine)算法详解中之转化对偶问题

本文总结一下SVM(support vector machine)算法。

学习SVM算法主要有三个难点：

• 如何推导出基本的优化目标。(其中包括理解函数距离与几何距离)
• 对于基本优化目标的公式如何转化为对偶问题。
• 转化为对偶问题后对拉格朗日因子的求解，也就是SMO算法。

因此，本文分为三个部分来讲述SVM算法。

• SVM【上】之形成优化目标
• SVM【中】之转化对偶问题
• SVM【下】之SMO算法求解拉格朗日因子

这是SVM【中】之转化对偶问题，重点理解对偶问题的转化.

问题描述

这节主要是对上节中的优化目标函数进行求解转化。上一节的优化问题为
$$\begin{gathered} \underset{w,b}{\min }\frac{1}{2}||w|{|}^2 \\ s.t.y_i(w^T{x}_i+b)\ge 1 \end{gathered}$$
也就是在约束条件$y_i(w^T{x}_i+b)\ge 1$下，求使得$\underset{w,b}{\min }\frac{1}{2}||w|{|}^2$最小的参数$w,b$. 注意是求参数$w,b$,最小值是多少并不关心。

广义拉格朗日函数

对于求解如下约束的最优化问题即
$$\begin{gathered} \underset{x}{\min }f(x) \\ s.t.g(x)\le 0 \end{gathered}$$
一般采用广义拉格朗日函数来求解，这里简单说明下广义拉格朗日函数。

定义拉格朗日函数为
$$L(x,\lambda )=f(x)+\lambda g(x)(其中\lambda \ge 0)$$
对于我们的原最优化问题可以这样转化：
$$\underset{x}{\min }f(x)s.t.g(x)\le 0\iff \underset{x}{\min }\underset{\lambda ,\lambda \ge 0}{\max }L(x,\lambda )$$
为什么呢？简单说明一下。

首先再强调一下，原问题目标是求$f(x)$的最小值，但它有个$g(x)$这个约束。必须是在这个约束下求最值。

那么，

1. 第一种情况是在$L(x,\lambda )$中的$g(x)$不满足约束，即$g(x)>0$.对于$\underset{\lambda ,\lambda \ge 0}{\max }L(x,\lambda )$ 这个式子，注意，这里$x$当作常量，$\lambda$才是变量。它的最大值$\underset{\lambda ,\lambda \ge 0}{\max }L(x,\lambda )=+\infty$. 然后对于任意$x$是没有最小值的。反过来也就是说，如果求得了一个最小值，那它必然是满足约束条件$g(x)$的。
2. 第二种情况是在$L(x,\lambda )$中的$g(x)$满足约束条件，即$g(x)\le 0$. 对于$\underset{\lambda ,\lambda \ge 0}{\max }L(x,\lambda )$ 这个式子，依然将$x$看作常数，$\underset{\lambda ,\lambda \ge 0}{\max }L(x,\lambda )=f(x)+\underset{\lambda ,\lambda \ge 0}{\max }\lambda g(x)$.其中因为$\lambda \ge 0,g(x)\le 0$,所以$\underset{\lambda ,\lambda \ge 0}{\max }\lambda g(x)=0$.即$\underset{\lambda ,\lambda \ge 0}{\max }L(x,\lambda )=f(x)$.此时再两边将$x$看作变量求最小值是相等的，也就是$\underset{x}{\min }\underset{\lambda ,\lambda \ge 0}{\max }L(x,\lambda )=\underset{x}{\min }f(x)$.

一句话总结一下，对于$\underset{x}{\min }\underset{\lambda ,\lambda \ge 0}{\max }L(x,\lambda )$求得的最小值必然就是原问题满足约束的最小值。

对偶转化

对于$\underset{x}{\min }\underset{\lambda ,\lambda \ge 0}{\max }L(x,\lambda )$问题，可以简单地看作是一个二元函数，先对其中一个自变量求最大值，再对另一个自变量求最小值。我们先不加证明的给出结论(左边是原始问题，右边是对偶问题)：
$$\underset{x}{\min }\underset{\lambda ,\lambda \ge 0}{\max }L(x,\lambda )\ge \underset{\lambda ,\lambda \ge 0}{\max }\underset{x}{\min }L(x,\lambda )$$
啰嗦一句，(1)$\underset{x}{\min }\underset{\lambda ,\lambda \ge 0}{\max }L(x,\lambda )$是从右向左算，先算最大再算最小。(2)注意min或max下面对应变量才是自变量，其余变量在计算此时的最大或最小时可以看作常量。

下面简单证明一下

令原始问题的最优解为$x_0,{\lambda }_0$,即$L(x_0,{\lambda }_0)=\underset{x}{\min }\underset{\lambda ,\lambda \ge 0}{\max }L(x,\lambda )$.

令对偶问题的最优解为$x_1,{\lambda }_1$,即$L(x_1,{\lambda }_1)=\underset{\lambda ,\lambda \ge 0}{\max }\underset{x}{\min }L(x,\lambda )$.

因为$L(x_0,{\lambda }_0)$是关于$\lambda$的最大值，所以对于任意$\lambda$，都有$L(x_0,{\lambda }_0)\ge L(x_0,\lambda )$. 那么$L(x_0,{\lambda }_0)\ge L(x_0,{\lambda }_1)$.

因为$L(x_1,{\lambda }_1)$是关于$x$的最小值，所以对于任意$x$，都有$L(x_1,{\lambda }_1)\le L(x,{\lambda }_1)$. 那么$L(x_1,{\lambda }_1)\le L(x_0,{\lambda }_1)$.

所以，$L(x_0,{\lambda }_0)\ge L(x_0,{\lambda }_1)\ge L(x_1,{\lambda }_1)$.因此原始问题最值$\ge$对偶问题最值。

可是，这里是$\ge$啊！又不是$=$.这又不完全等价转化。

这里，不加证明地说明，只要满足KKT条件，那就可以完全转化，原始问题$=$对偶问题.那KKT条件是什么呢？KKT条件就是之前的约束都满足。即
$$\begin{gathered} g(x)\le 0 \\ \lambda g(x)=0 \\ \lambda \ge 0 \end{gathered}$$
所谓转化为对偶问题，也即是转化为满足KKT条件的对偶问题，否则是不能完全等价转化的。

回到SVM原始目标的转化上来

我们定义拉格朗日函数
$$L(w,b,\alpha )=\frac{1}{2}||w|{|}^2+\sum _{i=1}^m{\alpha }_i[1-y_i(w^T{x}_i+b)](其中{\alpha }_i\ge 0)$$
其中，m是样本数量，这里就有m个约束，当然也就有m个拉格朗日因子。现在SVM原始目标转化为
$$\underset{w,b}{\min }\underset{\alpha ,\alpha \ge 0}{\max }L(w,b,\alpha )$$
再转化为满足KKT条件的对偶问题(这里就直接写等号了)
$$\underset{w,b}{\min }\underset{\alpha ,\alpha \ge 0}{\max }L(w,b,\alpha )=\underset{\alpha ,\alpha \ge 0}{\max }\underset{w,b}{\min }L(w,b,\alpha )=\underset{\alpha ,\alpha \ge 0}{\max }\underset{w,b}{\min }\frac{1}{2}||w|{|}^2+\sum _{i=1}^m{\alpha }_i[1-y_i(w^T{x}_i+b)]$$
KKT条件：
$$\begin{gathered} {\alpha }_i\ge 0 \\ 1-y_i(w^T{x}_i+b)\le 0 \\ {\alpha }_i[1-y_i(w^T{x}_i+b)]=0 \end{gathered}$$
对于$\underset{w,b}{\min }\frac{1}{2}||w|{|}^2+{\sum }_{i=1}^m{\alpha }_i[1-y_i(w^T{x}_i+b)]$.这里将${\alpha }_i$看作常量，可以通过求导令导数为0来算出极值点。(这也是为什么要转化为对偶问题，因为这里可以通过求导算极值点)。

对$w$求导：
$${\nabla }_w=w-\sum _{i=1}^m{\alpha }_i{y}_i{x}_i=0\Rightarrow w^{\ast }=\sum _{i=1}^m{\alpha }_i{y}_i{x}_i$$
对$b$求导：
$${\nabla }_b=\sum _{i=1}^m{\alpha }_i{y}_i=0$$
这里先将${\alpha }_i$看作常量，假设我们已经求得了最终的${\alpha }_i$,那么求得的$w^{\ast }$就可以算出来了，因为${\alpha }_i,y_i,x_i$都已知。如何求$b$呢？注意到第三个KKT条件，当${\alpha }_i>0$时，(对应这个$x_i$就是所谓的支持向量)那么$y_s(w^T{x}_s+b)=1$.这里w已求出，只有b未知，所以$b_s=y_s-w^{\ast }{x}_s=y_s-{\sum }_{i=1}^S{\alpha }_i{y}_i{x}_i^T{x}_s$.理论上，任意一个支持向量$x_s$都应该算出一样的b.但是这里一般求所以支持向量算出的$b_s$的平均值来表示最终的$b^{\ast }$.即$b^{\ast }=\frac{1}{S}{\sum }_{i=1}^S{b}_s$.(S表示共S个支持向量)。至于为什么呢？简单地说就是主要是求得的$\alpha$并不是准确值，这得参考下一节用SMO来求解$\alpha$的过程。

我们将求得的$w^{\ast }$带入$\underset{\alpha ,\alpha \ge 0}{\max }\underset{w,b}{\min }\frac{1}{2}||w|{|}^2+{\sum }_{i=1}^m{\alpha }_i[1-y_i(w^T{x}_i+b)]$中得到
$$\underset{\alpha ,\alpha \ge 0}{\max }\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j$$
转化为求最小，再将上面的约束加上，得到最终的优化问题(这个优化问题是由SMO算法来解决)
$$\begin{gathered} \underset{\alpha ,\alpha \ge 0}{\min }\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j-\sum _{i=1}^m{\alpha }_i \\ s.t.\sum _{i=1}^m{\alpha }_i{y}_i=0 \\ 0\le {\alpha }_i \end{gathered}$$

参考

广义拉格朗日函数的理解

简易解说拉格朗日对偶(Lagrange duality)