支持向量机（SVM）中的对偶问题

前言

在SVM中有一个求极小值的问题转换过程，转换为一个对偶问题，但是我不太清楚这个问题为什么可以转换，而且还不太清楚为什么这么转换？不太明确转换后有什么优点，写个文章来了解这些内容。

原始问题转换

$$\begin{gathered} \min \frac{1}{2}||w|{|}^2 \\ s.t.y_i(x_i+b)>=1\text{i=1,2...,n} \end{gathered}$$
拉格朗日乘子之后的公式为：
$$\begin{gathered} F(w,b,a)=\frac{1}{2}||w|{|}^2+\sum _{i=1}^n{a}_i[1-y_i(w{x}_i+b)] \\ s.t.a_i>=0 \end{gathered}$$
优化问题为：
$$\min F(w,b,a)=\frac{1}{2}||w|{|}^2+\sum _{i=1}^n{a}_i[1-y_i(w{x}_i+b)]$$

• 有一个疑惑，为什么是$1-y_i(w{x}_i+b)<=0$?
  这样可以把$a_i>0$作为约束条件，小于0 乘以-1就可以非常方便的转换过去。

我们假设有一个最优解$w^{\ast }$，则得到最小值$f(w^{\ast })=\frac{1}{2}||w^{\ast }|{|}^2$，则会发现一些：
$$\min F(w^{\ast },b,a)<=f(w^{\ast })$$
最优解$w^{\ast }$，使得$1-y_i(w{x}^{\ast }+b)<=0$，则${\sum }_{i=1}^n{a}_i[1-y_i(w^{\ast }{x}_i+b)]<=0$，这里$a_i>=0$，所以上述公式必然成立，但一般我们会把问题假设为如下所示：
$$\underset{a_i>0}{\max }F(w,b,a)=\frac{1}{2}||w|{|}^2+\sum _{i=1}^n{a}_i[1-y_i(w{x}_i+b)]$$

因为有这种考虑：

• 满足约束条件$1-y_i(w{x}_i+b)<=0$，要想使得$\underset{a_i>0}{\max }F(w,b,a)=\frac{1}{2}||w|{|}^2$，则${\sum }_{i=1}^n{a}_i[1-y_i(w{x}_i+b)]=0$，这也是KKT条件之一。
• 不满足约束条件，$1-y_i(w{x}_i+b)>0$，则$\underset{a_i>0}{\max }F(w,b,a)$可以是无穷大，也就无解了

为什么要$\underset{a_i}{\max }$，而不是$\underset{a_i}{\min }$？我觉得如果是求最小值，则有：

• 满足约束条件$1-y_i(w{x}_i+b)<=0$，要想使得$\underset{a_i>0}{\min }F(w,b,a)\to -\infty$，则$a_i\to +\infty$，无解
• 不满足约束条件，$1-y_i(w{x}_i+b)>0$，则$\underset{a_i>0}{\min }F(w,b,a)=\frac{1}{2}||w|{|}^2$，则$a_i=0$

可以看出$\underset{a_i}{\min }$是求解不了目标的，这只是我个人的理解，感兴趣的朋友可以自己去了解一下背后的数学知识。不过从另一个角度来分析：逼近。可能会有一些结果，从上面的一个公式来继续分析：
$$\min F(w^{\ast },b,a)<=f(w^{\ast })$$
该公式说明存在满足约束条件的$w^{\ast }$，那这样$F(w^{\ast },b,a)$只能去逼近这个$f(w^{\ast })$，所以是求$F(w^{\ast },b,a)$的最大值，也就是：
$$\underset{w_i}{\min }\underset{a_i>0}{\max }F(w,b,a)$$

先分析${\max }_{a_i>0}F(w,b,a)$，得到的结果是逼近$\frac{1}{2}||w|{|}^2$，然后再通过${\min }_{w_i}\frac{1}{2}||w|{|}^2$从而达到目的。我们最终的公式为：
$$\underset{w_i}{\min }\underset{a_i>0}{\max }F(w,b,a)=\frac{1}{2}||w|{|}^2+\sum _{i=1}^n{a}_i[1-y_i(w{x}_i+b)]$$
$\max$可以使得我们得到最接近$\frac{1}{2}||w|{|}^2$的$F(w,b,a)$，然后再求$\min \frac{1}{2}||w|{|}^2$，很多博客里称$\underset{x}{\min }\underset{a_i>0}{\max }F(w,b,a)$为原始问题，接下来就是求解该原始问题的对偶问题。

对偶问题

于是我们可以转换问题为$min-max$问题：
$$\underset{w}{\min }\underset{a_i>0}{\max }\frac{1}{2}||w|{|}^2+\sum _{i=1}^n{a}_i[1-y_i(w{x}_i+b)]$$

对偶问题就是将min与max位置互换，为什么可以互换？确实是可以互换的，但是不太清楚原理，先直接放定理：若原始问题和对偶问题都有最优值，则对偶问题最优值$d^{\ast }$小于或等于原始问题最优值$p^{\ast }$。公式表示就是如下：
$$d^{\ast }=\underset{w}{\min }\underset{a,b}{\max }F(w,a,b)<=\underset{a,b}{\max }\underset{w}{\min }F(w,a,b)=p^{\ast }$$
其实我是非常想学习这个对偶问题的转换，其相关知识涉及最优化理论、运筹学等数学知识，需要时间去研读。不过就这个问题继续转换，就是得到原问题的对偶问题，这中间的转换主要是：

• ${\min }_{w}F(w,b,a_i)$ 对w、b求偏导，偏导等于零，求极值，得到：
  $$\begin{gathered} w=\sum _i{a}_i{y}_i{x}_i \\ \sum _{i}ay=0 \end{gathered}$$

• 将w、b结果代入到原公式中得到：
  $$\begin{gathered} ma{x}_{a_i>0}-\frac{1}{2}\sum _i\sum _j{a}_i{a}_j{y}_i{y}_j(x_i\ast x_j)+\sum _i{a}_i \\ s.t.\sum _i{a}_i{y}_i=0 \\ {a}_i>=0 \end{gathered}$$
  在对这个函数求解，求解方法有SMO方法，也可以通过求极值方法，假设我们得到了$a$的值，然后再通过

$$w=\sum _i{a}_i{y}_i{x}_i$$
求解b 稍微复杂些，根据$y=wx+b$求的：
$$b=y_j-\sum _i{a}_i{y}_i(x_i\ast x_j)$$
这里$y_j$是支持向量的点，并不是所有样本数据集，是$a_j>0$的点，而且也不是只有一个，应该有多个，最后求解平均值作为b的值。

转换为对偶问题的优点

• 对偶问题往往更易于求解
  为什么这么讲呢？原本的函数是$mi{n}_{w}ma{x}_{a,b}$变为了$ma{x}_{a,b}mi{n}_w$，这样$a,b$的值可以用$w$来替换，这样对求解方程方便。原问题的优化是一个二次规划问题，求解较麻烦，用拉格朗日乘子法转换后可以用smo等算法更简单地优化。
• 自然引入核函数，推广到非线性分类问题的求解
  由于转换后的假设函数主要由内积运算构成，可以使用核函数简化特征映射到高维空间后的内积运算，高效地求解非线性问题。

总结

对偶问题还是比较难理解，本文没有去分析其原理，而且本文是基于一个min问题来看到对偶问题，如果是一个max问题，它的对偶问题如何，其实也是一样的，思想是换成了求上限，对上限求min，逼近真实值，大家可以看下参考博客的知乎，Cyber的回答，这篇文章会继续完善。

参考博客

深入理解SVM之对偶问题
如何通俗地讲解对偶问题？尤其是拉格朗日对偶lagrangian duality？
KKT 条件
【分类战车SVM】第四话：拉格朗日对偶问题（原来这么简单，你也可以轻松学会）
一文理解拉格朗日对偶和KKT条件