机器学习——SVM预备知识 拉格朗日对偶推导与证明

---

以下内容均为个人理解，如有错误，欢迎指出

---

以下内容在周志华老师《机器学习》的基础上加以理解而成，首先先明白，SVM之所以引入拉格朗日对偶，是为了降低算法复杂度，并且引入核函数时，在数学上更加自然

问题描述

考虑具有m个等式约束和n个不等式约束，可行域D非空的优化问题
$$\begin{gathered} \underset{x}{\min }f(x) \\ s.t{h}_i(x)=0(i=1,2,....,m) \\ {g}_j(x)\le 0(j=1,2,......n) \end{gathered}$$

以下表述中,用原问题来表示上述问题，不等约束指$$\begin{gathered} h_i(x)=0(i=1,2,....,m) \\ {g}_j(x)\le 0(j=1,2,......n) \end{gathered}$$

解决方法

我们借用拉格朗日乘子法的表达式
$$L(x,\lambda ,\mu )=f(x)+\sum _{i=1}^m{\mu }_i{g}_i(x)+\sum _{i=1}^n{\beta }_i{h}_i(x)（式1.0）$$
对于满足原问题不等式约束的$x$来说，对任意的$\mu \ge 0$$$\sum _{i=1}^m{\mu }_i{g}_i(x)+\sum _{i=1}^n{\beta }_i{h}_i(x)\le 0$$
则对于可行域中任意$x$来说，用$\mu$表示${\mu }_1,{\mu }_2,...,{\mu }_n$，$\beta$表示${\beta }_1,{\beta }_2,....,{\beta }_m$，有$$L(x,\mu ,\beta )\le f(x)$$
设$\hat{x}$为原问题的解对应的自变量取值，进而有$$\underset{x}{\min }L(x,\mu ,\beta )\le L(\hat{x},\mu ,\beta )\le f(\hat{x})\Rightarrow \underset{x}{\min }L(x,\mu ,\beta )\le f(\hat{x})（式1.1）$$

上述不等式里的$x$即使不满足不等式约束，上述不等式也成立，到这里，我们把原问题中的不等式约束全部丢掉了，只剩下$\mu \ge 0$这一个约束

现在我们有一个想法，假设存在$(x、\mu 、\beta )$使得式1.1的等号成立，此时$\underset{x}{\min }L(x,\mu ,\beta )$的取值不就是原问题的最小值了吗？然后通过某些方式求出$\hat{x}$，原问题不就解决了吗？现在我们想想，什么情况下，式1.1的等号最有可能成立。观察$\underset{x}{\min }L(x,\mu ,\beta )$，我们可以得知以下两点：

1、$\underset{x}{\min }L(x,\mu ,\beta )$其实是关于$\beta$,$\mu$的函数，通过把$\beta 、\mu$看成常数，求解该函数的最小值，此时$x$的取值可以表示为$\beta 、\mu$的某个组合形式，接着将这个组合形式代入$L(x,\mu ,\beta )$，即可求得$\underset{x}{\min }L(x,\mu ,\beta )$
2、式1.1对于可行域中的任意$x$，对于任意$\mu \ge 0$均成立，所以$$\underset{\lambda ,\mu }{\max }[\underset{x}{\min }L(x,\mu ,\beta )]\le f(\hat{x})（式1.2）$$

因此，当$\underset{x}{\min }L(x,\beta ,\mu )$取值最大时，等号最有可能成立，即$$\underset{\mu ,\beta }{\max }[\underset{x}{\min }L(x,\mu ,\beta )]s.t(\mu \ge 0)（式1.3）$$

接下来，我们想通过添加某些条件，使得式1.2等号成立

添加的条件

假设2.0：$f(w),g_i(w)$都是凸函数，$h_j(w)$是仿射函数（y=Ax+b），并且满足Slater条件的基础上，式1.1的等号成立

Slater条件

Slater条件是指，函数的可行域中存在一点$x^{\prime }$同时满足
$$\{\begin{array}{rl}& g_i(x)<0i=1,2.....,n\\ & h_j(x)=0j=1,2.....,n\end{array}$$

接下来，我们将证明满足假设2.0的情况下，式1.2的等号成立

证明过程

以下内容整合自期末考试求过

预备知识

凸集：凸集是对于集合内的每一对点，连接该对点的直线段上的每个点也在该集合内

支撑超平面定理：设集合C是$R_n$空间中的闭凸集， $\hat{x}$是C边界上一点，则必存在一个过点$\hat{x}$的超平面，使得C位于它的一个闭半空间。即存在法向量$a$,使得对于C中任意点$x$ ，有$$a\ast x-a\ast \hat{x}\ge 0$$，*是向量点乘
这个定理画成图就是这个样子：

我们定义点集$G_e$
$$\begin{gathered} G_e=({\mu }_1,{\mu }_2,.....,{\mu }_n,v_1,v_2,.....,v_m,t) \\ 其中\{\begin{array}{rl}& {\mu }_i\ge g_i(x)i=1,2,3....n\\ & v_j=h_j(x)j=1,2,3....m\\ & t\ge f(x)x\in R^d\end{array} \end{gathered}$$
简化表示为$G_e=(\mu ,v,t):\mu \ge g(w),v=h(w),t\ge f(w),w\in R^d$
该点集是一个凸集，证明如下

设$A({\mu }_a,v_a,t_a)$和$B({\mu }_b,v_b,t_b)$是$G_e$内的两个点，则AB连线上的点$C$可表示为$C=cA+(1-c)B，0\le c\le 1$，则有
$$\begin{gathered} {\mu }_c=c{\mu }_a+(1-c){\mu }_b \\ {v}_c=c{v}_a+(1-c)v_b \\ {t}_c=c{t}_a+(1-c)t_b \end{gathered}$$
接下来，我们只需要证明$C$在$G_e$中即可，即我们需要找到一个点$x_c$，使得点$C$满足$G_e$中的约束条件，我们假设$x_c=\lambda x_a+(1-\lambda )x_{b}0\le \lambda \le 1$

对于$v_c$，由于h(x)是一个仿射函数，因此$v_c=c{v}_a+(1-c)v_b=ch(x_a)+(1-c)h(x_b)=h(c{x}_a+(1-c)x_b)=h(x_c)$。

对于${\mu }_c$和$v_c$，由于$g(x)$和$h(x)$都是凸函数，凸函数满足
$$f(\lambda x_1+(1-\lambda )x_2)\le \lambda f(x_1)+(1-\lambda )f(x_2)$$
则有
$$\begin{gathered} {\mu }_c=c{\mu }_a+(1-c){\mu }_b\ge cg(x_a)+(1-c)g(x_b)\ge g[c{x}_a+(1-c)x_b]=g(x_c) \\ {t}_c=c{t}_a+(1-c)t_b\ge cf(x_a)+(1-c)f(x_b)\ge f[c{x}_a+(1-c)x_b]=f(x_c) \end{gathered}$$

由此可知$G_e$里的任意一对点，该对点的直线段上的每个点也在$G_e$内，因此$G_e$是凸集

设$x^{\ast }$为f(x)在不等式约束（原问题描述那一节的不等式约束）下的最小值对应的x取值，设$p^{\ast }=f(x^{\ast })$，那么$(0,0,p^{\ast })$在$G_e$中吗？（为什么选择这个点我也不知道…，总之这个点可以整出结论）

由于$x^{\ast }$满足不等式约束（原问题描述那一节的不等式约束），自然满足$g(x)\le 0、h(x)=0$，由于$P^{\ast }$是不等式约束下的$f(x)$的最小值，所以$t=p^{\ast }\ge f(x^{\ast })$，并且由于对于任意小的正数$\delta$，$(0,0,p^{\ast }-\delta )\notin G_e$，所以$(0,0,p^{\ast })$是一个边界点

好的，这个时候就可以使用支撑超平面定理了，出来吧，支撑超平面定理兽！
在支撑超平面定理的支持下，对于边界点$(0,0,p^{\ast })$我们知道必存在一个法向量$({\alpha }_a,{\beta }_a,{\gamma }_a)$，使得对于$G_e$中的任何一点$(\mu ,v,t)$，有${\alpha }_a\mu +{\beta }_{a}v+{\gamma }_{a}t\ge {\gamma }_a{p}^{\ast }$（式1.4）

为了使上式恒成立，${\alpha }_a、{\gamma }_a$必须大于等于0，假设两者中一个小于0，例如$\alpha <0$，固定$v，t$，则$\mu$可以趋近无穷，此时不等式左边为负无穷，不等式不成立。接下来就是分类讨论啦，出来吧，分类讨论兽!

1. ${\gamma }_a>0$的情况
   设${\alpha }^{\ast }={\alpha }_a/{\gamma }_a{\alpha }^{\ast }\ge 0$，${\beta }^{\ast }={\beta }_a/{\gamma }_a$，则式1.3可化为${\alpha }^{\ast }\mu +{\beta }^{\ast }v+t\ge p^{\ast }$，当$\mu =g(x），v=h(x)，t=f(x)$时(这里偷懒一下，本来是要展开来写的)，将其展开，即为$L(x,{\alpha }^{\ast },{\beta }^{\ast })=f(x)+{\sum }_{i=1}^m{\alpha }_i^{\ast }{g}_i(x)+{\sum }_{i=1}^n{\beta }_i^{\ast }{h}_i(x)\ge p^{\ast }$，该不等式对于任意的x均成立，自然有$\underset{x}{\min }L(x,{\alpha }^{\ast },{\beta }^{\ast })\ge p^{\ast }$，因此
   $\underset{\alpha \ge 0,\beta }{\max }\underset{x}{\min }L(x,\alpha ,\beta )\ge \underset{x}{\min }L(x,{\alpha }^{\ast },{\beta }^{\ast })\ge p^{\ast }$(注意${\alpha }^{\ast },{\beta }^{\ast }$是具体值，而$\alpha ,\beta$是变量，由前所述我们可以知道$\underset{x}{\min }L(x,\alpha ,\beta )$是关于$\alpha 、\beta$的函数，结合这两点即可理解这个不等式)，由之前的描述可知$\underset{\alpha \ge 0,\beta }{\max }\underset{x}{\min }L(x,\alpha ,\beta )\le p^{\ast }$（这里改了一下符号而已）,所以$\underset{\alpha \ge 0,\beta }{\max }\underset{x}{\min }L(x,\alpha ,\beta )=p^{\ast }$，此时式1.2的等号成立

2. ${\gamma }_a=0$的情况
   其实Slater已经保证了这种情况不会出现
   Slater条件保证在可行域内，存在$x^{\prime }$使得$g(x^{\prime })<0,h(x^{\prime })=0$，针对满足Slater条件的点，我们有$E=(g(x^{\prime }),h(x^{\prime }),f(x^{\prime }))$在$G_e$中（只需将$G_e$中，点应该满足的不等式约束条件取等），同理，$E^{\prime }=(g(x^{\prime }+{\Delta }_g),h(x^{\prime }),f(x^{\prime }+{\Delta }_f))$也应该在$G_e$中，${\Delta }_g,{\Delta }_f$的取值使得$E^{\prime }$为$G_e$的内点
   由式1.4可得:
   ${\alpha }_{a}g(x^{\prime })+{\beta }_{a}h(x^{\prime })+{\gamma }_{a}f(x^{\prime })\ge 0(式1.5)$
   ${\alpha }_{a}g(x^{\prime }+{\Delta }_g)+{\beta }_{a}h(x^{\prime })+{\gamma }_{a}f(x^{\prime }+{\Delta }_f)>0(式1.6)$
   由于${\gamma }_a=0，h(x^{\prime })=0$可得${\alpha }_{a}g(x^{\prime })\ge 0$，而${\alpha }_a\ge 0$，$g(x^{\prime })<0$，所以${\alpha }_a=0$，这会导致式1.6左边的式子为0，此时出现矛盾，所以${\gamma }_a!=0$

那么到这里，我们可知式1.3的解即为原问题的解，但是我们想更进一步求得自变量的值，那么我们可不可以像之前一样添加某些条件，使得式1.3的解对应的自变量$x$的取值即为原问题解对应的自变量取值呢？由此引出KKT条件。

KKT条件

对于式1.3的变量，KKT条件为:$$\{\begin{array}{rlr}& g_i(x)\le 0& i=1,2.....n\\ & {\mu }_i\ge 0& i=1,2.....n\\ & {\mu }_i{g}_i(x)=0& i=1,2.....n\\ & h_j(x)=0& j=1,2.....m\\ & \frac{\partial L(x_k,\mu ,\beta )}{\partial x_k}=0& k=1,2....d\end{array}$$

假设式1.3的解为$(x^{\ast },{\mu }^{\ast },{\beta }^{\ast })$,设原问题的解为$p^{\ast }$，若$x^{\ast }$满足$f(x^{\ast })=p^{\ast }$，则KKT条件的第一个和第三个要求表明$x^{\ast }$在原问题的可行域内，KKT条件的第二个要求本身就是式1.3的约束条件，而KKT的第三个与第四个要求满足
$$f(x^{\ast })+\sum _{i=1}^m{\mu }_i^{\ast }{g}_i(x)+\sum _{i=1}^n{\beta }_i^{\ast }{h}_i(x)=f(x^{\ast })=p^{\ast }$$
此时式1.3的解即为原问题的解，那么第五个条件是干啥的呢？求解$\underset{x}{\min }L(x,\mu ,\beta )$时，我们是将$\mu ,\beta$看成是常数来求解的，在满足假设2.0的前提下，$L(x,\mu ,\beta )$是一个关于$x$的凸函数，要求最小，只需对$x$求导并使其值为0，即KKT的最后一个条件，因此，KKT条件融合了使式1.3的解对应的自变量$x$的取值为原问题解对应的自变量取值需要满足的所有条件与处理过程

参考资料

1、《机器学习》，周志华
2、期末考试求过