【白板推导系列笔记】支持向量机-硬间隔SVM-模型求解-引出对偶问题&引出KKT条件

$$\{\begin{array}{rl}& \underset{\omega ,b}{\min }\frac{1}{2}{\omega }^T\omega \\ & s.t.y_i({\omega }^T{x}_i+b)\ge 1\iff 1-y_i({\omega }^T{x}_i+b)\le 0,\underset{N个约束}{i=1,2,\cdots ,N}\end{array}$$
构建拉格朗日函数
$$L(\omega ,b,\lambda )=\frac{1}{2}{\omega }^T\omega +\sum _{i=1}^N{\lambda }_i[1-y_i({\omega }^T{x}_i+b)]$$
注意这里$L$括号里面的$\lambda$为$N\times 1$，等号右边的${\lambda }_i$为$1\times 1$

拉格朗日乘子法具体后面文章会解释

例如本题，如果$1-y_i({\omega }^T{x}_i+b)>0$，
$$\underset{\lambda }{\max }L(\lambda ,\omega ,b)=\frac{1}{2}{\omega }^T\omega +\infty =\infty$$
如果$1-y_i({\omega }^T{x}_i+b)\le 0$
$$\underset{\lambda }{\max }L(\lambda ,\omega ,b)=\frac{1}{2}{\omega }^T\omega +0=\frac{1}{2}{\omega }^T\omega$$
因此有
$$\underset{\omega ,b}{\min }\underset{\lambda }{\max }L(\lambda ,\omega ,b)=\underset{\omega ,b}{\min }(\infty ,\frac{1}{2}{\omega }^T\omega )=\underset{\omega ,b}{\min }\frac{1}{2}{\omega }^T\omega$$
因此该问题的无约束形式为
$$\underset{\omega ,b}{\min }\underset{\lambda }{\max }L(\omega ,b,\lambda ),s.t.{\lambda }_i\ge 0$$

这里的有无约束指的是对$\omega$的约束（这里的$\omega$相当于模板中的$x$）。本来$1\iff 1-y_i({\omega }^T{x}_i+b)\le 0$是对$\omega$的约束，通过拉格朗日函数将约束条件转化为${\lambda }_i\ge 0$，是对${\lambda }_i$的约束，不再是对$\omega$的约束，因此称为无约束形式

由于不等式约束是仿射函数，对偶问题和原问题等价，因此该问题的对偶形式为
$$\underset{\lambda }{\max }\underset{\omega ,b}{\min }L(\omega ,b,\lambda )s.t.{\lambda }_i\ge 0$$
先看$\underset{\omega ,b}{\min }L(\omega ,b,\lambda )$，对于$b$
$$\begin{array}{rl}\frac{\partial L}{\partial b}& =\frac{\partial }{\partial b}\left[\sum _{i=1}^N{\lambda }_i-\sum _{i=1}^N{\lambda }_i{y}_i({\omega }^T{x}_i+b)\right]\\ & =\frac{\partial }{\partial b}\left(-\sum _{i=1}^N{\lambda }_i{y}_{i}b\right)\\ & =-\sum _{i=1}^N{\lambda }_i{y}_i=0\end{array}$$
将其代入$L(\omega ,b,\lambda )$
$$\begin{array}{rl}L(\omega ,b,\lambda )& =\frac{1}{2}{\omega }^T\omega +\sum _{i=1}^N{\lambda }_i-\sum _{i=1}^N{\lambda }_i{y}_i({\omega }^T{x}_i+b)\\ & =\frac{1}{2}{\omega }^T\omega +\sum _{i=1}^N{\lambda }_i-\sum _{i=1}^N{\lambda }_i{y}_i{\omega }^T{x}_i+\sum _{i=1}^N{\lambda }_i{y}_{i}b\\ & =\frac{1}{2}{\omega }^T\omega +\sum _{i=1}^N{\lambda }_i-\sum _{i=1}^N{\lambda }_i{y}_i{\omega }^T{x}_i\end{array}$$
对于$\omega$
$$\begin{array}{rl}\frac{\partial L}{\partial \omega }& =\frac{1}{2}\cdot 2\omega -\sum _{i=1}^N{\lambda }_i{y}_i{x}_i=0\\ \omega & =\sum _{i=1}^N{\lambda }_i{y}_i{x}_i\end{array}$$
将其代入$L(\omega ,b,\lambda )$
$$\begin{array}{rl}L(\omega ,b,\lambda )& =\frac{1}{2}\underset{\in \mathbb{R}}{{\left(\sum _{i=1}^N{\lambda }_i{y}_i{x}_i\right)}^T\left(\sum _{j=1}^N{\lambda }_j{y}_j{x}_j\right)}-\underset{\in \mathbb{R}}{\sum _{i=1}^N{\lambda }_i{y}_i{\left(\sum _{j=1}^N{\lambda }_j{y}_j{x}_j\right)}^T{x}_i}+\sum _{i=1}^N{\lambda }_i\\ & =-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\lambda }_i{\lambda }_j{y}_i{y}_j{x}_i^T{x}_j+\sum _{i=1}^N{\lambda }_i\end{array}$$
因此原问题转化为
$$\underset{\lambda }{\max }-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\lambda }_i{\lambda }_j{y}_i{y}_j{x}_i{x}_j+\sum _{i=1}^N{\lambda }_i,s.t.{\lambda }_i\ge 0,\sum _{i=1}^N{\lambda }_i{y}_i=0$$
定义该优化问题的KKT条件（由于原、对偶问题具有强对偶关系$\iff$满足KKT条件）
$$\{\begin{array}{rl}& \frac{\partial L}{\partial \omega }=0,\frac{\partial L}{\partial b}=0\\ & {\lambda }_i[1-y_i({\omega }^T{x}_i+b)]=0\\ & {\lambda }_i\ge 0\\ & 1-y_i({\omega }^T{x}_i+b)=0\end{array}$$
其中${\lambda }_i[1-y_i({\omega }^T{x}_i+b)]=0$叫做互补松弛条件，因为对于支持向量$y_i({\omega }^T{x}_i+b)=1$，对于其他数据点${\lambda }_i=0$（根据拉格朗日函数的定义），即二者中一定至少有一个为$0$
在之前的$\begin{array}{r}\frac{\partial L}{\partial \omega }\end{array}$中我们可以得到
$${\omega }^{\ast }=\sum _{i=1}^N{\lambda }_i{y}_i{x}_i$$

其中${\lambda }_i$通过求解$\begin{array}{r}\underset{\lambda }{\max }-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\lambda }_i{\lambda }_j{y}_i{y}_j{x}_i{x}_j+\sum _{i=1}^N{\lambda }_i,s.t.{\lambda }_i\ge 0,\sum _{i=1}^N{\lambda }_i{y}_i=0\end{array}$可以得到
有看到怎么求，但是还是看不懂，反正就是能得到${\lambda }_i$就对了

对于$b^{\ast }$，我们假设
$$\exists (x_k,y_k),s.t.1-y_k({\omega }^T{x}_k+b)=0$$
显然$(x_k,y_k)$，就是所谓的支持向量（在最开始$\begin{array}{r}{\omega }^T=\frac{{\hat{\omega }}^T}{a},b=\frac{\hat{b}}{a}\end{array}$那里设的）。因此
$$\begin{array}{rl}{y}_k({\omega }^T{x}_k+b)& =1\\ y_k^2({\omega }^T{x}_k+b)& =y_k\\ & y_k\in \left\{+1,-1\right\},y_k^2=1\\ b^{\ast }& =y_k-{\omega }^T{x}_k=y_k-\sum _{i=1}^N{\lambda }_i{y}_i{x}_i^T{x}_k\end{array}$$

这里的$(x_k,y_k)$就是${\lambda }_i$对应的向量，至于${\lambda }_i$怎么求，还是那句话我不会，非常抱歉