拉格朗日乘子法与SVM分类器原理详细推导

SVM（Support Vector Machine，支持向量机）是一个十分传统且好用的分类器，在二分类问题上有十分良好的表现。

一、拉格朗日乘子法

拉格朗日乘子法是SVM参数优化的核心，它能够解决多个等式或不等式约束下的最优化问题。

例1，给定$x_1-x_2=2$，如何寻找$x_1^2+x_2^2$的最大值，此时$x_1,x_2$是多少？

拉格朗日乘子法的核心在于设立一个拉格朗日方程，将目标函数与约束函数的信息融合在一起，然后找寻该函数的最值。以上述情况为例，定义目标函数$f(x_1,x_2)=x_1^2+x_2^2$，约束函数$g(x_1,x_2)=x_1-x_2-2$。拉格朗日乘子法顾名思义，就是新设立一个变量乘在约束函数上，然后和目标函数相加。则可定义拉格朗日函数$L(x_1,x_2,\lambda )$为：
$$L(x_1,x_2,\lambda )=f(x_1,x_2)+\lambda g(x_1,x_2)=x_1^2+x_2^2+\lambda (x_1-x_2-2)$$
要求得上式的最值，需要各个变量的偏导数为零，所以必须满足：
$$\frac{\partial L}{\partial x_1}=\frac{\partial L}{\partial x_2}=\frac{\partial L}{\partial \lambda }=0$$

将上式转换为等式组，有：
$$\begin{gathered} 2x_1+\lambda =0 \\ 2x_2-\lambda =0 \\ {x}_1-x_2-2=0 \end{gathered}$$

求解可得当$x_1=1,x_2=-1,\lambda =-2$时，$x_1^2+x_2^2$可取到最大值2。

上例是最基本的拉格朗日乘子法的应用场景，下面描述扩展场景。

例2，给定$x_1-x_2=2,x_1+x_2\ge 1$，如何寻找$x_1^2+x_2^2$的最大值？

已知约束中除了一个等式约束，还引入了一个不等式约束。和等式约束不同，不等式约束需要分情况讨论：

1. 全局最值在约束范围内

由例1可知，在该例中如果撇开不等式约束，最值在$x_1=1,x_2=-1$时成立。所以倘若不等式函数$h(x_1,x_2)>0$在最值情况下成立（比如$x_1+x_2>-1$），那么这个约束就等于没有。

2.全局最值在约束范围外

这种情况是例2场景下的情况了，此时不等式约束生效，成为等式约束。即最后的最值点会落在约束条件上（此例为$x_1+x_2\ge 1$）。

除了不等式总共有两项约束，因此依然要建立一个方程，将这些信息融合在一起。定义$f(x_1,x_2)=x_1^2+x_2^2$，$g(x_1,x_2)=x_1-x_2-2$，$h(x_1,x_2)=x_1+x_2-1$，由于约束比例1多了一个，所以拉格朗日乘子也要多一个。所以该例下拉格朗日函数$L(x_1,x_2,\lambda ,\gamma )$为：
$$\begin{gathered} L(x_1,x_2,\lambda ,\gamma )=f(x_1,x_2)+\lambda g(x_1,x_2)-\gamma h(x_1,x_2) \\ =x_1^2+x_2^2+\lambda (x_1-x_2-2)+\gamma (x_1+x_2-1) \end{gathered}$$

首先，需要前三个变量的偏导数为零，可以得到下列等式组：
$$\begin{gathered} 2x_1+\lambda +\gamma =0 \\ 2x_2-\lambda +\gamma =0 \\ {x}_1-x_2-2=0 \end{gathered}$$

然后，针对不等式约束，此处引出KKT条件，即对每一个不等式约束所需要满足的条件。在本例中可如下表示：
$$\begin{gathered} \gamma \ge 0 \\ h(x_1,x_2)\ge 0 \\ \gamma h(x_1,x_2)=0 \end{gathered}$$

下面具体描述其原理。
注：为了便于描述，有些表达会将$h(x_1,x_2)$等表述为$h(\underline{x})$，因为大多数情况往往不止两个变量，所以通过下划线的表达方式更泛用。

1. $\gamma \ge 0or\gamma \le 0$？
   在例2的已知条件中，由于$f(\underline{x})$要求最大值，所以我们需要找到各个变量的值来使得拉格朗日函数$L$达到最大值。现在，给定了$h(\underline{x})$的大于等于0的约束，将这个约束放在拉格朗日函数中，可以看到它对最后的结果有正面的贡献，换句话说，$h(\underline{x})$和$f(\underline{x})$一条心，都有利于拉格朗日函数$L$达到最大值，所以$h(\underline{x})$的乘子$\gamma$为正。反之，如果$h(\underline{x})$给出的约束是小于等于0的约束，乘子$\gamma$就必须满足$\gamma \le 0$。

2. $h(x_1,x_2)\ge 0$
   这个约束很浅显，是已知条件给出的。

3. $\gamma h(x_1,x_2)=0$
   这一条其实可以换一种写法：$\gamma =0orh(x_1,x_2)=0$。这其实就刚好贴合了先前提到的不等式约束的两种情况：极值点在不等式约束范围内 $or$ 极值点在不等式约束范围外。可以看到当$\gamma =0$时，拉格朗日函数里的不等式约束等同于不存在，而当$h(x_1,x_2)=0$时，不等式约束就等同于等式约束，意思是目标点在不等式约束的边界。以上就是KKT条件的描述。

回到例2，归并所有条件为：
$$\begin{gathered} \gamma \ge 0 \\ {x}_1+x_2-1\ge 0 \\ \gamma (x_1+x_2-1)=0 \\ 2x_1+\lambda +\gamma =0 \\ 2x_2-\lambda +\gamma =0 \\ {x}_1-x_2-2=0 \end{gathered}$$

由例1可知，其解不位于不等式约束内，所以在例2中，不等式约束将会生效为等式约束，因此可以改写为：
$$\begin{gathered} x_1+x_2-1=0 \\ 2x_1+\lambda +\gamma =0 \\ 2x_2-\lambda +\gamma =0 \\ {x}_1-x_2-2=0 \end{gathered}$$
得：$$x_1=1.5,x_2=-0.5$$

实际应用中，往往会出现多个约束，只需要增加乘子，按如上方法一起求和构建拉格朗日函数即可。

二、SVM

提完拉格朗日乘子法，就要回到SVM的话题上了。本质上说，SVM和感知器类似，也是训练一组线性参数来对原数据集分割。给定一组包含$N$个数据的训练数据集，我们首先假设它线性可分（即存在直线，可以将这个数据集完全正确分类），线性可分的概念可以通过如下式子从数学角度进行描述：
$$\begin{gathered} \exists w \\ {w}^T{x}_i+w_0>0,\forall x_i\in S_1 \\ {w}^T{x}_i+w_0\le 0,\forall x_i\in S_2 \end{gathered}$$

其中$S_1$和$S_2$表示二分类情况下的第一类和第二类。一般情况下，可以通过引入类别系数$z_i$来简化上式：
$$z_i=\{\begin{array}{r}1,x_i\in S_1\\ -1,x_i\in S_2\end{array}$$

现在可将上式改写为：
$$\exists w,s.t.z_i(w^T{x}_i+w_0)>0,\forall x_i$$

SVM的目标在于寻找$w$，使得对所有数据点，最小值越大越好。 即对于所有$x_i$，希望下式的$b$越大越好：
$$z_i(w^T{x}_i+w_0)>b$$
但是通过最大化$b$来求解$w$和$w_0$不是一个好主意，最好的情况是能够有一个与$w$相关的目标函数来求解最优$w$和$w_0$。可以将两边同时除以$||w||$来标准化$w$，这样不会改变不等号。可得：
$$\frac{z_i(w^T{x}_i+w_0)}{||w||}\ge \frac{b}{||w||}$$

可以看到，在给定$||w||$的情况下最大化$b$，和在给定$b$的情况下最小化$||w||$是等价的。所以此处令$b=1$，上式可转化为优化问题：对于所有$i$，在约束$z_i(w^T{x}_i+w_0)-1\ge 0$下，优化$min(||w||)$。建立拉格朗日函数：
$$L(w,w_0,\lambda )=\frac{1}{2}||w|{|}^2-\sum _{i=1}^N{\lambda }_i[z_i(w^T{x}_i+w_0)-1]$$

注：上式的第一项，$||w||$写为$\frac{1}{2}||w|{|}^2$并不影响求解，因为两者都单调上升，写后者是因为可以便于求偏导。
根据KKT条件，上式必须满足：
$$\{\begin{array}{r}{\lambda }_i\ge 0,\forall i\\ z_i(w^T{x}_i+w_0)-1\ge 0,\forall i\\ {\lambda }_i{z}_i(w^T{x}_i+w_0)-1=0,\forall i\end{array}$$

上式称为拉格朗日原始问题，要求解是比较难的，所以一般转化为拉格朗日对偶问题来化简求解。对$w$和$w_0$求偏导，并使其等于零，可得：
$$\begin{gathered} \frac{\partial L}{\partial w}=w-\sum _{i=1}^N{\lambda }_i{z}_i{x}_i=0 \\ \frac{\partial L}{\partial w_0}=-\sum _{i=1}^N{\lambda }_i{z}_i=0 \end{gathered}$$

将上式代入拉格朗日函数，可得：
$$\begin{gathered} L(\lambda )=\frac{1}{2}||w|{|}^2-\sum _{i=1}^N{\lambda }_i{z}_i(w^T{x}_i)-\sum _{i=1}^N{\lambda }_i{z}_i{w}_0+\sum _{i=1}^N{\lambda }_i \\ =\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\lambda }_i{\lambda }_j{z}_i{z}_j{x_i}^T{x}_j-\sum _{i=1}^N\sum _{j=1}^N{\lambda }_i{\lambda }_j{z}_i{z}_j{x_i}^T{x}_j-0\ast w_0+\sum _{i=1}^N{\lambda }_i \\ =-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\lambda }_i{\lambda }_j{z}_i{z}_j{x_i}^T{x}_j+\sum _{i=1}^N{\lambda }_i \end{gathered}$$
通过最优化上式的$\lambda$之后，可以通过$w^{\ast }={\sum }_{i=1}^N{\lambda }_i{z}_i{x}_i$来求得最优的$w^{\ast }$，并通过${\lambda }_i[z_i(w^{\ast T}{x}_i+w_0)-1]=0$来求得$w_0$。

接下来，讨论数据集线性不可分的情况，显然我们无法使用上述方法求解。此处引入松弛变量$\sigma$，表示SVM开始容忍一些错误分类。其定义为如果分类正确，且在最优分界线内，则为零。如果在最优分界线外，则为到最优分界线的标准化距离。以下图为例，如果某个红色类别的数据点在黑粗线上，则其松弛变量为1，因为它距离最优分界线（最上的这条线）为1。显然对于所有数据点，${\sigma }_i\ge 0$。

现在，约束不再是原先的对所有数据点$x_i$要求其$z_i(w^T{x}_i+w_0)\ge 1$，而是$z_i(w^T{x}_i+w_0)\ge 1-{\sigma }_i。$最小化目标函数也不再是$\frac{1}{2}||w|{|}^2$，而变成了$\frac{1}{2}||w|{|}^2+c\sum _{i=1}^N{\sigma }_i$。也就是说，在考虑使得分界线离数据点尽可能远的同时，还考虑到使错分点也尽可能像分界线靠拢。$c$为常数，表示松弛变量所占比重的超参数，在训练前需要人工设置。

这种情况下，其对偶问题与线性数据集类似（推导省略），即：
$$L(\lambda )=-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\lambda }_i{\lambda }_j{z}_i{z}_j{x_i}^T{x}_j+\sum _{i=1}^N{\lambda }_i$$
约束也与原先相同，除了${\lambda }_i\ge 0$需要转变为$0\le {\lambda }_i\le c$。

至此，线性的SVM就推导完毕了。当然还没完，在实际应用中，仅仅是线性的分类器很难有所作为，所以需要引入非线性的核函数来达到准确的分类目的。在上式中，有一部分是$x_i^T{x}_j$，这是两个数据的内积，如果将其标准化，它其实是相似度的一种度量方式（具体地说，是余弦相似度）。这个内积，就是核函数的一种，可以考虑修改核函数来引入非线性信息，从而达到不同的分类效果。将核函数定义为$K(x_i,x_j)$，比较常见的有：

1. 线性核函数$K_{linear}(x_i,x_j)=\alpha x_i^T{x}_j$
2. 多项式核函数$K_{poly}(x_i,x_j)=(x_i^T{x}_j+1{)}^P$
3. 高斯核函数$K_{RBF}(x_i,x_j)=exp\{-\sigma ||x_i-x_j|{|}^2\}$

最后一种也是sklearn的默认核函数，十分常见。