机器学习笔记之支持向量机(三)模型求解

引言

上一节介绍了基于最大间隔分类器朴素思想产生的原问题转化为对偶问题的过程，本节将针对对偶问题进行求解。并介绍 强对偶关系需要满足的条件。

回顾：原问题转化为对偶问题的具体过程

在机器学习笔记之支持向量机(一)模型构建思路中介绍过，经过 函数间隔约束 的最大间隔分类器朴素思想表示如下：
$$\{\begin{array}{l}\underset{\mathcal{W},b}{\min }\frac{1}{2}{\mathcal{W}}^T\mathcal{W}\\ s.t.1-y^{(i)}\left({\mathcal{W}}^T{x}^{(i)}+b\right)\le 0\forall (x^{(i)},y^{(i)})\in Data\end{array}$$

该问题是一个包含$N$个约束的凸优化问题，使用拉格朗日乘数法将 原问题转化为无约束原问题：
令拉格朗日函数为$\mathcal{L}(\mathcal{W},b,\lambda )$，表示如下：
$$\mathcal{L}(\mathcal{W},b,\lambda )=\frac{1}{2}{\mathcal{W}}^T\mathcal{W}+\sum _{i=1}^N{\lambda }^{(i)}\left[1-y^{(i)}\left({\mathcal{W}}^T{x}^{(i)}+b\right)\right]$$
基于原问题的约束条件是不等式约束，则有：
$${\lambda }^{(i)}(i=1,2,\cdots ,N)\ge 0$$
至此，无约束原问题 表示如下：
$$\{\begin{array}{l}\underset{\mathcal{W},b}{\min }\underset{\lambda }{\max }\mathcal{L}(\mathcal{W},b,\lambda )\\ s.t.{\lambda }^{(i)}\ge 0(i=1,2,\cdots ,N)\end{array}$$

假设直接对无约束原问题 进行求解，那么按照求解顺序需要先求解$\underset{\lambda }{\max }\mathcal{L}(\mathcal{W},b,\lambda )$的结果，但是该式子中的变量$\lambda$存在约束条件，因此，我们尝试先从无约束的$\mathcal{W},b$ 开始求解。这需要将 无约束原问题转化为对偶问题：
至此，对偶问题表示如下：
$$\{\begin{array}{l}\underset{\lambda }{\max }\underset{\mathcal{W},b}{\min }\mathcal{L}(\mathcal{W},b,\lambda )\\ s.t.{\lambda }^{(i)}\ge 0(i=1,2,\cdots ,N)\end{array}$$
在无约束条件的情况下，无约束原问题的目标函数与对偶问题的目标函数必然存在如下关系：
$$\underset{\lambda }{\max }\underset{\mathcal{W},b}{\min }\mathcal{L}(\mathcal{W},b,\lambda )\le \underset{\mathcal{W},b}{\min }\underset{\lambda }{\max }\mathcal{L}(\mathcal{W},b,\lambda )$$
并称之为弱对偶关系。与之对应的是强对偶关系：
$$\underset{\lambda }{\max }\underset{\mathcal{W},b}{\min }\mathcal{L}(\mathcal{W},b,\lambda )=\underset{\mathcal{W},b}{\min }\underset{\lambda }{\max }\mathcal{L}(\mathcal{W},b,\lambda )$$
可以看出，强对偶关系是弱对偶关系的一种 特殊情况，弱对偶关系上升至强对偶关系需要满足什么条件？本节将详细介绍这个条件——$KKT$条件。

由于无约束原问题满足$KKT$条件，因此，顺利成章地将无约束问题转化为对偶问题。此时的$\underset{\mathcal{W},b}{\min }\mathcal{L}(\mathcal{W},b,\lambda )$无约束条件限制，分别对$\mathcal{W},b$求解偏导，得到 仅关于变量$\lambda$的拉格朗日函数：
这里将$\max$和$-\frac{1}{2}$合并为$\min$和$\frac{1}{2}$；
$$\{\begin{array}{l}\underset{\lambda }{\min }\frac{1}{2}{\sum }_{i=1}^N{\sum }_{j=1}^N{\lambda }^{(i)}{\lambda }^{(j)}{y}^{(i)}{y}^{(j)}{\left(x^{(i)}\right)}^T{x}^{(j)}-{\sum }_{i=1}^N{\lambda }^{(i)}\\ s.t.\{\begin{array}{l}{\lambda }^{(i)}\ge 0\\ {\sum }_{i=1}^N{\lambda }^{(i)}{y}^{(i)}=0\end{array}\end{array}$$

模型求解

继续观察，本质上是仅关于$\lambda$的包含两个约束条件的最小化问题。

其中，变量${\lambda }^{(i)},{\lambda }^{(j)}\in \{{\lambda }^{(1)},{\lambda }^{(2)},\cdots ,{\lambda }^{(N)}\}$，$y^{(i)},y^{(j)}\in \{-1,1\}$，均为标量、常数；${\left(x^{(i)}\right)}^T{x}^{(j)}$可以写为：
$${\left(x^{(i)}\right)}^T{x}^{(j)}=(x_1^{(i)},x_2^{(i)},\cdots ,x_p^{(i)})\left(\begin{array}{c}{x}_1^{(j)}\\ x_2^{(j)}\\ ⋮\\ x_p^{(j)}\end{array}\right)=x_1^{(i)}{x}_1^{(j)}+x_2^{(i)}{x}_2^{(j)}+\cdots +x_p^{(i)}{x}_p^{(j)}$$
其结果也是一个标量、常数；因此 目标函数只包含$\lambda$的一次项和二次项；
约束条件中变量是一次的，即仿射函数；且为不等式约束，实际上此时的优化问题依然是一个凸二次规划问题。和原问题相似，同样可以使用类似 $QP$方法 进行求解。

本节将使用$KKT$条件求解最优模型以及最优超平面。

$KKT$条件介绍

$KKT$条件的作用：它是原问题、对偶问题之间具有强对偶关系的充分必要条件。
下面将进行论证：

场景描述

已知一个关于变量$\mathcal{X}$的原问题表示如下：
$$\{\begin{array}{l}\underset{\mathcal{X}}{\min }f(\mathcal{X})\\ s.t.\{\begin{array}{l}{m}_i(\mathcal{X})\le 0(i=1,2,\cdots ,M)\\ n_j(\mathcal{X})=0(j=1,2,\cdots ,N)\end{array}\end{array}$$
观察发现，该原问题包含$M+N$个约束条件：其中包含$M$个不等式约束和$N$个等式约束。

使用拉格朗日乘数法将原问题转化为无约束原问题。拉格朗日函数$\mathcal{L}(\mathcal{X},\lambda ,\eta )$表示如下：
$$\mathcal{L}(\mathcal{X},\lambda ,\eta )=f(\mathcal{X})+\sum _{i=1}^M{\lambda }_i{m}_i(\mathcal{X})+\sum _{j=1}^N{\eta }_j{n}_j(\mathcal{X})$$
对应的无约束原问题表示如下：
$$\{\begin{array}{l}\underset{\mathcal{X}}{\min }\underset{\lambda ,\eta }{\max }\mathcal{L}(\mathcal{X},\lambda ,\eta )\\ s.t.\{\begin{array}{l}{\lambda }_i\ge 0(i=1,2,\cdots ,M)\\ {\eta }_j=0(j=1,2,\cdots ,N)\end{array}\end{array}$$

继续将它的对偶问题表示如下：
$$\{\begin{array}{l}\underset{\lambda ,\eta }{\max }\underset{\mathcal{X}}{\min }\mathcal{L}(\mathcal{X},\lambda ,\eta )\\ s.t.\{\begin{array}{l}{\lambda }_i\ge 0(i=1,2,\cdots ,M)\\ {\eta }_j=0(j=1,2,\cdots ,N)\end{array}\end{array}$$

论证过程

我们可以将无约束原问题和原问题一样，看做关于$\mathcal{X}$的函数。即 $\lambda ,\eta$已确定，使得$\mathcal{L}(\mathcal{X},\lambda ,\eta )$结果最大的基础上，找到合适的${\mathcal{X}}^{\ast }$，使$\underset{\lambda ,\eta }{\max }\mathcal{L}(\mathcal{X},\lambda ,\eta )$最小：
$$\begin{gathered} f(\mathcal{X})=\underset{\lambda ,\eta }{\max }\mathcal{L}(\mathcal{X},\lambda ,\eta ) \\ f({\mathcal{X}}^{\ast })=\underset{\mathcal{X}}{\min }f(\mathcal{X}) \end{gathered}$$
其中，${\mathcal{X}}^{\ast }$表示 原问题的最优解。同理，我们同样可以将对偶问题看作关于$\lambda ,\eta$的函数，即：$\mathcal{X}$已确定，使得$\mathcal{L}(\mathcal{X},\lambda ,\eta )$结果最小的基础上，找到合适的${\lambda }^{\ast },{\eta }^{\ast }$，使$\underset{\mathcal{X}}{\min }\mathcal{L}(\mathcal{X},\lambda ,\eta )$最大：
$$\begin{gathered} g(\lambda ,\eta )=\underset{\mathcal{X}}{\min }\mathcal{L}(\mathcal{X},\lambda ,\eta ) \\ g({\lambda }^{\ast },{\eta }^{\ast })=\underset{\lambda ,\eta }{\max }g(\lambda ,\eta ) \end{gathered}$$

假设对偶问题与原问题之间确定是强对偶关系，即求解${\lambda }^{\ast },{\eta }^{\ast }$与求解${\mathcal{X}}^{\ast }$等价。$KKT$条件给出了${\lambda }^{\ast },{\eta }^{\ast }$与${\mathcal{X}}^{\ast }$的关系。

$KKT$条件(Karush-Kuhn-Tucker Conditions)可以包含三个部分：

• 可行域(约束条件)。在本场景中，分别表示原问题与对偶问题取最优解时的约束条件：
  $$\{\begin{array}{l}{m}_i({\mathcal{X}}^{\ast })\le 0(i=1,2,\cdots ,M)\\ n_j({\mathcal{X}}^{\ast })=0(j=1,2,\cdots ,N)\\ {\lambda }^{\ast }\le 0\end{array}$$

• 互补松弛原则(Complementary Slackness)
  通过基于强对偶关系成立的条件下，推导互补松弛原则的具体格式：

  • 由于强对偶关系成立情况下原问题最优解与对偶问题最优解 等价。即：
    $$\underset{\lambda ,\eta }{\max }g(\lambda ,\eta )=\underset{\lambda ,\eta }{\max }\underset{\mathcal{X}}{\min }\mathcal{L}(\mathcal{X},\lambda ,\eta )=\underset{\mathcal{X}}{\min }\underset{\lambda ,\eta }{\max }\mathcal{L}(\mathcal{X},\lambda ,\eta )=\underset{\mathcal{X}}{\min }f(\mathcal{X})$$

  • 假设存在一组解${\lambda }^{\ast },{\eta }^{\ast }$，使得：
    $$\mathcal{L}(\mathcal{X},{\lambda }^{\ast },{\eta }^{\ast })=\underset{\lambda ,\eta }{\max }\mathcal{L}(\mathcal{X},\lambda ,\eta )$$
    与此同时：
    $$\underset{\mathcal{X}}{\min }\underset{\lambda ,\eta }{\max }\mathcal{L}(\mathcal{X},\lambda ,\eta )=\underset{\mathcal{X}}{\min }\mathcal{L}(\mathcal{X},{\lambda }^{\ast },{\eta }^{\ast })$$

  • 基于$\underset{\mathcal{X}}{\min }\mathcal{L}(\mathcal{X},{\lambda }^{\ast },{\eta }^{\ast })$的最小值性质，则有：
    $$\underset{\mathcal{X}}{\min }\mathcal{L}(\mathcal{X},{\lambda }^{\ast },{\eta }^{\ast })\le \mathcal{L}(\mathcal{X},{\lambda }^{\ast },{\eta }^{\ast })$$
    于此同时，必然存在：
    ${\mathcal{X}}^{\ast }$暂时理解为$\mathcal{X}$可以取到的任意一个值。
    $$\underset{\mathcal{X}}{\min }\mathcal{L}(\mathcal{X},{\lambda }^{\ast },{\eta }^{\ast })\le \mathcal{L}({\mathcal{X}}^{\ast },{\lambda }^{\ast },{\eta }^{\ast })$$

  • 将$\mathcal{L}({\mathcal{X}}^{\ast },{\lambda }^{\ast },{\eta }^{\ast })$展开，有：
    $$\mathcal{L}({\mathcal{X}}^{\ast },{\lambda }^{\ast },{\eta }^{\ast })=f({\mathcal{X}}^{\ast })+\sum _{i=1}^M{\lambda }_i^{\ast }{m}_i(\mathcal{X})+\sum _{j=1}^N{\eta }_j^{\ast }{n}_j(\mathcal{X})$$

  • 基于可行域条件：$n_j({\mathcal{X}}^{\ast })=0(j=1,2,\cdots ,N)$，则有：
    $$\mathcal{L}({\mathcal{X}}^{\ast },{\lambda }^{\ast },{\eta }^{\ast })=f({\mathcal{X}}^{\ast })+\sum _{i=1}^M{\lambda }_i^{\ast }{m}_i(\mathcal{X})$$

  • 又因为可行域条件：$\{\begin{array}{l}{m}_i({\mathcal{X}}^{\ast })\le 0(i=1,2,\cdots ,M)\\ {\lambda }^{\ast }\le 0\end{array}$，因此则有：
    两项异号，其结果有上界0。
    $$\sum _{i=1}^M{\lambda }_i^{\ast }{m}_i(\mathcal{X})\le 0$$
    从而有：
    $$\mathcal{L}({\mathcal{X}}^{\ast },{\lambda }^{\ast },{\eta }^{\ast })=f({\mathcal{X}}^{\ast })+\sum _{i=1}^M{\lambda }_i^{\ast }{m}_i(\mathcal{X})\le f({\mathcal{X}}^{\ast })$$

  观察上述推导过程，发现：满足什么条件才能将最后的$\le$换成$=$，成为真正的强对偶关系？
  其核心原因在于：
  $$\sum _{i=1}^M{\lambda }_i^{\ast }{m}_i(\mathcal{X})\le 0$$
  如果将该式改为：${\sum }_{i=1}^M{\lambda }_i^{\ast }{m}_i(\mathcal{X})=0$，此时就成为真正的强对偶关系。我们称该条件为互补松弛原则。

• 梯度为0：
  观察上述推导过程，发现还有一个$\le$没有解决：
  $$\underset{\mathcal{X}}{\min }\mathcal{L}(\mathcal{X},{\lambda }^{\ast },{\eta }^{\ast })\le \mathcal{L}({\mathcal{X}}^{\ast },{\lambda }^{\ast },{\eta }^{\ast })$$
  该小于号转换为等号需要满足什么条件？
  ${\mathcal{X}}^{\ast }$是$\mathcal{L}(\mathcal{X},{\lambda }^{\ast },{\eta }^{\ast })$的最优解。即：
  $$\frac{\partial \mathcal{L}(\mathcal{X},{\lambda }^{\ast },{\eta }^{\ast })}{\partial \mathcal{X}}=0{|}_{\mathcal{X}={\mathcal{X}}^{\ast }}$$

整理，互补松弛原则共包含3个部分，5个条件：

• 可行域(约束条件)；
  $$m_i({\mathcal{X}}^{\ast })\le 0;n_j({\mathcal{X}}^{\ast })\le 0;{\lambda }^{\ast }\ge 0$$
• 互补松弛原则；
  $${\lambda }_i{m}_i=0$$
• 梯度为0；
  $$\frac{\partial \mathcal{L}(\mathcal{X},{\lambda }^{\ast },{\eta }^{\ast })}{\partial \mathcal{X}}=0{|}_{\mathcal{X}={\mathcal{X}}^{\ast }}$$

利用$KKT$条件求解最优参数；

结合最大间隔分类器产生的原问题与对偶问题，我们列出满足强对偶关系需要的$KKT$条件：

• 可行域(约束条件)：
  $$\begin{gathered} 1-y^{(i)}\left({\mathcal{W}}^T{x}^{(i)}+b\right)\le 0(i=1,2,\cdots ,N) \\ {\lambda }^{(i)}\ge 0(i=1,2,\cdots ,N) \\ \sum _{i=1}^N{\lambda }^{(i)}{y}^{(i)}=0 \end{gathered}$$
• 拉格朗日函数$\mathcal{L}(\mathcal{W},b,\lambda )$对原问题、对偶问题对应变量梯度为0：
  $$\begin{gathered} \frac{\partial \mathcal{L}(\mathcal{W},b,\lambda )}{\partial \mathcal{W}}\triangleq 0 \\ \frac{\partial \mathcal{L}(\mathcal{W},b,\lambda )}{\partial b}\triangleq 0 \\ \frac{\partial \mathcal{L}(\mathcal{W},b,\lambda )}{\partial \lambda }\triangleq 0 \end{gathered}$$
• 互补松弛原则：
  $${\lambda }^{(i)}\left[1-y^{(i)}\left({\mathcal{W}}^T{x}^{(i)}+b\right)\right]=0$$

这里观察互补松弛原则在求解最优模型中起到的作用：
首先观察$\left[1-y^{(i)}\left({\mathcal{W}}^T{x}^{(i)}+b\right)\right]$具有什么实际意义？
在函数间隔约束部分，第一次产生这种格式。当时的设定是：
$$\underset{x^{(i)}\in \mathcal{X}}{\min }{y}^{(i)}\left({\mathcal{W}}^T{x}^{(i)}+b\right)=1$$
基于该式，我们可以这样认定：满足$y^{(i)}\left({\mathcal{W}}^T{x}^{(i)}+b\right)=1$的样本点是$(x^{(i)},y^{(i)})$是在所有样本均正确分类的前提下，与分类直线(超平面)距离最近的点。
真实情况下，基于样本规模的大小，可能存在若干个距离相同且均最近的若干个样本点；但不可否认的是：至少包含一个。因为只要存在样本，必定存在距离最小的一个。

这些样本点，它具有什么样的特殊性？观察互补松弛原则，可以发现一旦：
$$1-y^{(i)}\left({\mathcal{W}}^T{x}^{(i)}+b\right)=0$$
那么 互补松弛原则中对应的${\lambda }^{(i)}$可以不为0。基于该思路，可以继续引出两条推测：

• ${\lambda }^{(i)}$一旦不为0，那么$1-y^{(i)}\left({\mathcal{W}}^T{x}^{(i)}+b\right)=0$必然成立，它对应的样本点$\left(x^{(i)},y^{(i)}\right)$一定到分类直线(超平面) 距离最近；
• 相反，如果不是距离分类直线(超平面) 最近的样本点，那么$1-y^{(i)}\left({\mathcal{W}}^T{x}^{(i)}+b\right)<0$，它对应的${\lambda }^{(i)}=0$必然成立。

假设存在某样本点$(x^{(k)},y^{(k)})$使得：
$$1-y^{(k)}\left({\mathcal{W}}^T{x}^{(k)}+b\right)=0$$
由于最优解${\mathcal{W}}^{\ast }$通过$\frac{\partial \mathcal{L}(\mathcal{W},b,\lambda )}{\partial \mathcal{W}}\triangleq 0$求解最优值为：
上一节的推论结果传送门
$${\mathcal{W}}^{\ast }=\sum _{i=1}^N{\lambda }^{(i)}{y}^{(i)}{x}^{(i)}$$
最后，将${\mathcal{W}}^{\ast }$带入$1-y^{(k)}\left({\mathcal{W}}^T{x}^{(k)}+b\right)=0$中，求出最优解$b^{\ast }$：
$$y^{(k)}\left({\mathcal{W}}^T{x}^{(k)}+b\right)=1$$
由于$y^{(k)}\in \{-1,1\}$，左右两边同乘$y^{(k)}$，等式左边${\left(y^{(k)}\right)}^2=1$恒成立，省略；等式右侧剩余一个$y^{(k)}$：
$${\mathcal{W}}^T{x}^{(k)}+b=y^{(k)}$$
最终$b^{\ast }$结果表示如下：
$$\begin{array}{rl}{b}^{\ast }& =y^{(k)}-{\left({\mathcal{W}}^{\ast }\right)}^T{x}^{(k)}\\ & =y^{(k)}-\sum _{i=1}^N\left[{\lambda }^{(i)}{y}^{(i)}{\left(x^{(i)}\right)}^T\right]x^{(k)}\end{array}$$

至此，我们得到了构成分类直线(超平面)的两个参数：${\mathcal{W}}^{\ast },b^{\ast }$；最终 分类直线(超平面) 的表达式为：
$$({\mathcal{W}}^{\ast }{)}^T\mathcal{X}+b^{\ast }=0$$
对应模型表示为：
$$f(\mathcal{W},b)=sign\left[({\mathcal{W}}^{\ast }{)}^T\mathcal{X}+b^{\ast }\right]$$

至此，硬间隔$SVM$最优参数求解过程结束。下一节将介绍软间隔$SVM$。

相关参考：
机器学习-支持向量机3-硬间隔SVM模型求解(对偶问题之KKT条件)
机器学习-支持向量机8-约束优化问题-对偶关系之KKT条件