机器学习之支持向量机（SVM）

  上篇博文《机器学习之Rademacher复杂度和VC维》讲述了衡量假设集复杂程度即假设集拟合随机噪声的丰富性的方法，从这一篇博文开始讲述机器学习领域的一个重要算法——支持向量机（SVM）。

  支持向量机是一种二分类模型，基本思路是求出特征空间中最大间隔的划分两个样本的超平面。这使得其区别于感知机。也就是支持向量机的核心学习策略就是间隔最大化，其形式上也可以转化为求凸二次规划问题，支持向量机的本质就是求解凸二次规划的优化算法问题。

  博文重点：

• 介绍线性可分数据集的分类算法。
• 介绍线性不可分的数据集的分类算法。
• 提出基于间隔（margin）概念的支持向量机的理论基础。

1、线性分类（Linear classification）

  考虑一个$N$维输入空间$\mathcal{X}\in {\mathbb{R}}^N,N\ge 1$。输出空间$\mathcal{Y}=\{-1,+1\}$，并且$f:\mathcal{X}\to \mathcal{Y}$是目标函数。假设集$H$是二分类$\mathcal{X}$到$\mathcal{Y}$的映射。训练样本$S=((x_1,y_1),...,(x_m,y_m))\in (\mathcal{X}\times \mathcal{Y}{)}^m$并且$y_i=f(x_i)$对任意的$i\in [m]$来自于某个未知分布$D$。假设集$h\in H$的泛化误差为：
$$R_D(h)=\underset{x\sim D}{P}[h(x)\ne f(x)].$$
根据之前的研究，假设集具有更小的$VC$维或Rademacher复杂度将提供更好学习保证，这也符合奥卡姆剃刀原则。那么线性分类器（超平面）自然具有较小的复杂度，定义如下：
$$\mathcal{H}=\{\mathbf{x}\to \text{sgn}(\mathbf{w}\cdot \mathbf{x}+b):\mathbf{w}\in {\mathbb{R}}^N,b\in \mathbb{R}\}.$$
超平面在${\mathbb{R}}^N$的一般方程为：$\mathbf{w}\cdot \mathbf{x}+b=0$，并且$\mathbf{w}\in {\mathbb{R}}^N$是超平面的非零向量，$b\in \mathbb{R}$是一个标量。因此，分离超平面可将特征空间划分为两部分，所有落在超平面一边的点标记为正，落在另一面的标记为负，也就是法向量所指向的一侧为正类，另一侧为负类。

2、可分的情况（Separable case）

  这一部分先假定样本集$S$均是线性可分的，所以我们假定存在一个超平面能够完美地将样本划分为正负两类，如下图所示：

也就是等价于存在着$(\mathbf{w},b)\in ({\mathbb{R}}^N-\{0\})\times \mathbb{R}$满足：

$$\forall i\in [m],y_i(\mathbf{w}\cdot {\mathbf{x}}_i+b)\ge 0.$$
但是从上幅图我们可以看到，存在着无数个超平面可以将两类样本区分开来。感知机利用误分类最小的策略求得分类超平面，其解也是无穷多个，而线性可分支持向量机利用间隔最大化求最优分离超平面的解是唯一的。

  求解SVM的解的方法是以几何间隔概念为基础的。

定义1：几何间隔：线性分类器的几何间隔就是一个点$\mathbf{x}$到超平面$\mathbf{w}\cdot \mathbf{x}+b=0$的欧氏距离：

$${\rho }_h(x)=\frac{|\mathbf{w}\cdot \mathbf{x}+b|}{||\mathbf{w}|{|}_2}.$$
对于线性分类器$h$的几何间隔${\rho }_h$就是所有样本点$S=({\mathbf{x}}_1,...,{\mathbf{x}}_{\mathbf{m}})$中到超平面的最小距离：

$${\rho }_h=\underset{i\in [m]}{\min }{\rho }_h(x_i)$$，也就是离超平面最近的点。

  SVM的解就是寻找最大间隔分离超平面，由于$\rho$是能够保证最大间隔地划分两类样本，所以此时的$\rho$可以说是最有保障的分离超平面，如下图所示。

2.1 原始优化问题（Primal optimization problem）

  通过定义几何间隔，一个分离超平面的最大间隔$\rho$如下所示：

$$\begin{array}{rl}\rho & =\underset{\mathbf{w},b:y_i({\mathbf{w}}_{\mathbf{i}}\cdot \mathbf{x}+b)\ge 0}{\max }\underset{i\in [m]}{\min }\frac{|\mathbf{w}\cdot {\mathbf{x}}_{\mathbf{i}}+b|}{||\mathbf{w}||}\\ & =\underset{\mathbf{w},b}{\max }\underset{i\in [m]}{\min }\frac{y_i(\mathbf{w}\cdot {\mathbf{x}}_{\mathbf{i}}+b)}{||\mathbf{w}||}.\end{array}$$

上述公式的含义就是最大化几何间隔，也就是以一个充分大的确信度对数据集进行分类，不仅将正负类分开，对于某些难以区分的示例点也具有足够大的能力将其分开。那么则有$y_i(\mathbf{w}\cdot {\mathbf{x}}_{\mathbf{i}}+b)\ge 0$恒成立，我们可以假定${\min }_{i\in [m]}{y}_i(\mathbf{w}\cdot {\mathbf{x}}_{\mathbf{i}}+b)=1$：

$$\rho =\underset{\mathbf{w},b:{\min }_{i\in [m]}{y}_i(\mathbf{w}\cdot {\mathbf{x}}_{\mathbf{i}}+b)=1}{\max }\frac{1}{||\mathbf{w}||}=\underset{\mathbf{w},b:\forall i\in [m],y_i({\mathbf{w}}_{\mathbf{i}}\cdot \mathbf{x}+b)\ge 1}{\max }\frac{1}{||\mathbf{w}||}.$$
下图，间隔超平面与分离超平面平行，并且通过最近的正负样本，间隔超平面的方程是$\mathbf{w}\cdot \mathbf{x}+b=\pm 1$。

  由于最大化$\frac{1}{||\mathbf{w}||}$等价于最小化$\frac{1}{2}||\mathbf{w}|{|}^2$，则求解SVM线性可分超平面的解的方法转变为如下的凸优化问题：

$$\begin{gathered} \underset{\mathbf{w},b}{\min }\frac{1}{2}||\mathbf{w}|{|}^2 \\ \text{subject to}:y_i(\mathbf{w}\cdot \mathbf{x}+b)\ge 1,\forall i\in [m] \end{gathered}$$

  目标函数$F:\mathbf{w}\to \frac{1}{2}||\mathbf{w}|{|}^2$是光滑并可微的。它的梯度$\nabla F(\mathbf{w})=\mathbf{w}$，海森（Hessian）矩阵${\nabla }^{2}F(\mathbf{w})=\mathbf{I}$，并且矩阵的特征值严格为正，因此目标函数是严格凸函数。限制函数$g_i:(\mathbf{w},b)\to 1-y_i(\mathbf{w}\cdot \mathbf{x}+b)$是仿射函数。上述凸优化问题成为凸二次规划问题（convex QP problems），上述问题便会有唯一解。

2.2 支持向量（Support vectors）

  为了求解线性可分支持向量机的最优化问题，可将原始问题（primal problems）应用拉格朗日对偶性转化为对偶问题（dual problems）。对偶问题往往更加方便求解并且方便引入核函数，推广到非线性分类问题（下篇文章讲述）。

  引入拉格朗日变量${\alpha }_i\ge 0,i\in [m]$，将$\alpha$表示为向量的形式为：$\alpha =({\alpha }_1,...,{\alpha }_m{)}^T$，因此，对于所有的$\mathbf{w}\in {\mathbb{R}}^N,b\in \mathbb{R},\alpha \in {\mathbb{R}}_{+}^N$，

$$\mathcal{L}(\mathbf{w},b,\alpha )=\frac{1}{2}||\mathbf{w}|{|}^2-\sum _{i=1}^m{\alpha }_i[y_i(\mathbf{w}\cdot {\mathbf{x}}_i+b)-1].$$
根据拉格朗日的对偶性，原始问题的对偶问题是极大极小问题：

$$\underset{\alpha }{\max }\underset{\mathbf{w},b}{\min }\mathcal{L}(\mathbf{w},b,\alpha )$$

所以，为了得到对偶问题的解，需要先求出$\mathcal{L}(\mathbf{w},b,\alpha )$对$\mathbf{w},b$的极小，再求出对$\alpha$的极大。
  （1）求${\min }_{\mathbf{w},b}\mathcal{L}(\mathbf{w},b,\alpha )$：得到KKT条件就是将原始问题中的$\mathbf{w},b$的梯度设置为$0$，并再加上一条补充条件，如下所示：

$$\begin{array}{lcl}{\nabla }_{\mathbf{w}}\mathcal{L}=\mathbf{w}-{\sum }_{i=1}^m{\alpha }_i{y}_i{\mathbf{x}}_i& \Rightarrow & \mathbf{w}={\sum }_{i=1}^m{\alpha }_i{y}_i{\mathbf{x}}_i\\ & & \\ {\nabla }_b\mathcal{L}=-{\sum }_{i=1}^m{\alpha }_i{y}_i=0& \Rightarrow & {\sum }_{i=1}^m{\alpha }_i{y}_i=0\\ & & \\ \forall i,{\alpha }_i[y_i(\mathbf{w}\cdot {\mathbf{x}}_{\mathbf{i}}+b)-1]=0& \Rightarrow & {\alpha }_i=0\text{or}{y}_i(\mathbf{w}\cdot {\mathbf{x}}_i+b)=1\end{array}$$
上述公式可以看出，SVM中$\mathbf{w}$的解就是当且仅当$\alpha \ne 0$时训练集${\mathbf{x}}_1,...,{\mathbf{x}}_m$的线性组合。这些向量就叫做支持向量。上面的第三个式子，如果${\alpha }_i\ne 0$，则说明$y_i(\mathbf{w}\cdot {\mathbf{x}}_i+b)=1$。因此，支持向量存在于间隔超平面上，即$\mathbf{w}\cdot {\mathbf{x}}_i+b=\pm 1$。

  支持向量机完美地定义了最大间隔超平面的含义，不在间隔超平面上的训练集向量不会对间隔超平面的产生造成影响。换句话说，只有支持向量的改变才会影响SVM的解，支持向量的个数一般不多，但却起着重要的作用。

  注意，支持向量机问题的解$\mathbf{w}$是唯一的，而支持向量则不是。在$N$维中，$N+1$个点足以定义一个超平面。因此，当超过$N+1$个点位于一个间隔超平面上时，对于$N+1$个支持向量可能会有不同的选择。

2.3 对偶优化问题（Dual optimization problem）

  将上述KKT条件中的解带入到拉格朗日对偶函数中得：

$$\mathcal{L}=\frac{1}{2}||\sum _{i=1}^m{\alpha }_i{y}_i{\mathbf{x}}_i|{|}^2-\sum _{i,j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j({\mathbf{x}}_i\cdot {\mathbf{x}}_j)-\sum _{i=1}^m{\alpha }_i{y}_{i}b+\sum _{i=1}^m{\alpha }_i,$$
其中$\frac{1}{2}||{\sum }_{i=1}^m{\alpha }_i{y}_i{\mathbf{x}}_i|{|}^2-{\sum }_{i,j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j({\mathbf{x}}_i\cdot {\mathbf{x}}_j)=-\frac{1}{2}{\sum }_{i,j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j({\mathbf{x}}_i\cdot {\mathbf{x}}_j)$。所示上式可简化为：

$$\mathcal{L}=\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i,j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j({\mathbf{x}}_i\cdot {\mathbf{x}}_j).$$

  （2）求解${\min }_{\mathbf{w},b}\mathcal{L}(\mathbf{w},b,\alpha )$对$\alpha$的极大：对于线性可分的SVMs的对偶优化问题转变为：

$$\begin{gathered} \underset{\alpha }{\max }(\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i,j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j({\mathbf{x}}_i\cdot {\mathbf{x}}_j)) \\ \text{subject to}:{\alpha }_i\ge 0\text{and}\sum _{i=1}^m{\alpha }_i{y}_i=0,\forall i\in [m] \end{gathered}$$

目标函数$G:\alpha \to ({\sum }_{i=1}^m{\alpha }_i-\frac{1}{2}{\sum }_{i,j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j({\mathbf{x}}_i\cdot {\mathbf{x}}_j))$是无限可微的。它的海森矩阵${\nabla }^2(G)=-\mathbf{A},\mathbf{A}=(y_i{\mathbf{x}}_i\cdot y_j{\mathbf{x}}_j)$，$\mathbf{A}$是格拉姆（Gram）矩阵，因此是半正定的，所以有${\nabla }^2(G)\le 0$，因此$G$是一个凹函数。因为约束条件是仿射函数和凸函数，上式的最优化问题就是凸优化问题。因为$G$是$\alpha$的二次函数，所以这个对偶问题也是一个二次规划问题，在原始优化问题的情况下，同样可以使用通用和专用二次规划问题来获得SVMs的解。

  设${\alpha }^{\ast }=({\alpha }_1^{\ast },\cdots ,{\alpha }_m^{\ast }{)}^T$是上述对偶优化问题的解，由KKT条件可得原始最优化问题的解$(\mathbf{w},b)$的解$({\mathbf{w}}^{\ast },b^{\ast })$解为：

$${\mathbf{w}}^{\ast }=\sum _{i=1}^m{\alpha }_i^{\ast }{y}_i{\mathbf{x}}_i$$

带入到分离超平面中得：

$$h(\mathbf{x})=\text{sgn}(\mathbf{w}\cdot \mathbf{x}+b)=\text{sgn}(\sum _{i=1}^m{\alpha }_i{y}_i({\mathbf{x}}_i\cdot \mathbf{x})+b)$$

由于支持向量存在于间隔超平面中，对于任意的支持向量${\mathbf{x}}_i$，都有$\mathbf{w}\cdot {\mathbf{x}}_{\mathbf{i}}+b=y_i$成立，因此：

$$b^{\ast }=y_j-\sum _{i=1}^m{\alpha }_i{y}_i({\mathbf{x}}_i\cdot {\mathbf{x}}_{\mathbf{j}})$$

上述的三个公式表明了SVMs的一个重要特性：SVMs的解仅仅取决于向量之间的内积而与向量本身没有直接关系。这个问题会在下一篇博文《核方法》中详细讲解。

  将上式等号两边同时乘以${\alpha }_i{y}_i$，当${\alpha }_i\ne 0$时，则有：

$$\sum _{i=1}^m{\alpha }_i{y}_{i}b=\sum _{i=1}^m{\alpha }_i{y}_i^2-\sum _{i,j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j({\mathbf{x}}_{\mathbf{i}}\cdot {\mathbf{x}}_j).$$

因为$y_i^2=1$并且使用KKT条件中的解可以产生：

$$0=\sum _{i=1}^m{\alpha }_i-||\mathbf{w}|{|}^2.$$

对于${\alpha }_i\ge 0$，我们可以获得关于$\alpha$的$L_1$范数的间隔$\rho$的表达式：

$${\rho }^2=\frac{1}{||\mathbf{w}|{|}_2^2}=\frac{1}{{\sum }_{i=1}^m{\alpha }_i}=\frac{1}{||\alpha |{|}_1}.$$

2.4 留一分析（Leave-one-out analysis）

  我们现在使用留一误差的概念来产生以训练集中部分支持向量为基础的SVMs的第一个学习保证。

定义2：留一误差：让$h_S$表示一个训练在固定样本$S$上的学习算法$\mathcal{A}$的假设。则在大小为$m$的样本$S$上的$\mathcal{A}$的留一误差是：

$$R_{LOO}(\mathcal{A})=\frac{1}{m}\sum _{i=1}^m{1}_{h_{S-\{x_i\}}(x_i)\ne y_i}$$

因此，对于任意$i\in [m]$，$\mathcal{A}$训练在除了$x_i$以外的训练集$S$上并其它的误差使用$x_i$来计算。留一误差就是这些误差的平均误差。我们将使用留一误差的一个重要特性来陈述下述引理：

引理3：$m\ge 2$的样本的平均留一误差是大小为$m-1$样本的平均泛化误差的一个无偏估计：

$$\underset{S\sim {\mathcal{D}}^m}{E}[R_{LOO}(\mathcal{A})]=\underset{S^{\prime }\sim {\mathcal{D}}^{m-1}}{E}[R(h_{S^{\prime }})],$$
$\mathcal{D}$是样本的分布。

证明： 由留一误差定义我们能够写出：

$$\begin{array}{rl}\underset{S\sim {\mathcal{D}}^m}{E}[R(\mathcal{A})]& =\frac{1}{m}\sum _{i=1}^m\underset{S\sim {\mathcal{D}}^m}{E}[1_{h_{S-\{x_i\}}(x_i)\ne y_i}]\\ & =\underset{S\sim {\mathcal{D}}^m}{E}[1_{h_{S-\{x_1\}}(x_1)\ne y_1}]\\ & =\underset{S^{\prime }\sim {\mathcal{D}}^{m-1},x_1\sim \mathcal{D}}{E}[1_{h_{S^{\prime }}(x_1)\ne y_1}]\\ & =\underset{S^{\prime }\sim {\mathcal{D}}^{m-1}}{E}[\underset{x_1\sim \mathcal{D}}{E}[1_{h_{S^{\prime }}(x_1)\ne y_1}]]\\ & =\underset{S^{\prime }\sim {\mathcal{D}}^{m-1}}{E}[R(h_{S^{\prime }})]\end{array}$$

  一般来说，计算留一误差是比较费时费力的，因为需要对$m-1$个样本训练$m$次。

定理4：让$h_S$表示一个样本$S$的SVMs的假设，让$N_{SV}(S)$表示定义$h_S$的支持向量的个数，则：

$$\underset{S\sim {\mathcal{D}}^m}{E}[R(h_S)]\le \underset{S\sim {\mathcal{D}}^{m+1}}{E}[\frac{N_{SV}(S)}{m+1}]$$

证明：$S$表示是线性可分的$m+1$个样本，如果$x$不是$h_S$的支持向量，移除它也不会对SVM的解造成影响。因此，$h_{S-\{x\}}=h_S$并且$h_{S-\{x\}}$正确地将$x$分类。相反，如果$h_{S-\{x\}}$错误地对$x$进行分类，$x$一定是一个支持向量，这表明：
$$R_{LOO}(\text{SVM})\le \frac{N_{SV}(S)}{m+1}.$$不等式两边分别取期望再利用上面的引理，就会产生定理的结果。

  上式表明，算法的平均误差的上界就是支持向量在所有示例点的所占比。所以在实践中，我们更希望有更少的点存在于间隔超平面上，这样的平均误差就会更小。但是，这个界限相对较弱，因为它只适用于算法在大小为$m$的样本上的平均泛化误差，并没有提供任何关于泛化误差方差的信息。在文章的后面，我们将以间隔的概念提出一个更强大的高概率边界。

3、不可分的情况（Non-separable case）

  其实在大多数训练集中，训练样本都是线性不可分的，这表明对于任何超平面$\mathbf{w}\cdot \mathbf{x}+b=0$，总会存在某些特异点${\mathbf{x}}_i\in S$：

$$y_i[\mathbf{w}\cdot {\mathbf{x}}_i+b]\ngeqq 1.$$

因此，可以对每个样本点引入一个松弛变量${\xi }_i\ge 0$使得：

$$y_i[\mathbf{w}\cdot {\mathbf{x}}_i+b]\ge 1-{\xi }_i.$$

下图说明了这个情况，所以向量${\mathbf{x}}_i$被认为是特异点要满足$0<y_i(\mathbf{w}\cdot {\mathbf{x}}_i+b)<1$。这种情况的间隔$\rho =\frac{1}{||\mathbf{w}||}$被称为软间隔，相反线性可分被称为硬间隔。

  在不可分的情况下我们如何挑选分离超平面呢？有两个相矛盾的方法：一方面我们希望由特异点造成的松弛总量得到限制，这可以通过${\sum }_{i=1}^m{\xi }_i$或者是通过${\sum }_{i=1}^m{\xi }_i^p$，$p\ge 1$来衡量；另一方面，我们寻找一个大间隔超平面，较大的间隔可能会存在更多的特异点，这样将会有更大的松弛。

3.1 原始优化问题（Primal optimization problem）

  对于线性不可分的问题，定义一个参数$C\ge 0$是间隔最大化（或最小化$||\mathbf{w}|{|}^2$）和最小化松弛变量${\sum }_{i=1}^m{\xi }_i^p$之间的一个权衡：

$$\begin{gathered} \underset{\mathbf{w},b,\xi }{\min }\frac{1}{2}||\mathbf{w}|{|}^2+C\sum _{i=1}^m{\xi }_i^p \\ \text{subject to}{y}_i(\mathbf{w}\cdot {\mathbf{x}}_i+b)\ge 1-{\xi }_i\text{and}{\xi }_i\ge 0,i\in [m], \end{gathered}$$其中$\xi =({\xi }_1,\cdots ,{\xi }_m{)}^T$。参数$C$是由$n$折交叉验证决定的。

  与线性可分的情况一样，因为约束条件是仿射的所以是凸的并且目标函数对于对任意$p\ge 1$也是凸的，所以上式是一个凸优化问题。

  对于$p$有很多可能的选择会导致或多或少的惩罚松弛项，但选择$p=1$和$p=2$会得到更好更直接的解。与选择$p=1$和$p=2$相关的损失函数被叫做铰链损失和二次铰链损失。下图展示了这些损失函数和标准$0-1$损失函数的函数图像：

这两个铰链损损失函数都是$0-1$损失的凸上界，因此非常适合于优化。接下来分析的是铰链损失（$p=1$的情况），这是支持向量机中应用最广泛的损失函数。

3.2 支持向量（Support vectors）

  与上一节的线性可分原始优化问题的对偶优化问题一样，线性不可分的对偶优化问题如下：

$$\mathcal{L}(\mathbf{w},b,\xi ,\alpha ,\beta )=\frac{1}{2}||\mathbf{w}|{|}^2+C\sum _{i=1}^m{\xi }_i-\sum _{i=1}^m{\alpha }_i[y_i(\mathbf{w}\cdot {\mathbf{x}}_i+b)-1+{\xi }_i]-\sum _{i=1}^m{\beta }_i{\xi }_i,$$其中$\mathbf{w}\in {\mathbb{R}}^N$，$b\in \mathbb{R}$，$\xi ,\alpha ,\beta \in {\mathbb{R}}_{+}^m$。

KKT条件就是将原始优化问题中的$\mathbf{w},b$和$\xi$相关的拉格朗日对偶优化问题的梯度置零，并加上互补条件：

$$\begin{array}{lcl}{\nabla }_{\mathbf{w}}\mathcal{L}=\mathbf{w}-{\sum }_{i=1}^m{\alpha }_i{y}_i{\mathbf{x}}_i=0& \Rightarrow & \mathbf{w}={\sum }_{i=1}^m{\alpha }_i{y}_i{\mathbf{x}}_i\\ & & \\ {\nabla }_b\mathcal{L}=-{\sum }_{i=1}^m{\alpha }_i{y}_i=0& \Rightarrow & {\sum }_{i=1}^m{\alpha }_i{y}_i=0\\ & & \\ {\nabla }_{\xi }\mathcal{L}=C-{\alpha }_i-{\beta }_i=0& \Rightarrow & {\alpha }_i+{\beta }_i=C\\ & & \\ \forall i,{\alpha }_i[y_i(\mathbf{w}\cdot {\mathbf{x}}_i+b)-1+{\xi }_i]=0& \Rightarrow & {\alpha }_i=0\text{or}{y}_i(\mathbf{w}\cdot {\mathbf{x}}_i+b)=1-{\xi }_i\\ & & \\ \forall i,{\beta }_i{\xi }_i=0& \Rightarrow & {\beta }_i=0\text{or}{\xi }_i=0\end{array}$$

这里与线性可分的情况就有所区别了，如果${\alpha }_i\ne 0$则$y_i(\mathbf{w}\cdot {\mathbf{x}}_i+b)=1-{\xi }_i$。如果${\xi }_i=0$，则$y_i(\mathbf{w}\cdot {\mathbf{x}}_i+b)=1$，${\mathbf{x}}_i$存在于间隔超平面上，属于可分的情况。否则${\xi }_i\ne 0$，${\mathbf{x}}_i$是一个特异点。这种情况下表明${\beta }_i=0$，这就需要${\alpha }_i=C$。因此，当${\alpha }_i=C$时，${\mathbf{x}}_i$是特异点。与可分情况一样，权值向量$\mathbf{w}$的解是唯一的，但支持向量不唯一。

3.3 对偶优化问题（Dual optimization problem）

  将上一小节中的KKT中的解带入到拉格朗日对偶函数中得：

$$\mathcal{L}=\begin{array}{c}\frac{1}{2}||\sum _{i=1}^m{\alpha }_i{y}_i{\mathbf{x}}_i|{|}^2-\sum _{i,j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j({\mathbf{x}}_i\cdot {\mathbf{x}}_j)\\ -\frac{1}{2}{\sum }_{i,j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j({\mathbf{x}}_i\cdot {\mathbf{x}}_j)\end{array}-\begin{array}{c}\sum _{i=1}^m{\alpha }_i{y}_{i}b\\ 0\end{array}+\sum _{i=1}^m{\alpha }_i.$$

所以我们发现，目标函数与可分情况下的没有区别：

$$\mathcal{L}=\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i,j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j({\mathbf{x}}_i\cdot {\mathbf{x}}_j).$$

然而，除了要求${\alpha }_i\ge 0$之外，还要求变量${\beta }_i\ge 0$。由上述的KKT条件，说明${\alpha }_i\le C$。这将导致不可分情况下的SVMs的对偶优化问题仅仅在限制${\alpha }_i\le C$下有区别于线性可分的情况：

$$\begin{gathered} \underset{\alpha }{\max }(\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i,j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j({\mathbf{x}}_i\cdot {\mathbf{x}}_j)) \\ \text{subject to}:0\le {\alpha }_i\le C\text{and}\sum _{i=1}^m{\alpha }_i{y}_i=0,i\in [m]. \end{gathered}$$

因此，与线性可分的情况一样，对偶问题的解$\alpha$可以直接应用到SVMs的假设集的解上来，解得$\mathbf{w}={\sum }_{i=1}^m{\alpha }_i{y}_i{\mathbf{x}}_i$：

$$h(\mathbf{x})=\text{sgn}(\mathbf{w}\cdot \mathbf{x}+b)=\text{sgn}(\sum _{i=1}^m{\alpha }_i{y}_i({\mathbf{x}}_i\cdot \mathbf{x})+b).$$

并且$b$能够通过任意在间隔超平面上的支持向量${\mathbf{x}}_i$（$0\le {\alpha }_i\le C$）来确定。对于每一个支持向量都有$\mathbf{w}\cdot {\mathbf{x}}_i+b=y_i$，因此
$$b=y_i-\sum _{i=1}^m{\alpha }_i{y}_i({\mathbf{x}}_j\cdot {\mathbf{x}}_i).$$

  与线性可分的情况一致，假设解只依赖于向量之间的内积而不直接依赖于向量本身。这个事实可以用来扩展支持向量机来定义非线性决策边界，我们将在下篇文章中讲述。

  对于软间隔支持向量${\mathbf{x}}_i$或者在间隔边界上，或者在间隔边界与分离超平面之间，或者在超平面的负一侧。若${\alpha }_i<C$，则${\xi }_i=0$，支持向量${\mathbf{x}}_i$恰好落在间隔边界上；若${\alpha }_i=C$，$0\le {\xi }_i\le 1$，则分类正确，${\mathbf{x}}_i$处在间隔边界与分离超平面之间；若${\alpha }_i=C$，${\xi }_i=1$，则${\mathbf{x}}_i$在分离超平面上；若${\alpha }_i=C$，${\xi }_i>1$，则${\mathbf{x}}_i$位于分离超平面的误分一侧。

4、间隔理论（Margin theory）

  本节给出了支持向量机算法的泛化边界为支持向量机算法提供了有力的理论支持。

  对二分类问题，${\mathbb{R}}^N$空间的$VC$维是$N+1$。应用$VC$维边界可以推导出：

$$R(h)\le R_S(h)+\sqrt{\frac{2(N+1)\log \frac{em}{n+1}}{m}}+\sqrt{\frac{\log \frac{1}{\delta }}{2m}}.$$

当特征空间$N$的维数比样本数量$m$大时，这个界限没有什么意义。但本节中提供的学习保证与维度$N$无关，因此不考虑特征空间维度。

  我们提出的这个边界保证对例如SVMs的解$\mathbf{x}\to \mathbf{w}\cdot \mathbf{x}+b$实值函数成立而不是例如$\mathbf{x}\to \text{sgn}(\mathbf{w}\cdot \mathbf{x}+b)$解为$+1,-1$的分类函数。实值函数是以置信间隔（confidence margin）为基础的。在以标签为$y$的点$x$的实值函数的置信间隔是$yh(x)$。因此，当$yh(x)>0$，$h$正确地分类$x$但是我们将$|h(x)|$的大小解释为$h$所做预测的置信度。置信间隔的概念与几何间隔不同，不需要假设数据时线性可分性的。但是，下面两个概念在线性可分情况下是有关系的：对于$h:\mathbf{x}\to \mathbf{w}\cdot \mathbf{x}+b$的几何间隔为${\rho }_{\text{geom}}$，对任意训练点中标签为$y$的点$\mathbf{x}$的置信间隔至少是${\rho }_{\text{geom}}||\mathbf{w}||$，也就是$|yh(x)|\ge {\rho }_{\text{geom}}||\mathbf{w}||$。

  对于置信间隔的定义，对任意$\rho >0$，与$0-1$损失一样，可以当误分类点$x,(yh(x)<0)$时用$1$来表示对$h$的惩罚。所以可以通过定义$\rho -$间隔损失函数来表示，但是要注意即使$h$正确分类$x$但置信间隔小于等于$\rho (yh(x)\le \rho )$时也要对$h$进行惩罚。下面以损失函数的形式给出了本节主要的基于间隔的泛化边界：

定义5：间隔损失函数：对任意$\rho >0$，$\rho -$间隔损失函数是定义在通过$L_{\rho }(y,y^{\prime })={\Phi }_{\rho }(y{y}^{\prime })$对所有的$y,y^{\prime }\in \mathbb{R}$的损失函数$L_{\rho }:\mathbb{R}\times \mathbb{R}\to {\mathbb{R}}_{+}$
$${\Phi }_{\rho }(x)=\min (1,\max (0,1-\frac{x}{\rho }))=\{\begin{array}{ll}1& \text{if}x\le 0\\ 1-\frac{x}{\rho }& \text{if}0\le x\le \rho \\ 0& \text{if}\rho \le x\end{array}.$$

下图是对上式的阐述，参数$\rho >0$是对假设集$h$的置信间隔的解释。经验间隔损失的定义类似于训练样本的间隔损失。

定义6：经验间隔损失：一个样本$S=(x_1,\cdots ,x_m)$和一个假设集$h$，经验间隔损失可以如下定义：

$$R_{S,\rho }(h)=\frac{1}{m}\sum _{i=1}^m{\Phi }_{\rho }(y_{i}h(x_i)).$$

需要知道，对任意的$i\in [m]$，${\Phi }_{\rho }(y_{i}h(x_i))\le 1_{y_{i}h(x_i)\le \rho }$。因此，经验间隔损失的上界如下：

$$R_{S,\rho }(h)\le \frac{1}{m}\sum _{i=1}^m{1}_{y_{i}h(x_i)\le \rho }.$$

  结果证明，经验间隔损失能够通过它的上界来取代：如上图所示，损失函数的上界是训练样本点$x$小于间隔$\rho$的一个分数。

  下述是基于$VC$维和Rademacher复杂度推导的支持向量机的间隔理论，只给结论，暂不证明。

---

引理7（Talagrand引理）：让${\Phi }_1,\cdots ,{\Phi }_m$是从$\mathbb{R}$到$\mathbb{R}$的$l-Lipschitz$函数，${\sigma }_1,\cdots ,{\sigma }_m$是Rademacher随机变量。对任意实值函数的假设集合$\mathcal{H}$，下述不等式成立：

$$\frac{1}{m}\underset{\sigma }{E}[\underset{h\in \mathcal{H}}{\sup }\sum _{i=1}^m{\sigma }_i(\Phi \circ h(x_i))]\le \frac{l}{m}\underset{\sigma }{E}[\underset{h\in \mathcal{H}}{\sup }\sum _{i=1}^m{\sigma }_{i}h(x_i)]=l{\mathfrak{R}}_S(\mathcal{H}).$$

一般来说：如果对于所有的$i\in [m]$，${\Phi }_i=\Phi$，下述不等式成立：

$${\mathfrak{R}}_S(\Phi \circ \mathcal{H})\le l{\mathfrak{R}}_S(\mathcal{H}).$$

---

定理8：二分类间隔边界：$\mathcal{H}$是一系列实值函数。对于$\rho >0$，任意$\delta >0$，至少以$1-\delta$概率，对$h\in \mathcal{H}$，以下两个不等式成立：

$$\begin{gathered} R(h)\le R_{S,\rho }(h)+\frac{2}{\rho }{\mathfrak{R}}_m(\mathcal{H})+\sqrt{\frac{\log \frac{1}{\delta }}{2m}} \\ R(h)\le R_{S,\rho }(h)+\frac{2}{\rho }{\mathfrak{R}}_S(\mathcal{H})+3\sqrt{\frac{\log \frac{2}{\delta }}{2m}}. \end{gathered}$$

---

定理9：让$\mathcal{H}$是一系列实值函数。对固定的$r>0$，对任意的$\delta >0$，至少有$1-\delta$的概率，对所有的$h\in \mathcal{H}$和$\rho \in (0,r]$：

$$\begin{gathered} R(h)\le R_{S,\rho }(h)+\frac{2}{\rho }{\mathfrak{R}}_m(\mathcal{H})+\sqrt{\frac{\log {\log }_2\frac{2r}{\rho }}{m}}+\sqrt{\frac{\log \frac{2}{\delta }}{2m}} \\ R(h)\le R_{S,\rho }(h)+\frac{2}{\rho }{\mathfrak{R}}_S(\mathcal{H})+\sqrt{\frac{\log {\log }_2\frac{2r}{\rho }}{m}}+3\sqrt{\frac{\log \frac{4}{\delta }}{2m}} \end{gathered}$$

---

定理10：让$S\subseteq \{\mathbf{x}:||\mathbf{x}||\le r\}$是大小为$m$的样本，让$\mathcal{H}=\{\mathbf{x}\to \mathbf{w}\cdot \mathbf{x}:||\mathbf{w}||\le \Lambda \}$，则$\mathcal{H}$的经验Rademacher复杂度由下述不等式约束：

$${\mathfrak{R}}_S(H)\le \sqrt{\frac{r^2{\Lambda }^2}{m}}.$$

---

推论11：让$\mathcal{H}=\{\mathbf{w}\cdot \mathbf{x}:||\mathbf{w}||\le \Lambda \}$并且假定$\chi \subseteq \{\mathbf{x}:||\mathbf{x}||\le r\}$。对固定$\rho >0$，对任意$\delta >0$，至少有$1-\delta$在大小为$m$的样本$S$下的概率，对任意$h\in \mathcal{H}$成立：

$$R(h)\le R_{S,\rho }(h)+2\sqrt{\frac{r^2{\Lambda }^2/{\rho }^2}{m}}+\sqrt{\frac{\log \frac{1}{\delta }}{2m}}.$$

---

  下篇更新《机器学习中的数学》，再下一篇更新《机器学习之核方法》，to be continued…