【机器学习】支持向量机详解，附带案例

前言

\quad\quad 支持向量机基本思想就是 间隔最大化，看上去很简单，但是要想理解它并不是很容易。本篇将由基本概念出发，对公式进行推导，然后通过一些案例加以展示来介绍支持向量机。本篇篇幅比较长，需耐心仔细看完，适当动手跟着推导及代码实现。

由于博主也在学习中，所以本篇中难免会有些理解错误的地方，还望大家赐教，共同学习。

本篇的代码可见：Github

一、SVM 涉及的概念

\quad\quad 支持向量机（support vector machines，SVM）是一种二类分类模型。它的 基本模型 是定义在特征空间上的间隔最大的线性分类器，支持向量机的学习策略就是间隔最大化，可形式化为求解凸二次规划的问题。

1、分类任务

\quad\quad 分类任务就是确定对象属于哪个预定义的目标类。分类任务的输入数据是记录的集合，每条记录也称为实例或样例，用元祖 $(x,y)$ 表示，其中 $x$ 是属性的集合，$y$ 是类标记（也称目标属性）。在回归模型中，目标属性值是连续的；而在分类模型中，目标属性时离散的。

考虑二分类任务，其目标属性为 $y\in \{0,1\}$，而线性回归模型参数的预测值 $z=w^{T}x+b$ 是实值，于是我们需要将实值 $z$ 转换为目标属性值 0 或 1 。当然最理想的就是单位阶跃函数，但是单位阶跃函数不连续，于是使用 sigmoid函数 作为替代函数。

sigmoid函数 表达式如下：
$$g(z)=\frac{1}{1+e^{-z}}$$

Logistic回归 目的是从特征中学习出一个 0/1 分类模型，而这个分类模型是将特征的线性组合作为自变量，由于自变量的取值范围是 $(-\infty ,+\infty )$ 。因此，使用 sigmoid函数 将自变量映射到 $(0,1)$ 上，映射后的值被认为是属于 $y=1$的概率。

假设函数为：
$$h_{\theta }(x)=g({\theta }^{T}x)=\frac{1}{1+e^{-{\theta }^{T}x}}$$

根据 sigmoid函数 的特性，假设：
$$p(y=1|x;\theta )=h_{\theta }(x)$$
$$p(y=0|x;\theta )=1-h_{\theta }(x)$$

上式表示，已知样本 $x$ 和参数 $\theta$ 的情况下，样本 $x$ 属于正样本 ($y=1$)和负样本($y=0$)的条件概率。若$h_{\theta }(x)>0.5$ 则属于正样本，反之属于负样本。

进一步的，$h_{\theta }(x)$ 只和 ${\theta }^{T}x$ 有关，${\theta }^{T}x>0$ ，那么$h_{\theta }(x)>0.5$ ，而 $g(z)$ 只是用来映射的，真实的类别决定权在于 ${\theta }^{T}x$ 。当 ${\theta }^{T}x\gg 0$ 时，$h_{\theta }(x)$趋于1，反之趋于0。如果我们只从 ${\theta }^{T}x$ 出发，那么模型应该尽可能的让训练数据中 $y=1$ 的特征 ${\theta }^{T}x\gg 0$ ，而 $y=0$ 的特征 ${\theta }^{T}x\ll 0$ 。

Logistic回归 就是要学习得到参数 $\theta$，使得正例的特征远远大于0，负例的特征远远小于0，而且要在全部训练数据上达到这个目标。

接下来，尝试把 Logistic回归 做个变形：

• 首先将目标属性 $y\in \{0,1\}$ 替换为 $y\in \{-1,1\}$ ；
• 将 ${\theta }^{T}x={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2+...+{\theta }_n{x}_n$ 中 ${\theta }_0$ 替换为 $b$；
• 最后将 ${\theta }_1{x}_1+{\theta }_2{x}_2+...+{\theta }_n{x}_n$ 替换为 $w^{T}x={\theta }_1{x}_1+{\theta }_2{x}_2+...+{\theta }_n{x}_n$；
• 得到 ${\theta }^{T}x=w^{T}x+b$。

就是说，除了 $y$ 由 0 变为 -1，线性分类函数跟 Logistic回归 的形式化表示$h_{\theta }(x)=g({\theta }^{T}x)=g(w^{T}x+b)$ 没区别。

将假设函数$h_{w,b}(x)=g(w^{T}x+b)$ 中的 $g(z)$ 做一个简化，将其映射到 $y=-1$ 和 $y=1$ 上，映射如下：
$$g(z)=\{\begin{array}{ll}1,& z⩾0\\ -1,& z<0\end{array}$$

2、线性分类器

线性可分数据集：存在某个超平面S能够将数据集的正实例和负实例完全划分到超平面的两侧，则称为线性可分数据集；否则，线性不可分。

如上图，这些数据就是线性可分的，所以可以用一条直线将这两类数据分开，二维中是一条直线，在多维中就是一个超平面。

这个超平面可以用分类函数 $f(x)=w^{T}x+b$ 表示，在进行分类时，将 $x$ 代入 $f(x)$ 中，如果 $f(x)=0$ 表示数据点在超平面上；$f(x)>0$ 对应 $y=1$的数据点； $f(x)<0$ 对应 $y=-1$的数据点。

3、SVM 在做什么？

\quad\quad 假定给定数据如上图，圆的为正类，方的为负类，要想通过一个划分超平面（这里是二维，所以是条直线）将不同类别的样本分开。从图中我们就可以看出，能将训练样本分开的划分超平面可能有很多，但是我们应该去选择哪一个呢？

\quad\quad 直观上，我们应该选择中间红色的那个，因为它对于训练样本局部扰动的“容忍”性最好，比如，训练集外的样本可能比图中的样本更接近两类的划分超平面，这将使许多划分超平面出现错误，而红色的超平面受到的影响是最小的，也就是说，这个划分超平面的分类结果是最鲁棒的，对未知示例的泛化能力最强。

\quad\quad 找出这个划分超平面就成了关键，之前我们介绍的 感知机（点击链接） 也是寻找这个超平面，将训练集划分开，但是感知机利用误分类最小的策略，求得划分超平面，而且解有无穷多个；在所有的划分超平面中，有一个平面是最好的，它可以尽可能地让所有的样本点都离该划分超平面最远，这就是 SVM 要做的。

4、函数间隔

如图，有三个实例 $A、B、C$ 均在划分超平面的正类一侧，预测它们的类，点 $A$ 距离超平面较远，若预测为正类，就比较确信预测是正确的；点 $C$ 距离超平面较近，若预测为正类就不那么确信了；点 $B$ 介于 $A、C$ 之间，预测其为正类的确信度也在 $A、C$ 之间。

一般来说，一个点距离超平面的远近可以相对地表示分类预测的确信程度。

我们注意到：当一个点 $x$ 被正确预测时，那么 $wx+b$ 的符合与类标记 $y$ 的符号相同。

所以可用 $y(w\cdot x+b)$ 来表示分类的正确性及确信度。

对于给定的训练数据集 $T$ 和超平面 $(w,b)$：
（1）定义超平面 $(w,b)$ 关于样本点 $(x_i,y_i)$ 的 函数间隔 为：

$${\delta }_i=y_i(w\cdot x_i+b)$$

（2）定义超平面 $(w,b)$ 关于训练数据集 $T$ 的函数间隔为超平面 $(w,b) $关于 $T$ 中所有样本点 $(x_i,y_i)$ 的函数间隔之最小值，即：

$$\delta =\underset{i=1,2,...,N}{\min }{\delta }_i$$

函数间隔可以表示分类预测的正确性和确信度

5、几何间隔（点到超平面距离）

样本空间中任意点 $x$ 到超平面 $(w,b)$ 的距离可写为：

$$r=\frac{|w^{T}x+b|}{||w||}$$

补充：

点 $x_0$ 到超平面 $S:wx+b=0$ 的距离 $d$ :

• 设$x_0$在$S$上面的投影为$x_1$，则$w{x}_1+b=0$；

• 由向量$x_0{x}_1$与$S$平面的法向量平行：
  $$|w\cdot x_0{x}_1|=\sqrt{(w^1{)}^2+(w^2{)}^2+...+(w^N{)}^2}d=||w||d$$

• $||w||为L_2范数$

• 又：
  $$w\cdot x_0{x}_1=w^1(x_0^1-x_1^1)+w^2(x_0^2-x_1^2)+...+w^N(x_0^N-x_1^N)$$
  $$=w^1{x}_0^1+w^2{x}_0^2+...+w^N{x}_0^N-(w^1{x}_1^1+w^2{x}_1^2+...+w^N{x}_1^N)$$

• 又有：$w\cdot x+b=0$
  $$=w^1{x}_0^1+w^2{x}_0^2+...+w^N{x}_0^N-(-b)$$

• 故：
  $$||w||d=|w\cdot x_0+b|$$
  $$d=\frac{|w\cdot x_0+b|}{||w||}$$

对于给定的训练数据集$T$和超平面$(w,b)$：
（1）定义超平面$(w,b)$关于样本点$(x_i,y_i)$的几何间隔为：

$${\gamma }_i=y_i(\frac{w}{||w||}\cdot x_i+\frac{b}{||w||})$$

（2）定义超平面$(w,b)$关于训练数据集$T$的几何间隔为超平面$(w,b)$关于$T$中所有样本点$(x_i,y_i)$的几何间隔之最小值，即：

$$\gamma =\underset{i=1,2,...,N}{\min }{\gamma }_i$$

几何间隔与函数间隔的关系：
$$\gamma =\frac{\delta }{||w||}$$

以上内容可参考：点到直线的距离

6、支持向量

\quad\quad 训练数据集的样本点中与分离超平面距离最近的样本点的实例称为支持向量，即图中在黑色线上的实例点。

7、拉格朗日对偶性

\quad\quad 在约束最优化问题中，常常利用拉格朗日对偶性将原始问题转化为对偶问题。通过求解对偶问题而得到原始问题的解。

\quad\quad 支持向量机和最大熵模型都用用到，下面我们来简单介绍下拉格朗日对偶性的主要概念和结果。

1.原始问题：

假设$f(x)，c_i(x)，h_j(x)$是定义在$R^n$上的连续可微函数，考虑约束最优化问题：
$$\underset{x\in R^n}{\min }f(x)$$
$$s.t.c_i(x)⩽0，i=1,2,...,k$$
$$h_j(x)=0，j=1,2,...,l$$

称此约束最优化问题为原始最优化问题或原始问题。

首先，引进广义拉格朗日函数：

$$L(x,\alpha ,\beta )=f(x)+\sum _{i=1}^k{\alpha }_i{c}_i(x)+\sum _{j=1}^k{\beta }_j{h}_j(x)$$

这里，$x=(x^{(1)}，x^{(2)}，。。。，x^{(n)}{)}^T\in R^n，{\alpha }_i，{\beta }_j$是拉格朗日乘子，${\alpha }_i⩾0$。

那么原始问题就是：
$${\theta }_p(x)=\underset{\alpha ,\beta :{\alpha }_i⩾0}{\max }L(x,\alpha ,\beta )$$

假设给定某个$x$，如果$x$违反了约束条件，即存在某个$i$使得$c_i(w)>0$或者存在某个$j$使得$h_j(w)̸=0$，那么就有：
$${\theta }_p(x)=\underset{\alpha ,\beta :{\alpha }_i⩾0}{\max }L(x,\alpha ,\beta )=+\infty$$

因为若某个$i$使得$c_i(w)>0$，则可令${\alpha }_i\to +\infty ,$若某个$j$使得$h_j(w)̸=0$，则可令${\beta }_j$使${\beta }_j{h}_j(x)\to +\infty$，而其余各${\alpha }_i,{\beta }_j$均为0

相反地，如果满足约束条件，则${\sum }_{i=1}^k{\alpha }_i{c}_i(x)⩽0，{\sum }_{j=1}^k{\beta }_j{h}_j(x)=0$，由于$f(x)$ 加上一个小于等于的数，最大值就是加上0，所以${\theta }_p(x)=f(x)$

综上：
$${\theta }_p(x)=\{\begin{array}{ll}f(x),& x满足原始问题约束\\ +\infty ,& 其他\end{array}$$

所以，如果考虑极小化问题
$$\underset{x}{\min }{\theta }_p(x)=\underset{x}{\min }\underset{\alpha ,\beta :{\alpha }_i⩾0}{\max }L(x,\alpha ,\beta )$$

它与原始问题最优化问题等价的，即他们有相同的解。这也称为广义拉格朗日 函数的极小极大问题。

2.对偶问题：
定义：
$${\theta }_D(\alpha ,\beta )=\underset{x}{\min }L(x,\alpha ,\beta )$$

再考虑极大化上式，即

$$\underset{\alpha ,\beta :{\alpha }_i⩾0}{\max }{\theta }_D(\alpha ,\beta )=\underset{\alpha ,\beta :{\alpha }_i⩾0}{\max }\underset{x}{\min }L(x,\alpha ,\beta )$$

此称为广义拉格朗日函数的极大极小问题。

可以将广义拉格朗日函数的极大极小问题表示为约束最优化问题：
$$\underset{\alpha ,\beta }{\max }{\theta }_D(\alpha ,\beta )=\underset{\alpha ,\beta }{\max }\underset{x}{\min }L(x,\alpha ,\beta )$$
$$s.t.{\alpha }_i⩾0，i=1,2,...,k$$
称为原始问题的对偶问题。

补充：

若原始问题和对偶问题都有最优解，则：
$$d^{\ast }=\underset{\alpha ,\beta ;{\alpha }_i⩾0}{\max }\underset{x}{\min }L(x,\alpha ,\beta )⩽\underset{x}{\min }\underset{\alpha ,\beta ;{\alpha }_i⩾0}{\max }L(x,\alpha ,\beta )=p^{\ast }$$

对任意的 $\alpha ,\beta$ 和 $x$ ，有：
$${\theta }_D(\alpha ,\beta )=\underset{x}{\min }L(x,\alpha ,\beta )⩽L(x,\alpha ,\beta )⩽\underset{\alpha ,\beta :{\alpha }_i⩾0}{\max }L(x,\alpha ,\beta )={\theta }_p(x)$$
即：
$${\theta }_D(\alpha ,\beta )⩽{\theta }_p(x)$$
由于原始问题和对偶问题都有最优解，所以：
$$\underset{\alpha ,\beta :{\alpha }_i⩾0}{\max }{\theta }_D(\alpha ,\beta )⩽\underset{x}{\min }{\theta }_p(x)$$
即：
$$d^{\ast }⩽p^{\ast }$$

\quad\quad 在满足某些条件下，原始问题和对偶问题的最优解相等，即 $d^{\ast }=p^{\ast }$，这是可以通过解对偶问题替代求原始问题，往往原始问题求解最优解比较困难，但是求它的对偶问题比较容易。

\quad\quad 假设函数$f(x)$ 和 $c_i(x)$是凸函数，$h_j(x)$是仿射函数，并且不等式约束$c_i(x)$是严格可行的，则$x^{\ast }$和${\alpha }^{\ast },{\beta }^{\ast }$分别是原始问题和对偶问题的解的充分必要条件是$x^{\ast },{\alpha }^{\ast },{\beta }^{\ast }$满足 KTT 条件：

$${\nabla }_{x}L(x^{\ast },{\alpha }^{\ast },{\beta }^{\ast })=0$$
$${\alpha }_i^{\ast }{c}_i(x^{\ast })=0,i=1,2,...,k$$
$$c_i(x^{\ast })⩽0,i=1,2,...,k$$
$${\alpha }_i^{\ast }⩾0,i=1,2,...,k$$
$$h_j(x^{\ast })=0,j=1,2,...,l$$

\quad\quad 以上介绍了理解支持向量机需要的基本概念，接下来我们将分别介绍线性可分支持向量机、线性支持向量机和线性不可分支持向量机。

3.拉格朗日乘子法帮助理解

待优化目标：
$$y=0.6\ast ({\theta }_1+{\theta }_2{)}^2-{\theta }_1\ast {\theta }_2$$
约束条件：
$$x^2-x+1=0x\in [-4,4]$$

上图中曲面为待优化目标，红点形成的曲线便是约束条件，表示要在约束条件下找到目标函数的最优解（最小值）

代码可见：01_拉格朗日乘子法.py

二、线性可分支持向量机

\quad\quad 我们知道，支持向量机的学习目标是在特征空间找到一个分离超平面，能将实例分到不同的类。

\quad\quad 当训练数据集线性可分时，存在无穷个分离超平面将两类数据正确分开。感知机利用误分类最小化的策略，求得分离超平面，不过这时的解有无穷多个。线性可分支持向量机利用间隔最大化求最优分离超平面，并且解是唯一的。

\quad\quad 那么我们如何使得间隔最大化并求得分离超平面呢？

1、间隔最大化（硬间隔）

\quad\quad 间隔最大化的直观解释是：对训练数据集找到 几何间隔最大 的超平面意味着以充分大的确信度对训练数据进行分类。也就是说，不仅将正负实例点分开，而求对最难分的实例点（离超平面最近的点）也有足够大的确信度将它们分开，这样的超平面对于未知的新实例有很好的分类预测能力。

\quad\quad 下面我们考虑如何求得一个几何间隔最大的分离超平面，即最大间隔分离超平面。我们可以将这个问题表示为下面的约束最优化问题：
$$\begin{gathered} \underset{w,b}{\max }\gamma \\ s.t.y_i(\frac{w}{||w||}\cdot x_i+\frac{b}{||w||})⩾\gamma ,i=1,2,...,N \end{gathered}$$

即我们希望最大化超平面$(w,b)$关于训练数据集的几何间隔 $\gamma$；
约束条件表示：超平面关于每个样本点的几何间隔至少是 $\gamma$

进一步地，我们考虑几何间隔和函数间隔的关系。
$$\gamma =\frac{\delta }{||w||}$$
此处： $\delta$为函数间隔$y_i(w\cdot x_i+b)$

这是可将上面的约束问题改为：

$$\begin{gathered} \underset{w,b}{\max }\frac{\delta }{||w||} \\ s.t.y_i(w\cdot x_i+b)⩾\delta ,i=1,2,...,N \end{gathered}$$

这是我们需要注意到，函数间隔 $\delta$ 的取值并不影响最优化问题的解。

这里，假设我们将$w,b$按比例改为 $\lambda w，\lambda b$，这是函数间隔变为$y_i(\lambda w\cdot x_i+\lambda b)=\lambda \delta$；
此时，函数间隔的改变并没有改变上面的约束，对目标函数的优化也没用影响，也就是说，它产生一个等价的最优化问题；
这样，我们就可以把函数间隔 $\delta$ 特殊化，取 $\delta =1$
将上面 $\delta =1$，带入原来最优化问题中，注意到最大化$\frac{1}{||w||}$和最小化$\frac{1}{2}||w|{|}^2$是等价的。

我们将得到线性支持向量机学习的最优化问题：
$$\begin{gathered} \underset{w,b}{\min }\frac{1}{2}||w|{|}^2 \\ s.t.y_i(w\cdot x_i+b)-1⩾0,i=1,2,...,N \end{gathered}$$

上面这个约束最优化问题是一个凸二次规划的问题。

如果求出了约束最优化问题的解$(w^{\ast },b^{\ast })$，那么就可以得到最大间隔分离超平面$w^{\ast }\cdot x+b^{\ast }=0$及分类决策函数$f(x)=sign(w^{\ast }\cdot x+b^{\ast })$，即线性可分支持向量机。

2、线性可分支持向量机学习算法——最大间隔法如下：

输入：线性可分训练数据集$T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\}$，其中，$x_i\in \mathcal{X}=R^n，y_i\in \mathcal{Y}=\{-1,+1\}，i=1,2,...,N$；
输出：最大间隔分离超平面和分类决策函数。
（1）构造并求解约束最优化问题：
$$\begin{gathered} \underset{w,b}{\min }\frac{1}{2}||w|{|}^2 \\ s.t.y_i(w\cdot x_i+b)-1⩾0,i=1,2,...,N \end{gathered}$$
求得最优解$w^{\ast },b^{\ast }$；
（2）由此得到分离超平面：
$$w^{\ast }\cdot x+b^{\ast }=0$$
分类决策函数：
$$f(x)=sign(w^{\ast }\cdot x+b^{\ast })$$

若训练数据集线性可分，则可将训练数据集中的样本点完全正确分开的最大间隔分离超平面存在且唯一。

我们知道 支持向量 就是距离分离超平面最近的实例点。注意到上面约束问题，支持向量便是使约束条件等号成立的点，即：
$$y_i(w\cdot x+b)-1=0$$

在决定分离超平面时只有支持向量起作用，而其他实例点并不起作用，如果移动支持向量将改变所求的解；但是如果在间隔边界以外移动其他实例点，甚至去掉这些点，则解是不会改变的。

3、对偶算法

\quad\quad 为了求解线性可分支持向量机的最优化问题，将原来的约束最优化问题作为原始问题，应用拉格朗日对偶性，通过求解对偶问题得到原始问题的最优解。

这样做的有点：
对偶问题往往更容易求解
自然引入核函数，进而推广到非线性分类问题（这在后面会介绍）

现在我们就开始构建原始问题的对偶问题：

（1）首先构建拉格朗日函数
$$L(w,b,\alpha )=\frac{1}{2}||w|{|}^2-\sum _{i=1}^N{\alpha }_i[y_i(w\cdot x+b)-1]$$
其中，${\alpha }_i⩾0，\alpha =({\alpha }_1,{\alpha }_2,...,{\alpha }_N{)}^T$为拉格朗日乘子向量。

根据拉格朗日对偶性，原始问题的对偶问题是极大极小问题。

$$\underset{\alpha }{\max }\underset{w,b}{\min }L(w,b,\alpha )$$

即，需要先求 $L(w,b,\alpha )$ 对 $w,b$ 的极小，再求对 $\alpha$ 的极大。

（2）求 ${\min }_{w,b}L(w,b,\alpha )$

将拉格朗日函数 $L(w,b,\alpha )$ 分别对 $w,b$ 求偏导并令其等于0
$$\begin{gathered} {\nabla }_{w}L(w,b,\alpha )=w-\sum _{i=1}^N{\alpha }_i{y}_i{x}_i=0 \\ {\nabla }_{b}L(w,b,\alpha )=0 \end{gathered}$$
得：
$$\begin{gathered} w=\sum _{i=1}^N{\alpha }_i{y}_i{x}_i \\ \sum _{i=1}^N{\alpha }_i{y}_i=0 \end{gathered}$$
代入拉格朗日函数中，即得：
$$\begin{gathered} L(w,b,\alpha )=\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)-\sum _{i=1}^N{\alpha }_i{y}_i((\sum _{j=1}^N{\alpha }_j{y}_j{x}_j)\cdot x_i+b)+\sum _{i=1}^N{\alpha }_i \\ =-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)+\sum _{i=1}^N{\alpha }_i \end{gathered}$$
即：
$$\underset{w,b}{\min }L(w,b,\alpha )=-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)+\sum _{i=1}^N{\alpha }_i$$
（3）求${\min }_{w,b}L(w,b,\alpha )$对$\alpha$的极大，即是对偶问题：
$$\begin{gathered} \underset{\alpha }{\max }-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)+\sum _{i=1}^N{\alpha }_i \\ s.t.\sum _{i=1}^N{\alpha }_i{y}_i=0 \\ {\alpha }_i⩾0,i=1,2,...,N \end{gathered}$$

将上式的目标函数由求极大转换为求极小，得到等价的对偶最优化问题：
$$\begin{gathered} \underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)-\sum _{i=1}^N{\alpha }_i \\ s.t.\sum _{i=1}^N{\alpha }_i{y}_i=0 \\ {\alpha }_i⩾0,i=1,2,...,N \end{gathered}$$

对于线性可分训练数据集，假设对偶最优化问题对$\alpha$的解为 ${\alpha }^{\ast }=({\alpha }_1^{\ast },{\alpha }_2^{\ast },...,{\alpha }_N^{\ast }{)}^T$，可以由 ${\alpha }^{\ast }$ 求得原始最优化问题对 $(w,b)$ 的解 $w^{\ast },b^{\ast }$

• 上式可以通过SMO算法求解，具体内容后面将介绍

存在以下定理：

假设 ${\alpha }^{\ast }=({\alpha }_1^{\ast },{\alpha }_2^{\ast },...,{\alpha }_N^{\ast }{)}^T$ 是对偶最优化问题的解，则存在下标 $j$ ，使得 ${\alpha }_j^{\ast }>0$，并可求得原始最优化问题的解$w^{\ast },b^{\ast }$：
$$\begin{gathered} w^{\ast }=\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i \\ {b}^{\ast }=y_j-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i(x_i\cdot x_j) \end{gathered}$$

至此，分离超平面可以写成：
$$\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i(x\cdot x_i)+b^{\ast }=0$$
分类决策函数可以写为：
$$f(x)=sign(\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i(x\cdot x_i)+b^{\ast })$$

这就是说，分类决策函数只依赖于输入 $x$ 和训练数据集样本输入的内积。

4、线性可分支持向量机学习算法——对偶算法：

输入：线性可分训练数据集$T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\}$，其中，$x_i\in \mathcal{X}=R^n，y_i\in \mathcal{Y}=\{-1,+1\}，i=1,2,...,N$；
输出：最大间隔分离超平面和分类决策函数。
（1）构造并求解约束最优化问题：
$$\begin{gathered} \underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)-\sum _{i=1}^N{\alpha }_i \\ s.t.\sum _{i=1}^N{\alpha }_i{y}_i=0 \\ {\alpha }_i⩾0,i=1,2,...,N \end{gathered}$$
求得最优解${\alpha }^{\ast }=({\alpha }_1^{\ast },{\alpha }_2^{\ast },...,{\alpha }_N^{\ast }{)}^T$；
（2）计算：
$$w^{\ast }=\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i$$
并选择 ${\alpha }^{\ast }$ 的一个正分量${\alpha }_j^{\ast }>0$，计算：
$$b^{\ast }=y_j-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i(x_i\cdot x_j)$$
（3）求得分离超平面：
$$\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i(x\cdot x_i)+b^{\ast }=0$$
分类决策函数：
$$f(x)=sign(\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i(x\cdot x_i)+b^{\ast })$$

5、下面通过具体的数据，比较两个算法的计算：

数据如下图：正例点是$x_1=(3,3{)}^T,x_2=(4,3{)}^T，负例点是x_3=(1,1{)}^T$

问题：试求最大间隔分离超平面?

1.最大间隔法求解：

解：按照最大间隔法，根据训练数据集构造约束最优化问题：
$$\begin{gathered} \underset{w,b}{\min }\frac{1}{2}(w_1^2+w_2^2) \\ s.t.3w_1+3w_2+b⩾0 \\ 4w_1+3w_2+b⩾0 \\ -1w_1-1w_2-b⩾0 \end{gathered}$$
求得此最优化问题的解为：$w_1=w_2=\frac{1}{2},b=-2$。于是最大间隔分离超平面为：
$$\frac{1}{2}{x}^{(1)}+\frac{1}{2}{x}^{(2)}-2=0$$
其中，$x_1=(3,3{)}^T与x_3=(1,1{)}^T$是支持向量。

2.对偶算法求解：

解：根据所给数据，对偶问题是：
$$\begin{gathered} \underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)-\sum _{i=1}^N{\alpha }_i \\ =\frac{1}{2}(18{\alpha }_1^2+25{\alpha }_2^2+2{\alpha }_3^2+42{\alpha }_1{\alpha }_2-12{\alpha }_1{\alpha }_3-14{\alpha }_2{\alpha }_3)-{\alpha }_1-{\alpha }_2-{\alpha }_3 \\ s.t.{\alpha }_1+{\alpha }_2-{\alpha }_3=0 \\ {\alpha }_i⩾0,i=1,2,3 \end{gathered}$$
解这一最优化问题，将${\alpha }_3={\alpha }_1+{\alpha }_2$代入目标函数并记为：
$$s({\alpha }_1,{\alpha }_2)=4{\alpha }_1^2+\frac{13}{2}{\alpha }_2^2+10{\alpha }_1{\alpha }_2-2{\alpha }_1-2{\alpha }_2$$
对${\alpha }_1,{\alpha }_2$求偏导数并令其为0，易知$s({\alpha }_1,{\alpha }_2)$在点$(\frac{3}{2},-1{)}^T$取极值，但该点不满足约束条件${\alpha }_2⩾0$，所以极小值应在边界上达到。

当${\alpha }_1=0$时，最小值$s(0,\frac{2}{13})=-\frac{2}{13}$；当${\alpha }_2=0$时，最小值$s(\frac{1}{4}，0)=-\frac{1}{4}$。于是，$s({\alpha }_1,{\alpha }_2)$在${\alpha }_1=\frac{1}{4},{\alpha }_2=0$达到最小，此时${\alpha }_3={\alpha }_1+{\alpha }_2=\frac{1}{4}$

这样，${\alpha }_1^{\ast }={\alpha }_3^{\ast }=\frac{1}{4}$对应的实例点$x_1,x_3$是支持向量，根据：
$$w^{\ast }=\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i$$
$$b^{\ast }=y_j-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i(x_i\cdot x_j)$$
计算得：
$$\begin{gathered} w^{\ast }=\frac{1}{4}(1)(3,3)+\frac{1}{4}(-1)(1,1)=(\frac{1}{2},\frac{1}{2}) \\ {w}_1^{\ast }=w_2^{\ast }=\frac{1}{2} \end{gathered}$$
取点$x_1=(3,3{)}^T求b^{\ast }，此时j=1,y_j=1$
$$\begin{gathered} b^{\ast }=1-[\frac{1}{4}(1)(x_1\cdot x_1)+\frac{1}{4}(-1)(x_3\cdot x_1)] \\ =1-(\frac{1}{4}\ast 18-\frac{1}{4}\ast 6)=-2 \end{gathered}$$

于是分离超平面为：
$$\frac{1}{2}{x}^{(1)}+\frac{1}{2}{x}^{(2)}-2=0$$
分类决策函数为：
$$f(x)=sign(\frac{1}{2}{x}^{(1)}+\frac{1}{2}{x}^{(2)}-2)$$

由上面两种方法可见，两种方法得到的超平面是一样的，也验证了对偶方法的有效性。

至此，我们得到目标函数：
$$\underset{{\alpha }_i⩾0}{\max }L(w,b,\alpha )=\underset{{\alpha }_i⩾0}{\max }\frac{1}{2}||w|{|}^2-\sum _{i=1}^N{\alpha }_i[y_i(w\cdot x+b)-1]$$

注意到，如果 $x_i$ 是支持向量的话，上式中 $y_i(w\cdot x+b)-1=0$ （因为至此向量的函数间隔为1），而对于非支持向量来说，函数间隔会大于1，因此 $y_i(w\cdot x+b)-1>0$ ，而 ${\alpha }_i⩾0$，为了满足最大化， ${\alpha }_i$必须等于0。

到目前为止，线性可分支持向量机只能处理线性可分数据集，不过，在得到了对偶问题形式之后，通过核函数（Kernel）推广到非线性的情况就变成了一个非常容易的事情了。

三、核函数 Kernel

\quad\quad 在现实任务中，我们得到的一般都不是线性可分的，这时线性可分支持向量机就不适用了。因为这时我们之前所提到的不等式约束并不能都成立。那么对于非线性的数据 SVM 是如何处理的呢？

\quad\quad 对于非线性的情况，SVM 的处理方法是选择一个核函数 $k(\cdot ,\cdot )$，通过将数据映射到高维空间，来解决在原始空间中线性不可分的问题。

\quad\quad 具体来说，在线性不可分的情况下，支持向量机首先在低维空间中完成计算，然后通过核函数将输入空间映射到高维特征空间，最终在高维特征空间中构造出最优的分离超平面，从而把平面上本身不好分的非线性数据分开。如图所示，一维数据在二维空间无法划分，从而映射到三维空间里划分：

因此，在没有核函数之前，当我们希望用前面线性分类问题的方法来解决这个问题，就需要选择一个非线性特征集，并将数据改写成新的表达方式，这等价于应用一个固定的非线性映射，将数据映射到特征空间，在特征空间中使用线性分类器。

$$f(x)=\sum _{i=1}^N{w}_i{\varphi }_i(x)+b$$

其中，$\varphi$：表示从输入空间到某个特征空间的映射，这意味着线性分类方法求解非线性分类问题一般分为两步：

• 使用一个变换将原空间的数据映射到新空间；
• 在新空间里使用线性分类学习方法从训练数据中学习分类模型。

1、核函数：如何处理非线性数据

\quad\quad 假设我们有如下图所示的两类数据，分别为两个圆圈的形状，很明显这样的数据是线性不可分的，那么我们如何把这两类数据分开呢？

\quad\quad 事实上，上图数据集使用两个不同半径的圆圈加上少量噪声生成得到的，所以，一个理想的分类应该是一个“圆圈”而不是一条直线（超平面），如果用 $X_1$ 和 $X_2$ 来表示这个二维平面的两个坐标，我们知道一个二次曲线的方程可以写成如下形式：

$$a_1{X}_1+a_2{X}_1^2+a_3{X}_2+a_4{X}_2^2+a_5{X}_1{X}_2+a_6=0$$

注意上面的形式，如果我们构造另一个五维的空间，其中五个坐标的值分别为：
$$Z_1=X_1,Z_2=X_1^2,Z_3=X_2,Z_4=X_2^2,Z_5=X_1{X}_2$$
那么，上面的方程就可以写成：

$$\sum _{i=1}^5{a}_i{Z}_i+a_6=0$$

\quad\quad 关于新的坐标 $Z$ ，如果我们做一个映射 $\varphi ：R_2\to R_5$，将 $X$ 按照上面的规则映射为 $Z$ ，那么在的新的空间中原来的数据将变成线性可分的，从而使用之前我们推导的线性分类算法就可以进行处理了，这正是 Kernel 方法处理非线性问题的基本思想。

\quad\quad 再进一步描述 Kernel 的细节之前，不妨再来看看上述例子在映射过后的直观形态。当然，我们无法把五维空间画出来，不过由于我们生成数据的时候用了特殊的情形，所以这里的超平面实际的方程是这个样子的（圆心在$X_2$轴上的一个正圆）：

$$\sum _{i=1}^5{a}_i{Z}_i+a_6=0$$

\quad\quad 因此我只需要把它映射到$Z_1=X_1^2,Z_2=X_2^2,Z_3=X_2$，这样一个三维空间中即可，下图即是映射之后的结果，将坐标经过适当的旋转，就可以很明显地看出，数据是可以通过的一个平面来分开的，如下图：

核函数相当于把原来的分类函数：
$$f(x)=\sum _{i=1}^n{\alpha }_i{y}_i⟨x_i,x⟩+b$$
映射成：
$$f(x)=\sum _{i=1}^n{\alpha }_i{y}_i⟨\varphi (x_i),\varphi (x)⟩+b$$

而其中的 $\alpha$ 可以通过求解如下对偶问题得到：

$$\underset{\alpha }{\max }\sum _{i=1}^n{\alpha }_i-\frac{1}{2}\sum _{i,j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j⟨\varphi (x_i),\varphi (x)⟩$$
$$s.t.{\alpha }_i⩾0i=1,2,...,n$$
$$\sum _{i=1}^n{\alpha }_i{y}_i=0$$

得到以上对偶问题，似乎我们就可以解决非线性问题，我们只需要找到一个映射$\varphi (\cdot )$，然后将非线性数据映射到新空间中，再做线性 SVM 即可，然而事实上并没有这么简单。

• 在最初的例子里，我们对一个二维空间最映射，选择的新空间是原始空间的所有一阶和二阶的组合，得到五维空间；
• 如果原始空间是三维的，那么我们就会得到：3个一次项+3个二次交叉项+3个平方项+1个三次交叉项+6个一次和二次交叉项=19维的空间，这个数目层指数级爆炸增长，从而必定给 $\varphi (\cdot )$ 的计算带来困难，而且如果遇到无穷维的情况，就根本无法计算了。

这时候，Kernel 核函数就派上用场了。

我们还使用前面的二维原始空间，设两个向量 $x_1=({\eta }_1,{\eta }_2{)}^T$ 和 $x_2=({\xi }_1,{\xi }_2{)}^T$，而 $\varphi (\cdot )$ 即是前面说的五维空间的映射，因此映射后的内积为：
$$⟨\varphi (x_1),\varphi (x_2)⟩={\eta }_1{\xi }_1+{\eta }_1^2{\xi }_1^2+{\eta }_2{\xi }_2+{\eta }_2^2{\xi }_2^2+{\eta }_1{\eta }_2{\xi }_1{\xi }_2$$

上式可通过如下推导得到：

• 将$x_1、x_2$通过$\varphi (\cdot )$映射到五维空间，然后计算内积：
  $$\varphi (x_1)\to ({\eta }_1,{\eta }_1^2,{\eta }_2,{\eta }_2^2,{\eta }_1{\eta }_2)\varphi (x_1)\to ({\xi }_1,{\xi }_1^2,{\xi }_2,{\xi }_2^2,{\xi }_1{\xi }_2)$$
  计算内积，对应位置相乘相加即可

另外，我们注意到：
$$\begin{gathered} (⟨x_1,x_2⟩+1{)}^2=⟨x_1,x_2{⟩}^2+2⟨x_1,x_2⟩+1 \\ =({\eta }_1{\xi }_1+{\eta }_2{\xi }_2{)}^2+2({\eta }_1{\xi }_1+{\eta }_2{\xi }_2)+1 \\ =2{\eta }_1{\xi }_1+{\eta }_1^2{\xi }_1^2+2{\eta }_2{\xi }_2+{\eta }_2^2{\xi }_2^2+2{\eta }_1{\eta }_2{\xi }_1{\xi }_2+1 \end{gathered}$$
可以发现，上面的两个式子有很多相同的地方，实际上，我们只需要把某几个维度线性缩放一下，然后加上一个常数维度，具体来说，上面这个式子的计算实际上和映射：
$$\phi (X_1,X_2)=(\sqrt{2}{X}_1,X_1^2,\sqrt{2}{X}_2,X_2^2,\sqrt{2}{X}_1{X}_2,1{)}^T$$

这个式子是根据上式凑出来的

然后计算内积 $⟨\phi (X_1),\phi (X_2)⟩$的结果是相同的，那么区别在于什么地方呢？

• 一个是映射到高维空间中，然后再根据内积的公式计算；
• 而另一个则直接在原始空间中计算，而不需要显式地写出映射后的结果。

现在我们回忆下前面提到的维度爆炸，在前一种方法已经无法计算的情况下，后一种方法却依旧能处理，甚至无穷维度也没有问题。

我们把这里的 计算两个向量在隐式映射过后在空间中的内积的函数叫做核函数，例如，前面的例子中，核函数为：
$$k(x_1,x_2)=(⟨x_1,x_2⟩+1{)}^2$$

由此可以发现，核函数 能够简化映射空间中的内积运算

2、核函数的定义

设 $\mathcal{X}$ 是输入空间，$\mathcal{H}$为特征空间，如果存在一个从$\mathcal{X}$ 到$\mathcal{H}$的映射：
$$\varphi (x):\mathcal{X}\to \mathcal{H}$$
使得对所有$x,z\in \mathcal{X},$函数$K(x,z)$满足条件：
$$K(x,z)=\varphi (x)\cdot \varphi (z)$$
则称$K(x,z)$为核函数，$\varphi (x)$为映射函数，式中$\varphi (x)\cdot \varphi (z)$为内积

核技巧的想法：在学习与预测中只定义核函数$K(x,z)$，而不显式地定义映射函数$\varphi$；
因为通常计算$K(x,z)$比较容易，而通过$\varphi (x)和\varphi (z)$的内积来计算$K(x,z)$并不容易；
$\varphi$是输入空间到特征空间的映射，特征空间$\mathcal{H}$往往是高维的，甚至是无穷维；
对于给定的核$K(x,z)$，特征空间$\mathcal{H}$和映射函数$\varphi$的取法并不唯一。

\quad\quad 在我们之前学习线性可分支持向量机和线性支持向量机时，无论是目标函数还是决策函数（分离超平面）都只涉及输入实例与实例之间的内积。在对偶问题的目标函数中的内积$x_i,x_j$，可以用核函数$K(x_i,x_j)=\varphi (x_i)\cdot \varphi (x_j)$来代替。此时对偶问题的目标函数成为：
$$W(\alpha )=\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_{j}K(x_i,x_j)-\sum _{i=1}^N{\alpha }_i$$
分类决策函数变为：
$$f(x)=sign(\sum _{i=1}^{N_s}{\alpha }_i^{\ast }{y}_{i}K(x_i,x)+b^{\ast })$$

这就等价于：
经过映射函数$\varphi$将原来的输入空间变换到一个新的特征空间，将输入空间中的内积$x_i\cdot x_j$变换为特征空间中的内积 $\varphi (x_i)$