机器学习（四）——支持向量机SVM

 支持向量机（Support Vector Machine，简称SVM）是一种经典的二分类模型，基本模型定义为特征空间中最大间隔的线性分类器，其学习的目标是使间隔最大化。

一、基于最大间隔的线性分类器

1、超平面($w^{T}x+b=0$)

 我们先拿二维平面举例，在下图的二维平面中有两类点，可以清楚的看到两类点被红色的直线划分，红色的直线就是二维空间中的超平面，即$w^{T}x+b=0$。如果所给的数据是三维的，则三维空间的超平面就是一个面；如果所给的数据是N维的，则需要一个N-1维的超平面将所给数据进行划分。我们可以清楚的知道， 分布在超平面一侧的所有数据都属于某个类别，而分布在另一侧的所有数据则属于另一个类别。

$R^n$	超平面类型
n=2	一条直线
n=3	一个面
n=N	N-1维超平面

 超平面可以有多个，但为了使划分的超平面所产生的分类结果使最鲁棒的，对未见的示例泛化能力最强的，我们选择去寻找最佳超平面，以最大间隔把两类样本分开的超平面，也称之为最大间隔超平面（鲁棒性是指其在面对数据扰动、噪声或其他干扰时仍能保持稳定和准确的能力）

 如上图，我们可以看到有五条超平面，但红色的那条直线是最佳超平面，因为该划分超平面对训练数据样本局部扰动的“容忍性”最好, 鲁棒性高, 泛化能力最强。

2、支持向量

支持向量，就是距离分割超平面最近的几个点，如下图中圆圈标识的点，就是支持向量。

二、寻找最大间隔

1、超平面的性质

性质1，法向量和偏置项以任意相同的倍数放缩，新表达式描述的仍然是原来的超平面，假设放缩比例为$\lambda$，$\lambda (w^{T}x+b)=0，\lambda \ne 0$，无论$\lambda$取多少，都表示同一个超平面。

性质2，样本空间中的任意一个点，到超平面的距离表达式为
$$d=\frac{|w^{T}x+b|}{||w||}$$
性质3，假设超平面能够将训练样本正确分类，则对任意$(x_i,y_i)$ （ $(x_i,y_i)\in 数据集D$）若$y_i=1$，则$w^{T}x+b>0$;若$y_i=-1$，则$w^{T}x+b<0$，其中我们将样本点在超平面上方记为正例，下方记为反例，用1和-1来标记。
即
$$\{\begin{array}{ll}{w}^T+b>0,& \text{ yi=+1}\\ w^T+b<0,& \text{ yi=−1}\end{array}$$

2、寻找最大间隔

 对于线性可分的数据集$D=(x_i,y_i)$，由性质3可知，分类正确的超平面$w^{T}x+b=0$满足
$$y_i(w^T{x}_i+b)>0$$
 在SVM中，上式被称为样本点到超平面的函数间隔，同时等价于
$$y_i(w^T{x}_i+b)\ge 1$$

 在数据集中众多的样本点中，距离超平面最近的这几个训练样本点使等号成立，即支持向量会使等号成立，那么两个异类支持向量到超平面的距离之和为
$$\gamma =\frac{2}{||w||}$$
最大化间隔也就是寻找参数$w$和$b$ , 使得$\gamma$最大，即：
$$arg\underset{w,b}{m}ax\frac{2}{||w||}$$
$$s.t.y_i(w^{T}x+b)\ge 1,i=1,2,...,m.$$
 显然，我们可以转化为

$$arg\underset{w,b}{m}in\frac{1}{2}||w|{|}^2$$
$$s.t.y_i(w^{T}x+b)\ge 1,i=1,2,...,m.$$

上式就是求解最大间隔超平面的最终表达式。

三、利用拉格朗日乘子法转化为对偶问题求解

1、拉格朗日乘子法

 假定一个目标函数 f(x)，在满足约束条件g(x)=0的前提下，使得f(x)有最小值。该约束优化问题记为
$$minf(x)$$
$$s.t.g(x)=0$$
可建立拉格朗日函数
$$L(x,\mu )=f(x)+\mu g(x)$$
其中$\mu$称为拉格朗日乘子。因此，可将原本的约束优化问题转换成等价的无约束优化问题：
$$minL(x,\mu )$$
方程分别对x，$\mu$求偏导
$$\{\begin{array}{ll}\frac{\partial L}{\partial x}=\frac{\partial f(x)}{\partial x}+\mu \frac{\partial g(x)=}{\partial x}=0& \\ \frac{\partial L}{\partial \mu }=g(x)=0& \end{array}$$
最后，联立方程求最后的解。

2、转化为对偶问题

设拉格朗日函数为
$$L(w,b,\alpha )=\frac{1}{2}||w|{|}^2+\sum _{i=1}^m{\alpha }_i(1-y_i(w^T{x}_i+b))(1)$$
令$L(w,b,\alpha )$对$w$和$b$求偏导且等于零可得
$$w=\sum _{i=1}^m{\alpha }_i{y}_i{x}_i(2)$$
$$0=\sum _{i=1}^m{\alpha }_i{y}_i(3)$$
将（2）式带入（1）式，消去$w和b$
$$L(w,b,\alpha )=\frac{1}{2}{w}^{T}w+\sum _{i=1}^m{\alpha }_i-\sum _{i=1}^m{\alpha }_i{y}_i{w}^T{x}_i-\sum _{i=1}^m{\alpha }_i{y}_{i}b$$

$$=\sum _{i=1}^m{\alpha }_i+\frac{1}{2}{w}^{T}w-w^{T}w$$
$$=\sum _{i=1}^m{\alpha }_i-\frac{1}{2}(\sum _{i=1}^m{\alpha }_i{y}_1{x}_i{)}^T(\sum _{j=1}^m{\alpha }_j{y}_j{x}_j)$$
$$=\sum _{i=1}^m{\alpha }_i-\frac{1}{2}(\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j)$$

再考虑（3）式，就可以得到对偶问题
$$max\sum _{i=1}^m{\alpha }_i-\frac{1}{2}(\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j)$$
$$s.t.\sum _{i=1}^m{\alpha }_i{y}_i=0,{\alpha }_i\ge 0,i=1,2,...,m$$
最后，解出$\alpha$,求出$w和b$，得到最后的模型
$$f(x)=w^{T}x+b$$
$$f(x)=\sum _{i=1}^m{\alpha }_i{y}_i{x}_i^{T}x+b$$
解出的$\alpha$是拉格朗日乘子，注意到有不等式约束，因此上述过程应满足KKT（Karush-Kuhn-Tucher）条件，即
$$\{\begin{array}{ll}{\alpha }_i\ge 0,& \\ y_{i}f(x_i)-1\ge 0,& \\ {\alpha }_i(y_{i}f(x_i)-1)=0& \end{array}$$
支持向量机解的一个重要性质: 训练完成后, 大部分的训练样本都不需保留, 最终模型仅与支持向量有关。

四、核函数

 在前面的讨论中，我们假设样本是线性可分的，即存在一个划分的超平面将样本正确划分，然而在实际生活中，原始的样本空间可能并不存在一个能划分正确的超平面，例如“异或问题”，如下图左图所示。

 对于这样的问题，一般的，可将样本从原始空间映射到一个更高维的特征空间，使得样本在这个特征空间中线性可分，如上图右图所示，将二位空间合理的映射到一个三维空间，就能找到一个合适的划分超平面。如果原始空间是有限维，南无那么一定存在一个高维特征空间使样本可分。
 令$\varphi (x)$表示将$x$映射后的特征向量，那么，在特征空间中划分超平面的模型可以表示为
$$f(x)=w^T\varphi (x)+b$$
其中$w和b是模型参数。$
 那么目标函数就转化为
$$m\underset{w,b}{i}n\frac{1}{2}||w|{|}^2$$
$$s.t.y_i(w^T\varphi (x)+b)\ge 1,i=1,2,3,...,m$$
 其对偶问题就变为
$$m\underset{\alpha }{a}x\sum _{i=1}^m{\alpha }_i-\frac{1}{2}(\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j\kappa (x_i,x_j))$$
$$s.t.\sum _{i=1}^m{\alpha }_i{y}_i=0,{\alpha }_i\ge 0,i=1,2,...,m$$

其中$\kappa (x_i,x_j)=<\varphi (x_i),\varphi (x_j)>=\varphi (x_i{)}^T\varphi (x_j)$。

求解得到
$$f(x)=w^T\varphi (x)+b$$
$$f(x)=\sum _{i=1}^m{\alpha }_i{y}_i\kappa (x,x_i)+b$$

 我们将$\kappa (\cdot )$定义为核函数。若已知映射函数$\varphi (x)$的具体形式，就可以写出对应的核函数，那么，在不知道映射函数的情况下，核函数是否存在呢？下面介绍一下核函数存在定理。
定理，令$\chi$为输入空间，$\kappa (\cdot )$是定义在$\chi \ast \chi$上的对称函数，则$\kappa (\cdot )$是核函数当且仅当对任意数据$D=x_i,x_2,....,x_m$核矩阵$\mathrm{K}$是半正定的：

X = ( κ ( x 1 , x 1 ) ⋯ κ ( x 1 , x j ) ⋯ κ ( x 1 , x m ) κ ( x 2 , x 1 ) ⋯ κ ( x 2 , x j ) ⋯ κ ( x 2 , x m ) ⋮ ⋱ ⋮ ⋱ ⋮ κ ( x m , x 1 ) ⋯ κ ( x m , x j ) ⋯ κ ( x m , x m ) ) X = \begin{pmatrix} \kappa(x_1,x_1) & \cdots & \kappa(x_1,x_j) & \cdots & \kappa(x_1,x_m) \\ \kappa (x_2,x_1)& \cdots& \kappa(x_2,x_j) & \cdots & \kappa(x_2,x_m)\\ \vdots & \ddots & \vdots & \ddots & \vdots \\ \kappa(x_m,x_1) &\cdots& \kappa(x_m,x_j) & \cdots & \kappa(x_m,x_m) \\ \end{pmatrix} X= ​κ(x1​,x1​)κ(x2​,x1​)⋮κ(xm​,x1​)​⋯⋯⋱⋯​κ(x1​,xj​)κ(x2​,xj​)⋮κ(xm​,xj​)​⋯⋯⋱⋯​κ(x1​,xm​)κ(x2​,xm​)⋮κ(xm​,xm​)​ ​

Tips：【半正定矩阵定义】给定一个大小为$n\ast n$的对称矩阵$A$，若对任意长度为$n$的向量$x$，有$x^{T}Ax\ge 0$,则矩阵$A$是一个半正定矩阵.

 下面给出几种常见的核函数：

名称	表达式	参数
线性核	$\kappa (x_i,x_j)=x_i^T{x}_j$
多项式核	$\kappa (x_i,x_j)=(x_i^T{x}_j{)}^d$	$d\ge 1$
高斯核	$\kappa (x_i,x_j)=exp(-$$\frac{||x_i-x_j|{|}^2}{2{\sigma }^2})$	$\sigma >0为高斯核的带宽$
拉普拉斯核	$\kappa (x_i,x_j)=exp(-$$\frac{||x_i-x_j||}{\sigma })$	$\sigma >0$
Sigmoid核	$\kappa (x_i,x_j)=tanh(\beta x_i^T{x}_j+\theta )$	$tanh为双曲正切函数，\beta >0,\theta >0$

此外核函数的线性组合和核函数的直积也是核函数。

五、软间隔和正则化

1、软间隔

 在前面的讨论中，我们一直假定样本在样本空间或特征空间中是线性可分的，即存在一个超平面将不同类别的样本完全划分开来，然而，在现实任务中往往很难确定合适的核函数使得训练样本在特征空间中线性可分。
 缓解上述问题的一个办法是，允许支持向量机在一些样本上出错，为此引入软间隔的概念。

上图为软间隔的示意图，红色圈出的样本是部分不满足约束的样本。
 硬间隔，就是保证所有的样本都必需划分正确；软间隔，就是允许某些样本不满足约束条件$y_i(w^{T}x+b)$。当然，在最大化间隔的同时，不满足约束的样本应该尽可能地少，于是优化目标可以写为
$$m\underset{w,b}{i}n\frac{1}{2}||w|{|}^2+C\sum _{i=1}^m{\ell }_{0/1}(y_i(w^{T}x+b)-1)$$

其中$C$>0是一个常数，当$C$为无穷大时，迫使所有样本都满足约束条件,则就变为硬间隔，当$C$取有限值时，就允许某些样本可以不满足约束条件，此时就变为软间隔；其中${\ell }_{0/1}是0/1损失函数$，定义如下：

$${\ell }_{0/1}(z)=\{\begin{array}{ll}1,& \text{ z<0}\\ 0,& \text{ otherwize}\end{array}$$
 然而由于${\ell }_{0/1}$为非凸，非连续，使上式目标函数不易求解，通常用如下的一些函数来替代${\ell }_{0/1}$，下面给出了三种常用的替代损失函数：
$$\begin{gathered} hinge损失：{\ell }_{hinge}(z)=max(0,1-z); \\ 指数损失：{\ell }_{exp}(z)=exp(-z) \\ 对率损失：{\ell }_{log}(z)=log(1+exp(-z)) \end{gathered}$$

 若采用$hinge$损失，上式变为：
$$m\underset{w,b}{i}n\frac{1}{2}||w|{|}^2+C\sum _{i=1}^{m}max(0,1-y_i(w^T{x}_i+b))$$
引入松弛变量${\xi }_i\ge 0$，可将上式改写为

$$\begin{gathered} m\underset{w,b,{\xi }_i}{i}n\frac{1}{2}||w|{|}^2+C\sum _{i=1}^m{\xi }_i \\ s.t.y_i(w^T+b)\ge 1-{\xi }_i \\ {\xi }_i\ge 0,i=1,2,3,...,m \end{gathered}$$
上式就是常用的软间隔支持向量机。
推导如下：
令$max(0,1-y_i(w^T{x}_i+b))={\xi }_i$,${\xi }_i\ge 0,而且当1-y_i(w^T{x}_i+b)>0时$
$$1-y_i(w^T{x}_i+b)={\xi }_i$$
当$1-y_i(w^T{x}_i+b)\le 0时$
$$0={\xi }_i$$
综上所述
$$1-y_i(w^T{x}_i+b)\le {\xi }_i\Rightarrow y_i(w^T+b)\ge 1-{\xi }_i$$
证毕。

加入松弛变量对分类器来说既有好处又有坏处：
好处：使得分类器具有一定的容错性，忽略落在隔离带中的点对分类面划分的影响，使分类面可以不用向这些点的方向移动，可以增大$1/||w||(2/||w||是几何间隔)$
坏处：对于落在“隔离带”中的样本点我们放弃了对他的精确分类

 同样，类似于硬间隔支持向量机，转化为其对偶问题来求解，通过拉格朗日乘子法可得到拉格朗日函数：
$$\begin{gathered} L(w,b,\alpha ,\xi ,\mu )=\frac{1}{2}||w|{|}^2+C\sum _{i=1}^m{\xi }_i \\ +\sum _{i=1}^m{\alpha }_i(1-{\xi }_i-y_i(w^{T}x+b))-\sum _{i=1}^m{\mu }_i{\xi }_i \end{gathered}$$
其中${\alpha }_i\ge 0,{\mu }_i\ge 0$是拉格朗日乘子。
令$L(w,b,\alpha ,\xi ,\mu )$对$w,b,{\xi }_i$求偏导为零可得
$$\begin{gathered} w=\sum _{i=1}^m{\alpha }_i{y}_i{x}_i, \\ 0=\sum _{i=1}^m{\alpha }_i{y}_i, \\ C={\mu }_i+{\alpha }_i \end{gathered}$$
带入原式可得
$$\begin{gathered} m\underset{\alpha }{a}x\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j \\ s.t.\sum _{i=1}^m{\alpha }_i{y}_i=0 \\ 0\le {\alpha }_i\le C,i=1,2,3,...,m \end{gathered}$$
同样，对于软间隔支持向量机，要满足，KKT条件
$$\{\begin{array}{l}{\alpha }_i\ge 0,{\mu }_i\ge 0,\\ y_{i}f(x_i)-1+{\xi }_i\ge 0\\ {\alpha }_i(y_{i}f(x_i)-1+{\xi }_i)=0\\ {\xi }_i\ge 0,{\mu }_i{\xi }_i=0\end{array}$$

2、正则化

我们将${\ell }_{0/1}$损失换成别的替代损失函数就会得到不同的学习模型，这些模型的性质与替代函数直接相关，但他们有一个共同的共性就是第一项用来描述划分超平面“间隔”的大小，第二项${\sum }_{i=1}^m\ell (f(x_1),y_i)$用来表述训练集上的误差，写为一般形式为
$$mi\underset{f}{n}\Omega (f)+C\sum _{i=1}^m\ell (f(x_i),y_i)$$
$\Omega (f)称为结构风险，用于描述模型的某些性质；$$第二项，C{\sum }_{i=1}^m\ell (f(x_i),y_i)称为经验风险，用于描述模型与训练数据的契合性$$C是对二者的折中$。
 从经验风险最小化的角度来看，$\Omega (f)$表述我们希望获得具有何种性质的模型；另一方面有利于削减假设空间，从而降低了最小化训练误差的过拟合风险，从这个角度上式称为正则化问题，$\Omega (f)$称为正则化项，C称为正则化常数。

常用的正则化项$L_p$范数

• $L_2范数||w|{|}_2$——$\sqrt{{\sum }_i^n(w_i{)}^2}$
• $L_1范数||w|{|}_1$——${\sum }_i^n|w_i|$
• $L_0范数||w|{|}_0$——向量中非零元素的个数

$L_2范数倾向于w的分量取值尽量均衡；L_0和L_1范数倾向于w的分量尽量稀疏。$