支持向量机 Support Vector Machines (SVM) - 1

1 前言

1.1 SVM的基本思想

\qquad 支持向量机（Support Vector Machines）的核心思想是通过在特征空间上寻找一个线性超平面，将数据进行二分类且每类数据到超平面的间隔达到最大。其基本模型是定义在特征空间上的间隔最大的线性分类器，间隔最大使它有别于感知机。SVM的学习策略是将问题转化为凸二次规划问题并求解。

1.2 支持向量机的分类

\qquad 线性可分支持向量机：训练数据线性可分时，采用硬间隔最大化，学习一个线性分类器。

\qquad 线性支持向量机：训练数据近似可分，此时采用软间隔最大化，学习一个线性分类器。

\qquad 非线性支持向量机：训练数据完全线性不可分时，使用核技巧（kernel trick）及软间隔最大化，学习一个实质上的非线性支持向量机

2 线性可分支持向量机模型

2.1 模型概述

\qquad 假设给定一个特征空间上的训练数据集

$$T=\{(x_1,y_1),(x_2,y_2),\cdots ,(x_N,y_N),\}$$

\qquad 其中,

$$\begin{gathered} x_i=(x_1,x_2,x_3\cdots ,x_n{)}^T\in R^n, \\ {y}_i\in \{+1,-1\},i=1,2,3,\cdots ,N \end{gathered}$$

$x_i$ 是第i个特征向量，也称作实例，$y_i$ 是实例 $x_i$ 的标记，其中 $+1$ 表示为正例；$-1$ 表示为负例。假设数据集线性可分。

\qquad 线性可分支持向量机即是要在两组数据之间找到一个间隔超平面，将两组数据完美的划分开。此外，为了考虑模型的泛化效果，使得数据的扰动对于分类的结果影响尽可能的小，那么就需要超平面分别到两组数据的间隔达到最大，即对于距离超平面最近的点，也要能以尽可能高的确信度将它们分隔开，在间隔边界处的特征向量也被成为支持向量（Support Vector），如下图所示。

\qquad 线性可分支持向量机基本模型如下：
$$\{\begin{array}{ll}& w^T\cdot x+b=0\\ & f(x)=sign(w^T\cdot x+b)\end{array}$$

\qquad 其中，$w^T\cdot x+b=0$ 是超平面方程，$w$ 是超平面的法向量，$w=(w_1,w_2,\cdots ,w_n{)}^T$。$f(x)$ 是得到的分类器，$sign(x)$ 为符号函数,输出为正，则得到的是正例；输出为负，则得到的是反例。

2.2 函数间隔与几何间隔

函数间隔

\qquad 引入函数间隔，可用于定性表示分类的正确性以及确信程度。由于超平面方程为：$w^T\cdot x+b=0$ 不在超平面上的实例点 $(x_i,y_i)$代入超平面方程后会得到一个非零数 $(w^T\cdot x_i+b)$，其与实例的标记 $y_i$的乘积定义为实例点到超平面的函数间隔，记作：

$${\hat{\gamma }}_i=y_i(w^T\cdot x_i+b)$$

${\hat{\gamma }}_i$ 为正，则分类正确；反之，则分类错误。${\hat{\gamma }}_i$ 的绝对值越大,表示分类结果的确信程度越高。

\qquad 因此，定义训练集与超平面的函数间隔即为所有实例点与超平面函数距离的最小值，记作：

$$\hat{\gamma }=\underset{i=1,2,3,\cdots ,N}{\min }{\hat{\gamma }}_i$$

几何间隔

\qquad 在二维平面直角坐标系中求点到直线的距离公式为：
$$l=\frac{|ax+by+c|}{\sqrt{a^2+b^2}}$$
\qquad 那么，推广到更高维的超平面 $H:w^T\cdot x+b=0$ 上，可以得到更加一般性的距离公式：

$$L=\frac{|w^T\cdot x+b|}{\Vert w\Vert }$$

其中，$\Vert w\Vert$ 是法向量 $w$ 的二阶范数，$\Vert w\Vert =\sqrt{{\sum }_{i=1}^n{w}_i^2}$ 。

\qquad 由于在训练数据时，实例点的标记 $y_i\in \{+1,-1\}$，则可以将距离公式中的绝对值符号去掉，用各个实例点的标记值替代，定义为实例点到超平面的几何间隔，记作：

$${\gamma }_i=\frac{y_i(w^T\cdot x_i+b)}{\Vert w\Vert }$$

\qquad 与函数间隔类似，${\gamma }_i$ 为正，则分类正确；反之，则分类错误。${\gamma }_i$ 的绝对值越大,表示分类结果的确信程度越高。

\qquad 因此，定义训练集与超平面的几何间隔即为所有实例点与超平面几何距离的最小值，记作：

$$\gamma =\underset{i=1,2,\cdots ,N}{\min }{\gamma }_i$$

函数间隔与几何间隔的关系

\qquad 由上述定义得，

\qquad 函数间隔：
$${\hat{\gamma }}_i=y_i(w^T\cdot x_i+b)$$

\qquad 几何间隔：
$${\gamma }_i=\frac{y_i(w^T\cdot x_i+b)}{\Vert w\Vert }$$

\qquad 得到二者之间的关系：

$${\gamma }_i=\frac{\widehat{{\gamma }_i}}{\Vert w\Vert }$$

\qquad 另外，函数间隔的定义规定了函数间隔不是一个确定的数，其可以随着超平面参数成比例地倍增而改变，是一个定性的衡量工具。

\qquad 例如，对于超平面 $(w,b)$，有：$(w^{{}^{\prime }},b^{{}^{\prime }})=10(w,b)$，则有：

$$w^{{}^{\prime }T}\cdot x+b^{{}^{\prime }}=10w^T\cdot x+10b=10(w^T\cdot x+b)=0=w^T\cdot x+b$$

\qquad 这表明超平面参数的倍增并不改变这一超平面，$(w,b),(w^{{}^{\prime }},b^{{}^{\prime }})$ 表示同一个超平面，故：

$$\begin{gathered} {\hat{\gamma }}_i=y_i(w^T\cdot x_i+b) \\ {\hat{\gamma }}_i^{{}^{\prime }}=y_i(w^{{}^{\prime }T}\cdot x_i+b^{{}^{\prime }}) \end{gathered}$$

${\hat{\gamma }}_i$ 和 ${\hat{\gamma }}_i^{{}^{\prime }}$ 均可以表示实例点对同一超平面的函数间隔。

\qquad 对于几何间隔来说，由于分母位是法向量的二阶范数，在超平面参数倍增的同时，$\Vert w\Vert$ 也以同样的倍数增加，仍以 $(w^{{}^{\prime }},b^{{}^{\prime }})=10(w,b)$ 为例，

$${\gamma }_i=\frac{y_i(w^T\cdot x_i+b)}{\Vert w\Vert }=\frac{y_i(10w^T\cdot x_i+10b)}{\Vert 10w\Vert }=\frac{y_i(w^{{}^{\prime }T}\cdot x_i+b^{{}^{\prime }})}{\Vert w^{{}^{\prime }}\Vert }$$

\qquad 所以，对于确定的超平面和实例点来说几何间隔是一个确定的值，也即几何上与超平面之间的距离。

2.3 模型推导:硬间隔最大化

\qquad 根据前文描述的线性可分支持向量机的思想，我们需要找到一个超平面，使其与训练集的几何间隔达到最大,所有训练点相对所求超平面都在这一几何间隔之外。这可以视作一个约束问题，如下所示：

$$\begin{gathered} \underset{w,b}{\max }\gamma \\ s.t.{\gamma }_i=\frac{y_i(w^T\cdot x_i+b)}{\Vert w\Vert }\ge \gamma ,i=1,2,3,\cdots ,N \end{gathered}$$

\qquad 其中
$$\underset{w,b}{\max }\gamma ⟺\underset{w,b}{\max }\underset{i=1,2,\cdots ,N}{\min }{\gamma }_i$$

\qquad 根据前文所讨论的函数间隔与几何间隔的关系：$\gamma =\frac{\hat{\gamma }}{\Vert w\Vert }$

\qquad 目标问题可以得到如下变形：
$$\begin{gathered} \underset{w,b}{\max }\frac{\hat{\gamma }}{\Vert w\Vert } \\ s.t.y_i(w^T\cdot x_i+b)\ge \hat{\gamma },i=1,2,3,\cdots ,N \end{gathered}$$

\qquad 又根据前文所讨论的函数间隔可以随同一超平面进行超平面参数成比例缩放的性质，将目标约束问题中的函数间隔 $\hat{\gamma }$ 缩放为 $1$，此时求解问题所得的超平面不变，而问题简化为：

$$\begin{gathered} \underset{w,b}{\max }\frac{1}{\Vert w\Vert } \\ s.t.y_i(w^T\cdot x_i+b)\ge 1,i=1,2,3,\cdots ,N \end{gathered}$$

\qquad 此外由于是凸二次规划问题（$|\Vert w\Vert$ 是一个凸二次函数），可将求解极大值问题转变为求解如下极小值问题，也是最终的目标优化问题：

$$\begin{gathered} \underset{w,b}{\min }\frac{1}{2}{\Vert w\Vert }^2 \\ s.t.y_i(w^T\cdot x_i+b)-1\ge 0,i=1,2,3,\cdots ,N \end{gathered}$$

\qquad 另外，在这里对线性可分支持向量机中最大间隔超平面的存在唯一性进行证明：

\qquad （1）存在性证明：
\qquad 由于训练数据集线性可分，且目标函数为凸二次函数，则目标最优化必有解，记作$ (\vec{w}^{*},b{*}) $。训练数据集中既有正类点又有负类点，故 $w^{\ast }\ne 0$ 。由此得知分离超平面的存在性。

\qquad （2）唯一性证明：
\qquad 假设目标优化问题存在两个最优解 $(w_1^{\ast },b_1^{\ast }),(w_2^{\ast },b_2^{\ast })$。故 $\Vert w_1^{\ast }\Vert =\Vert w_2^{\ast }\Vert =c$ ，其中 $c$ 是一个常数。令：

$$w=\frac{1}{2}{w}_1^{\ast }+\frac{1}{2}{w}_2^{\ast }$$

\qquad 满足：

$$\frac{1}{2}\Vert w{\Vert }^2=\frac{1}{2}\Vert \frac{w_1^{\ast }+w_2^{\ast }}{2}{\Vert }^2=\frac{1}{2}\Vert w_1^{\ast }{\Vert }^2=\frac{1}{2}\Vert w_2^{\ast }{\Vert }^2$$

\qquad 易知 $w$ 满足目标优化问题的不等式约束，是一个可行解，且根据三角不等式，从而有：

$$c\le \Vert w\Vert \le \frac{1}{2}\Vert w_1^{\ast }\Vert +\frac{1}{2}\Vert w_2^{\ast }\Vert =c$$

\qquad 要使上式不等号取等，即 $\Vert w\Vert =\frac{1}{2}\Vert w_1^{\ast }\Vert +\frac{1}{2}\Vert w_2^{\ast }\Vert$ ，那么向量 $w_1^{\ast }$ 和 $w_2^{\ast }$ 共线，即有 $w_1^{\ast }=\lambda w_2^{\ast },|\lambda |=1$。而 $\lambda =-1$ 时，$w=0$ 不是目标问题的可行解，从而矛盾。故 $\lambda =1$，即：

$$w_1^{\ast }=w_1^{\ast }$$

\qquad 令：

$$a=\left[\begin{array}{c}{w}_{n\times 1}\\ b\end{array}\right]b_i=\left[\begin{array}{c}{x}_i\\ 1\end{array}\right]c=\left[\begin{array}{c}{1}_{1\times n},0\end{array}\right]a=w_{n\times 1}$$

\qquad 那么原问题被转化为：
$$\begin{gathered} \underset{a}{\min }\frac{1}{2}{\Vert c\Vert }^2 \\ s.t.y_i{a}^T{b}_i-1\ge 0,i=1,2,3,\cdots ,N \end{gathered}$$

\qquad 同上述证明方式，可以证明 $(w,b)$ 最优解的唯一性。

\qquad 凸二次规划问题的常见求解办法是通过转化为拉格朗日函数 $L$ 求极值：

$$L(w,b,\alpha )=\frac{1}{2}{\Vert w\Vert }^2-\sum _{i=1}^N{\alpha }_i{y}_i(w^T\cdot x_i+b)+\sum _{i=1}^N{\alpha }_i$$

\qquad 通过对拉格朗日函数关于拉格朗日乘子 $\alpha$ 求极大值，在对目标变量求极小值即可得到原问题在约束条件下的目标解$p^{\ast }$,即：（详见下文）

$$p^{\ast }=\underset{w,b}{\min }\underset{\alpha }{\max }L(w,b,\alpha )$$

\qquad 对于拉格朗日函数的极小极大值问题，通常可以转化为求极大极小值形式来得到其对偶问题，求对偶问题的目标解 $d^{\ast }$，即：（详见下文）

$$d^{\ast }=\underset{\alpha }{\max }\underset{w,b}{\min }L(w,b,\alpha )$$

求${\min }_{w,b}L(w,b,\alpha )$

\qquad 首先分别对 $w$ 和 $b$求导，有：

$$\begin{gathered} {\nabla }_{w}L(w,b,\alpha )=w-\sum _{i=1}^N{\alpha }_i{y}_i{x}_i=0 \\ {\nabla }_{b}L(w,b,\alpha )=-\sum _{i=1}^N{\alpha }_i{y}_i=0 \end{gathered}$$

$$\begin{gathered} w=\sum _{i=1}^N{\alpha }_i{y}_i{x}_i \\ \sum _{i=1}^N{\alpha }_i{y}_i=0 \end{gathered}$$

代入：
$$L(w,b,\alpha )=\frac{1}{2}{\Vert w\Vert }^2-\sum _{i=1}^N{\alpha }_i{y}_i(w^T\cdot x_i+b)+\sum _{i=1}^N{\alpha }_i$$

得：
$$\begin{gathered} \underset{w,b}{\min }L(w,b,\alpha )=\frac{1}{2}{w}^{T}w-\sum _{i=1}^N{\alpha }_i{y}_i(w^T\cdot x_i+b)+\sum _{i=1}^N{\alpha }_i \\ =\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i^T\cdot x_j)-\sum _{i=1}^N{\alpha }_i{y}_i((\sum _{j=1}^N{\alpha }_j{y}_j{x}_j^T)\cdot x_i \\ +b)+\sum _{i=1}^N{\alpha }_i \\ =-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i^T\cdot x_j)+\sum _{i=1}^N{\alpha }_i \end{gathered}$$

等价的对偶最优化问题形式
$$\begin{gathered} \underset{\alpha }{\max }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i^T\cdot x_j)+\sum _{i=1}^N{\alpha }_i \\ s.t.\sum _{i=1}^N{\alpha }_i{y}_i=0 \\ {\alpha }_i\ge 0,i=1,2,3,\cdots ,N \end{gathered}$$

根据对偶问题的解求超平面参数
\qquad 若已根据对偶问题的形式求出对偶问题的解 ${\alpha }^{\ast }=({\alpha }_1^{\ast },{\alpha }_2^{\ast },{\alpha }_3^{\ast },\cdots ,{\alpha }_i^{\ast }{)}^T$ ，且其中至少存在一个 ${\alpha }_j^{\ast }\ge 0$ ， 根据KKT条件（详见下文），可以求出原始问题的解：

$$\begin{array}{rl}& w^{\ast }=\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i\\ & b^{\ast }=y_j-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i(x_i^T\cdot x_j)\end{array}$$

\qquad KKT条件:

$$\{\begin{array}{l}\begin{array}{rlr}& {\nabla }_{w}L(w^{\ast },b^{\ast },{\alpha }^{\ast })=w^{\ast }-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i=0& \\ & {\nabla }_{b}L(w^{\ast },b^{\ast },{\alpha }^{\ast })=-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i=0& \\ & {\alpha }_i^{\ast }(y_i(w^{\ast T}\cdot x_i+b^{\ast })-1)=0,& i=1,2,3,\cdots ,N\\ & y_i(w^{\ast T}\cdot x_i+b^{\ast })-1\ge 0,& i=1,2,3,\cdots ,N\\ & {\alpha }_i^{\ast }\ge 0,& i=1,2,3,\cdots ,N\end{array}\end{array}$$

\qquad 下面给出证明：

$$\begin{gathered} \because L(w,b,\alpha )=\frac{1}{2}{\Vert w\Vert }^2-\sum _{i=1}^N{\alpha }_i{y}_i(w^T\cdot x_i+b)+\sum _{i=1}^N{\alpha }_i \\ {\nabla }_{w}L(w,b,\alpha )=w-\sum _{i=1}^N{\alpha }_i{y}_i{x}_i=0 \\ {\nabla }_{b}L(w,b,\alpha )=-\sum _{i=1}^N{\alpha }_i{y}_i=0 \\ \therefore w=\sum _{i=1}^N{\alpha }_i{y}_i{x}_i \\ {w}^{\ast }=\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i \\ \therefore {\nabla }_{w}L(w^{\ast },b^{\ast },{\alpha }^{\ast })=w^{\ast }-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i=0 \\ {\nabla }_{b}L(w^{\ast },b^{\ast },{\alpha }^{\ast })=-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i=0 \\ \because {\alpha }_i^{\ast }是拉格朗日乘子，且{\alpha }_i^{\ast }\ge 0 \\ \therefore 对任一{\alpha }_j^{\ast }>0,令y_i(w^{\ast T}\cdot x_j+b^{\ast })-1=0 \\ 这里找到的x_j与超平面之间存在最大间隔，是支持向量。 \\ 故得b^{\ast }=y_j-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i(x_i^T\cdot x_j) \\ 这时，可以证明y_i(w^{\ast T}\cdot x_i+b^{\ast })-1\ge 0,i=1,2,3,\cdots ,N成立，KKT条件均满足，得证。 \end{gathered}$$
\qquad 综上得到的 $w^{\ast },b^{\ast },{\alpha }_i^{\ast }$ 满足KKT条件，分别是原始问题和对偶问题的最优解。