SVM支持向量机原理详解

SVM

考虑一个二分类问题。假设输入空间与特征空间为两个不同的空间。输入空间为欧式空间或离散集合，特征空间为欧式空间或希尔伯特空间。线性可分支持向量机、线性支持向量机假设这两个空间的元素一一对应，并将输入空间中的输入映射为特征空间中的特征向量。非线性支持向量机利用一个从输入空间到特征空间的非线性映射将输入映射为特征向量。所以，输入都由输入空间转换到特征空间，支持向量机的学习是在特征空间进行的。

希尔伯特空间：一个完备的内积空间。$R^n$就是一个完备的内积空间，即Hilbert空间。大部分时候我们的输入$x$都在$R^n$中，因此即使不懂什么叫完备也没关系。

线性可分支持向量机

线性可分即存在一个超平面可以将数据点分为两类，分离超平面为:
$$\begin{array}{r}{w}^{\ast }x+b^{\ast }=0\end{array}\text{\hspace{1em}(1)}$$

决策函数为：

$$f(x)=sign(w^{\ast }x+b^{\ast })\text{\hspace{1em}(2)}$$

SVM最大的特点就是使分离超平面与样本点的最小距离最大，即“最小间隔最大化”。因为距离分离平面越远的点，模型在预测其类别时的置信度就越高。距离最大就引出了SVM的优化目标函数,在这之前首先要介绍函数间隔和几何间隔。

函数间隔

$$\hat{r}=y(wx+b)\text{\hspace{1em}(3)}$$

上式中$y$为样本的类别标签。可以看出，当点$x_i$被正确分类，则其函数间隔大于0，而与其类别无关；反之则一定小于0.对于给定的一组$w,b$，函数间隔的大小也可以代表模型对于分类结果的确信程度。

几何间隔

当$w,b$成比例变化时，函数间隔亦成比例变化，但是分隔超平面没有变化。比如在二维坐标系下$2x_1+4x_2+3=0$与$4x_1+8x_2+6=0$显然为同一条直线，只是系数成比例的变化。这就启发我们可以对每个分离超平面除以它的$||w||$, 由此得到几何间隔：
$$r=y\frac{wx+b}{||w||}\text{\hspace{1em}(4)}$$

事实上，当分类正确时等号右边就是点到直线的距离公式。这样我们就能将SVM公式化为下面的优化问题：

$$\begin{gathered} \underset{w,b}{\max }r \\ s.t.\frac{y_i}{||w||}(w{x}_i+b)\ge r,i=1,2,\dots ,N\text{\hspace{1em}(5)} \end{gathered}$$

其中，限制条件体现了“最小间隔”，目标函数保证了“间隔最大化”。 但是这个最优化问题不好求解，我们需要想办法让问题的形式更简单一点。考虑函数间隔和几何间隔之间的关系，可以将上面的优化问题改写为：

$$\begin{gathered} \underset{w,b}{\max }\frac{\hat{r}}{\Vert w\Vert } \\ s.t.y_i(w{x}_i+b)\ge \hat{r},i=1,2,\dots ,N\text{\hspace{1em}(6)} \end{gathered}$$
根据我们之前的讨论，函数间隔可以任意变化，我们总是可以通过成比例的改变$w,b$来保证得到相同的分离超平面。

证明：假设$r_1=k{r}_2$， 当$\hat{r}=r_2$时解为$w^{\ast },b^{\ast }$,则对于任意的输入$x_i$
$$\begin{array}{rlr}& k{y}_i(w^{\ast }{x}_i+b^{\ast })\ge k{r}_2=r_1,& 满足限制条件\\ & \frac{r_1}{k||w^{\ast }||}=\frac{r_2}{||w^{\ast }||}\ge \frac{r_2}{||w||}=\frac{r_1}{k||w||}，& 满足最优的要求\end{array}$$
故$k{w}^{\ast },k{b}^{\ast }$是$\hat{r}=r_1$的解,显然它与$w^{\ast },b^{\ast }$是同一个解。又因为在线性可分的情形下分离超平面存在且唯一，所以$\hat{r}=r_1$和$\hat{r}=r_2$同解。又因为任意两个实数$a,b$都可以表示成$a=kb$的形式，因此$\hat{r}$的取值不影响最优化问题的解。

简便起见， 我们可令$\hat{r}=1$，然后做一些便于求导和表示的等价处理，可以得到下面的优化问题:
$$\begin{array}{rl}& \underset{w,b}{\min }\frac{1}{2}\Vert w{\Vert }^2\\ & s.t.y_i(w{x}_i+b)-1\ge 0,i=1,2,\dots ,N\end{array}\text{\hspace{1em}(7)}$$

事实上，这是一个凸二次优化问题，也就是说它的限制条件和目标函数都是连续可微的凸函数。

最大分离超平面的存在性和唯一性

证明：

存在性：由线性可分的假设，知优化问题一定存在可行解（也就是有解），又因为优化目标有下界（范数的平方一定是非负的有最小值0），故存在最优解。但是如果$\frac{1}{2}||w^{\ast }|{|}^2=0$，即取到下界0就有$w=0$此时分离超平面是不存在的。又因为输入数据中有正类和负类，所以$(0,b)$不是最优化问题的解，否则的话分类决策函数$f(x)=sign(b^{\ast })$输出恒为1或-1。由此可知分离超平面的存在性。

唯一性：假设存在$w_1^{\ast },b_1^{\ast }$, $w_2^{\ast },b_2^{\ast }$都是最优化问题的解。则$w=\frac{w_1^{\ast }+w_2^{\ast }}{2}$, $b=\frac{b_1^{\ast }+b_2^{\ast }}{2}$也是最优化问题的可行解（即满足限制条件，但不一定满足最优化目标）。设$||w_1^{\ast }||=||w_2^{\ast }||=c$:
$$\begin{array}{r}c\le ||w||\le \frac{1}{2}||w_1^{\ast }||+\frac{1}{2}||w_2^{\ast }||=c\end{array}\text{\hspace{1em}(8)}$$
上式中的不等号来自三角不等式。由此可以推出$||w||=c$,根据三角不等式等号成立的条件可知$w_1^{\ast }$与$w_2^{\ast }$共线，又因为二者范数相等，则$w_1^{\ast }=w_2^{\ast }$ 或 $w_1^{\ast }=-w_2^{\ast }$。当$w_1^{\ast }=-w_2^{\ast }$时，$w=0$，所以$w_1^{\ast }=w_2^{\ast }$

由上述结论可知，两个分离超平面是平行的，所以$x_i$中使得不等式约束等号成立的点对于两个分离超平面是相同的（因为使得等号成立的点是到分隔超平面几何距离最小的点，而每个点到两个分离超平面的几何距离相差一个常数$|b_1^{\ast }-b_2^{\ast }|$）。又因为两个解都是最优解，所以最小的几何距离相等，故$|b_1^{\ast }-b_2^{\ast }|=0$，推出$b_1^{\ast }=b_2^{\ast }$。由此可知唯一性。

最优化问题的求解

在高等数学中我们求解带限制条件的极值问题时通常会使用拉格朗日极值法。考虑下面的拉格朗日函数：

$$\underset{\alpha ：\alpha \ge 0}{\max }L(w,b,\alpha )=\frac{1}{2}\Vert w{\Vert }^2-\sum _{i=1}^N{\alpha }_i{y}_i(w{x}_i+b)+\sum _{i=1}^N{\alpha }_i\text{\hspace{1em}(9)}$$

结合限制条件：
$$\underset{\alpha ：\alpha \ge 0}{\max }L(w,b,\alpha )=\{\begin{array}{rlr}& \frac{1}{2}\Vert w{\Vert }^2,& y_i(w{x}_i+b)-1\ge 0,i=1,2,\dots ,N\\ & +\infty ,& y_i(w{x}_i+b)-1<0,i=1,2,\dots ,N\end{array}\text{\hspace{1em}(10)}$$

所以当$x$满足限制条件时，下述最优化问题与原始问题等价：
$$\begin{array}{r}\underset{w,b}{\min }\underset{\alpha :\alpha \ge 0}{\max }L(w,b,\alpha )\end{array}\text{\hspace{1em}(11)}$$

这个问题不便于求解，因为根据拉格朗日极值法，我们首先需要求$L(w,b,\alpha )$对$\alpha$的导数，并令其为0：
$$\frac{\partial L}{\partial {\alpha }_i}=1-y_i(w{x}_i+b)=0\to y_i(w{x}_i+b)=1\text{\hspace{1em}(12)}$$
将其代回(n)中有
$$\underset{w,b}{\min }=\frac{1}{2}\Vert w{\Vert }^2\text{\hspace{1em}(13)}$$
这就回到了我们的原始问题。我们可以将上述问题转化为其对偶问题进行求解，又因为这个优化问题满足KKT条件（对偶问题和KKT条件），所以原问题和对偶问题有相同的解$w^{\ast },b^{\ast }$（拉格朗日对偶性):

$$\underset{\alpha :\alpha \ge 0}{\max }\underset{w,b}{\min }L(w,b,\alpha )\text{\hspace{1em}(14)}$$
类似于之前的求解方法：
$$\begin{array}{rlr}\frac{\partial L}{\partial w}& =w-\sum _{i=1}^N{\alpha }_i{y}_i{x}_i& =0\\ \frac{\partial L}{\partial b}& =-\sum _{i=1}^N{\alpha }_i{y}_i& =0\end{array}\text{\hspace{1em}(15)}$$
将式(15)带回式(14)中可以得到：
$$\begin{array}{rl}& \underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i.x_j)-\sum _{i=1}^N{\alpha }_i\\ & s.t.\sum _{i=1}^N{\alpha }_i{y}_i=0\\ & {\alpha }_i\ge 0\end{array}\text{\hspace{1em}(16)}$$

由式（15）有
$$w^{\ast }=\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i\text{\hspace{1em}(17)}$$
其中$\{{\alpha }_i^{\ast }\}$为对偶问题的最优解。若要求$b^{\ast }$需要用到KKT条件：
$$\begin{array}{rl}& {\nabla }_{w}L(w^{\ast },b^{\ast },{\alpha }^{\ast })=w^{\ast }-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i\\ & {\nabla }_{b}L(w^{\ast },b^{\ast },{\alpha }^{\ast })=-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i=0\\ & {\alpha }_i^{\ast }(y_i(w_{\ast }{x}_i+b^{\ast })-1)=0,i=1,2,\dots ,N\\ & y_i(w_{\ast }{x}_i+b^{\ast })-1\ge 0,i=1,2,\dots ,N\\ & {\alpha }_i^{\ast }\ge 0,i=1,2,\dots ,N\end{array}\text{\hspace{1em}(18)}$$
$\{{\alpha }_i^{\ast }\}$中必有大于0的项，否则的话$w^{\ast }=0$,而0不是最优化问题的解。假设${\alpha }_j^{\ast }>0$,将${\alpha }_j^{\ast }$代入(18-3)，可求得
$$b^{\ast }=y_j-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i(x_i.x_j)\text{\hspace{1em}(19)}$$

大于0的${\alpha }_i$对应的点$x_i$即为特征向量由KKT条件，${\alpha }_i^{\ast }(y_i(w^{\ast }{x}_i+b^{\ast })-1)=0$,易知后面的括号内为0，则$x_i$位于距离分离超平面函数距离为1的直线上。

线性支持向量机

​ 现实中线性可分的情况比较少见，大部分情况下我们无法找到这样的分隔超平面。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-yE5a8hoQ-1627808631140)(https://raw.githubusercontent.com/LinRds/image_bed/main/myplot.png)]

比如这张图片就展示了线性不可分的情况。对于实际问题中的数据，我们通常可以通过删除一些离群点使得原始数据变得线性可分(但是这样模型就失去了泛化性)。比如我们可以把上图中的$(0,1),(1,1)$两个点删去，则数据变得线性可分。线性不可分意味着存在部分点无法满足函数间隔大于等于1的条件。为此我们只能够减弱最大间隔限制的条件，添加一个松弛变量${\xi }_i$,则限制条件变为：
$$\begin{array}{r}{y}_i(w{x}_i+b)\ge 1-{\xi }_i{\xi }_i\ge 0\end{array}$$
${\xi }_i$的引入的代价会体现在目标函数中：
$$\underset{w,b}{\min }\frac{1}{2}\Vert w{\Vert }^2+C\sum _{i=1}^N{\xi }_i$$
其中$C>0$是惩罚系数，$C$越大误分类的惩罚就越大（当${\xi }_i>1$时SVM会出现分类错误）。所以添加正则项的目的就是为了让函数间隔可以比1小一点，但是又不希望太小，这个力度由$C$来调节。

​ 类似于线性可分支持向量机中的情况，将原始优化问题转化为拉格朗日对偶问题后求解，可以推导出$w^{\ast },b^{\ast }$的推导公式：
$$w^{\ast }=\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i$$

$$b^{\ast }=y_j-\sum _{i=1}^N{y}_i{\alpha }_i^{\ast }(x_i.x_j)0<{\alpha }_j^{\ast }<C$$

选择的$j$不同则计算出的$b^{\ast }$通常也是不同的。

支持向量

• ${\alpha }_i^{\ast }<C$,则${\xi }_i=0$（通过KKT条件可以推出），则$x_i$正好位于间隔边界上；
• ${\alpha }_i^{\ast }=C,0<{\xi }_i<1$此时$x_i$位于间隔边界与分隔超平面之间，分类正确；
• ${\alpha }_i^{\ast }=C,{\xi }_i>1$,此时$x_i$位于误分类的一侧。

合页损失函数（hinge logg）

合页损失函数的定义如下：
$$\sum _{i=1}^N\max (0,1-y_i(w{x}_i+b))+\lambda \Vert w{\Vert }^2$$
下面证明最小化$(20)$与最小化$(17)$是等价的。设：
$$\max (0,1-y_i(w{x}_i+b))={\xi }_i$$
则当$1-y_i(w{x}_i+b)>0$时，${\xi }_i=1-y_i(w{x}_i+b)>0$；当$1-yi(w{x}_i+b)\le 0$时， ${\xi }_i=0$。综上，${\xi }_i\ge 0$$(16)$中的限制条件成立。因此可以将$(20)$写成与$(17)$相同的形式，只需要令$C\lambda =\frac{1}{2}$。合页损失函数可以让我们用梯度下降来求解，而不用解析的方式。

核函数

如果不存在一个很好的分离超平面，那么这个时候分类问题就变成非线性的了。此时我们希望找到一个分离超曲面来解决这个问题。而核技巧（kernel trick） 则另辟蹊径，他将输入数据通过一个非线性变换映射到特征空间中，而在特征空间中，我们可以找到一个合适的分离超平面。

核函数可以表示成两个向量的内积，而核技巧的巧妙之处局在于我们不需要显示的求出非线性变换。事实上，非线性变换的求解是困难的，而且同一个核函数可以对应不同的特征空间和映射函数的取法。核函数帮我们回避了这个问题，这就是所谓的“技巧”（trick）。

我们所说的核函数通常都是正定核函数。正定是线性代数中的一个概念，英文中写作positive definite,翻译过来是“一定为正”,也就是对于任意非零向量$x$有$x^{T}Ax>0$.如果半正定，则大于号变为大于等于号。关于正定矩阵有一种几何角度的理解方式，我们将$x^{T}Ax$看做向量$x$和$Ax$的内积，这个值始终大于0，也就是说这两个向量的夹角一定在0和$\frac{\pi }{2}$之间，所以两个向量方向一致。