[机器学习-原理篇]支持向量机（SVM)深入理解

1，SVM概念

支持向量机（Support Vector Machine，SVM）属于有监督学习模型，主要于解决数据分类问题。通常SVM用于二元分类问题，对于多元分类可将其分解为多个二元分类问题，再进行分类，主要应用场景有图像分类、文本分类、面部识别和垃圾邮件检测等领域。

1.1 支持向量机包含三种：

1. 线性可分支持向量机：当训练数据线性可分时，可通过硬间隔最大化，学习一个线性的分类器，叫线性可分支持向量机，也称硬间隔支持向量机
2. 线性支持向量机：当训练数据近似线性可分时，可通过软间隔最大化，也学习一个线性的分类器，叫线性支持向量机，也称为软间隔支持向量机
3. 非线性支持向量机：当训练数据线性不可分时，通过使用核函数技巧及软间隔最大化，学习一个非线性的支持向量机

线性可分的数据就是代表这些数据能够用一条直线分开（二分类），如下图所示：

近似线性可分的数据如下图所示，即绝大多数的样本都能被准确分类，只有少数样本出现错误：

所以对软间隔和硬间隔的理解：当训练数据是线性可分的，能够找到一个平面百分百的将数据分类正确，此时训练数据到超平面的距离就叫做硬间隔（粗俗的讲就是实打实的距离）；如果训练数据近似线性可分，同样可以找到一个超平面能够将绝大部分的数据分类正确，只有少数的样本分类错误，如果能容忍这种错误的存在，此时训练数据到超平面的距离就是软间隔（粗俗理解就是不在意这些细节）。简言之，硬间隔就是不能容忍错误分类点的存在，软间隔就是允许错误分类点的存在。

2.准备知识

KKT条件

对于具有等式和不等式约束的一般优化问题

KKT条件给出了判断$x^{\ast }$是否为最优解的必要条件，即：

KKT的推导过程可以看这里

点到直线的距离

有直线$Ax+By+C=0$，点$(x_0，y_0)$到该直线的距离为：
$$d=\frac{\left|A{x}_0+B{y}_0+C\right|}{\sqrt{A^2+B^2}}\text{\hspace{1em}(1)}$$
即：
$$d=\frac{|(A,B)\left(\begin{array}{c}{x}_0\\ y_0\end{array}\right)+C|}{||(A,B)||}\text{\hspace{1em}(2)}$$
如果数据是 n 维时，此时直线就变成了平面，用 $w$ 表示平面的法向量得：
$$d=\frac{|wx+b|}{\Vert w\Vert }\text{\hspace{1em}(3)}$$

3. 线性可分支持向量机（hard margin）

定义：给定线性可分训练数据集，由数据集训练得到超平面为
$$w^{\ast }x+b^{\ast }=0$$
决策函数为
$$f(x)=sign(w^{\ast }x+b^{\ast })$$
成为线性支持向量机。

线性可分支持向量机建立超平面：

给定训练数据集$D=(x_1,y_1),(x_2,y_2)....(x_n,y_n),y=\{-1,+1\}，y$是标签，因为是二分类，取值只有-1，+1

假设数据分布如上图所示，我们想找一条直线能够把数据分开，有无数条直线可以做到，但是这么多直线中选哪一个最好呢？

线性支持向量机的原理就是几何间隔最大化，从而确定这条直线，即上图中粗的黑线。

于SVM的超平面定义为：$wx+b=0$，其中$w$是超平面的法向量，$x$为训练数据，由上文（3）式可知数据点到超平面的距离为（此处公式标号依然为3）：
$$d=\frac{|wx+b|}{\Vert w\Vert }\text{\hspace{1em}(3)}$$

函数间隔：

如果此时我们想比较两个点$x_1，x_2$到超平面的距离，把$x_1，x_2$带入（3）式后发现分母都是相同的，所以想要比较两个点到平面的距离时，只需要比较分子就可以了。所以 $|wx+b|$能够相对表示点到平面的远近，而$wx+b$的符号与类别标签的符号是否一致表示了分类正确与否（因为在做分类时，带入数据点计算$f(x)=sign(wx+b)$，当$wx+b$为正时 $f$ 也为正，然后跟 $x$ 对应的标签 $y$ 对比，如果 $f$ 和 $y$ 的符号相同说明分类正确，否则分类错误）。所以可以用$y(wx+b)$来表示分类的正确性，我们把$y(wx+b)$称为函数间隔。

定义样本点 $(x_i,y_i)$ 到超平面 $(w,b)$ 的函数间隔为：
$${\gamma }_i=y_i(w{x}_i+b)\text{\hspace{1em}(4)}$$

而对于整个数据集 $D$，我们选取所有样本点中最小的函数间隔作为整个数据集到超平面的函数间隔，即
$$\gamma =\underset{i=1,...,n}{\min }{\gamma }_i$$

几何间隔：

函数间隔衡量的是点到超平面的远近，但是无法决定所要选择的超平面是哪一个。因为当我们把 $w$ 和 $b$ 都扩大2倍，那么函数间隔也会跟着扩大2倍，但是超平面并没有发生改变，还是原来的超平面。所以需要对法向量加某些约束，对 $w$ 使用L2范数进行规范化，使得间隔是确定的。

定义样本点 $(x_i,y_i)$ 到超平面 $(w,b)$ 的几何间隔为：
$${\gamma }_i=y_i(\frac{w}{\Vert w\Vert }{x}_i+\frac{b}{\Vert w\Vert })\text{\hspace{1em}(5)}$$

而对于整个数据集 $D$，我们选取所有样本点中最小的几何间隔作为整个数据集到超平面的几何间隔，即
$$\gamma =\underset{i=1,...,n}{\min }{\gamma }_i$$

函数间隔和几何间隔的关系:

可以看出函数间隔和几何间隔的关系为：
$$\gamma =\frac{\gamma }{\Vert w\Vert }\text{\hspace{1em}(6)}$$

上文说了，我们找到了这个几何间隔之后，因为几何间隔 $\gamma$ 是所有样本点中距离超平面最小的值，所有其他样本点距到超平面的距离肯定都不小于 $\gamma$，即
$$y_i(\frac{w}{\Vert w\Vert }{x}_i+\frac{b}{\Vert w\Vert })\ge \gamma$$

注：其实这些几何间隔为 \large {\gamma } 就是支持向量。
同时我们希望能够找到一组 $w,b$ 使这个几何间隔最大，即 $\underset{w,b}{\max }\gamma$

所以问题转化成：

$s.t$表示约束条件。

因为把（6）式带入（7）得：

由于函数间隔的取值对优化问题没有影响，因为无论函数间隔取值多少，最终我们想要找到的是$w,b$，所以可以令函数间隔为1，即 $\gamma =1$ 。注意到最大化 $\frac{1}{\Vert w\Vert }$ 就等于最小化 $\frac{1}{2}{\Vert w\Vert }^2$，所以优化问题转化成：

注：这里我们令$\gamma =1$，也就意味着到超平面的距离为1的点都是支持向量，即下图中画圈的点，如下图所示：

最终问题转化成了在一个线性约束下的二次优化问题，采用拉格朗日乘子法：

$$L(w,b,\alpha )=\frac{1}{2}||w|{|}^2+\sum _{i=1}^n{\alpha }_i(1-y_i(w^T{x}_i+b))\text{\hspace{1em}(10)}$$

现在需要最大化 $L(w,b,\alpha )$，所以问题变成 $\underset{w,b}{\min }\underset{\alpha }{\max }L(w,b,\alpha )$.

根据拉格朗日的对偶性，原始的极小极大问题变成了现在的极大极小问题 $\underset{\alpha }{\max }\underset{w,b}{\min }L(w,b,\alpha ).$

(1) 求 $\underset{w,b}{\min }L(w,b,\alpha )$：

让 $L(w,b,\alpha )$ 分别对 $w,b$ 求偏导，使导数为 0：
$$\{\begin{array}{l}\frac{\partial L(w,b,\alpha )}{\partial w}==0\\ \frac{\partial L(w,b,\alpha )}{\partial b}=0\end{array}$$
得
$$\{\begin{array}{l}w=\sum _{i=1}^n{\alpha }_i{y}_i{x}_i\\ \sum _{i=1}^n{\alpha }_i{y}_i=0\end{array}\text{\hspace{1em}(11)}$$

把式（11）带入式（10）得：

所以 $\underset{w,b}{\min }L(w,b,\alpha )=-\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i{x}_j)+\sum _{i=1}^n{\alpha }_i$

(2) 求 $\underset{w,b}{\min }L(w,b,\alpha )$ 对$\alpha$ 的极大值：

问题变为： $\underset{\alpha }{\max }-\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i{x}_j)+\sum _{i=1}^n{\alpha }_i$

约束条件为： $\sum _{i=1}^n{\alpha }_i{y}_i=0，{\alpha }_i\ge 0,i=1,2...n$

所以只要知道 $\alpha ，w$ 也就知道了，假设最优解为${\alpha }^{\ast }=({\alpha }_1^{\ast },{\alpha }_2^{\ast }....{\alpha }_n^{\ast }{)}^T$

由式（11）可知 $w^{\ast }=\sum _{i=1}^n{\alpha }_i^{\ast }{y}_i{x}_i$，假设此时得到的 $b$ 的最优解为 $b^{\ast }$，根据KKT条件可以得到：至少存在一个 ${\alpha }_i^{\ast }>0$ 使：

${\alpha }_i^{\ast }(y_i(w^{\ast }\cdot x_i+b^{\ast })-1)=0$
反证法，假设${\alpha }^{\ast }=0$ ，由式（11）可知$w^{\ast }=0$ ,而 $w^{\ast }=0$时，
带入式（9）可得
$$y_{i}b-1\ge 0\text{\hspace{1em}(13)}$$

因为 $y_i$ 的取值只有+1和-1，要使上式成立，$b$ 的取值是个不定值，说明超平面有多个，与原始问题矛盾，故至少存在一个 ${\alpha }_j^{\ast }>0$ ，对此 $j$ 有：

$${\alpha }_j^{\ast }(y_j(w^{\ast }\cdot x_j+b^{\ast })-1)=0,j=1,2...n\text{\hspace{1em}(14)}$$
因为 ${\alpha }_j^{\ast }>0$，所以可得：
$$(y_j(w^{\ast }\cdot x_j+b^{\ast })-1)=0\text{\hspace{1em}(15)}$$

把式（11）带入式（15），因为 $y_i=\{+1,-1\}$ ，所以 $\frac{1}{y_i}=y_i$，进而得到：

至此 $w^{\ast }$ 和 $b^{\ast }$ 都已经得到，

$$\{\begin{array}{l}{w}^{\ast }=\sum _{i=1}^n{\alpha }_i^{\ast }{y}_i{x}_i\\ b^{\ast }=y_j-\sum _{i=1}^n{a}_i^{\ast }{y}_i(x_i{x}_j)\end{array}$$

所以可以得到超平面： $w^{\ast }\cdot x+b^{\ast }=0$，
分类决策函数为：$f(x)=sign(w^{\ast }x+b^{\ast })$

注：其实由上面的式（15）可以看出，一定存在一些点使使（15）成立，即 $y_j(w^{\ast }{x}_j+b^{\ast })=1$，这个式子不就是代表函数间隔为1嘛，就是一定会存在支持向量，有了支持向量才能支撑起超平面。
上面我们只是假设已经求得了${\alpha }^{\ast }=({\alpha }_1^{\ast },{\alpha }_2^{\ast }....{\alpha }_n^{\ast }{)}^T$，
所以关键问题就是如何求 ${\alpha }^{\ast }$ ，支持向量机中求${\alpha }^{\ast }$的方法是SMO（Sequential Minimal Optimization）即序列最小最优化，感觉SMO其实不属于支持向量机算法的一部分，只是一种优化方法，所以没怎么着重看（手动捂脸），下面是自己的理解。

SMO的思想是因为拉格朗日乘子由许多个，即$\alpha$ 有许多个，每次只选择其中两个变量作为未知量，其他乘子作为已经量，将N个问题转变成两个变量的求解问题。比如对于线性可分支持向量机的目标函数：

一开始选取两个变量 ${\alpha }_1,{\alpha }_2$ 作为未知量，其他因子 ${\alpha }_i(i=3,4...n)$当作已经的来求目标函数的最小值，求出${\alpha }_1,{\alpha }_2$再带入进去，再选取${\alpha }_3,{\alpha }_4$求目标函数最小值，求出后继续带入，直到所有 \large \alpha 都得到（中间过程其实挺复杂的，个人理解手动捂脸）。

4. 线性支持向量机（soft margin）

对于线性不可分的样本(有噪声干扰),可以适当放松边界超平面,以得到更好的鲁棒性能.soft margin形式下的SVM定义如下:

其中,$C$为${\xi }_i$的惩罚因子,$C$越大,对ξ的惩罚越大,$\xi$的可能取值越小,soft margin效果越弱,鲁棒性能越差,反之亦然.

5. 非线性支持向量机

核方法

定义： 在低维空间中不能线性分割的点集，通过转化为高维空间中的点集时，从而变为线性可分的，然后就可以应用线性分类学习方法从训练数据中学习分类模型，这就是核方法。

假如你有四个点如下图，你要把红色点和绿色点分开，但是你无法用一条线把它分开。只能用一条曲线分开

那么我们能不能把这个四个点找一个核函数把它映射到三维空间呢？
如图所示，这样就可以找到一个面把它分开了


我们现在有三个等式 $x+y,xy,x^2$. 那么这三个等式那个可以成功的分开它们呢？
通过表格的数据，显然$xy$是最好的

所以我就可以用xy=1 来区分红色点和绿色点，xy=0 为红色的，xy=2为绿色的

$Y=\frac{1}{x}$其实就是这个图中的双曲线

那么我们用XY的值作为Z轴的值，把这个四个点映射到三维空间上，显然可以找到一个平面成功的区分它们了

参考资料
https://zhuanlan.zhihu.com/p/77750026?utm_source=wechat_session
https://blog.csdn.net/b285795298/article/details/81977271
https://blog.csdn.net/weixin_38775269/article/details/81839080
https://www.cnblogs.com/hello-ai/p/11332654.html