支持向量机（SVM）学习笔记

在机器学习中，支持向量机是在分类问题和回归问题中常用的监督式的机器学习算法。

SVM原理：

在n维欧式空间中，找到一个最佳的超平面，把数据分为两类，使得每个类到超平面的距离最远。

目标函数推导：

给定数据集$D=\{(x_1,y_1),(x_2,y_2),\dots ,(x_n,y_n)\}$,其中，$x\in R^n,y\in \{-1,+1\}$
类似二维空间中直线的公式，超平面的线性方程为：
$$w^{T}x+b=0$$
SVM希望找到间隔最大的超平面以具有更大的鲁棒性，即一个使得所有点到它距离最大的超平面。类似二维空间中点到直线$Ax+By+C=0$的距离：
$$\frac{|Ax+By+C|}{\sqrt{A^2+B^2}}$$
到n维空间后，点$x_i=(x_{i1},x_{i2},\dots ,x_{in})$到超平面$w^{T}x+b=0$的距离：
$$d=\frac{|w^{T}x+b|}{\Vert w\Vert }$$
其中，$\Vert w\Vert =\sqrt{w_1^2+w_2^2+\cdots +w_n^2}$

根据支持向量机的定义，支持向量到超平面的距离为$d$，其他点到超平面的距离大于$d$

因此可以得到以下不等式：
$$\{\begin{array}{l}\frac{|w^{T}x+b|}{\Vert w\Vert }\ge d,y=1\\ \frac{|w^{T}x+b|}{\Vert w\Vert }\le d,y=-1\end{array}$$
两边除以$d$：
$$\{\begin{array}{l}\frac{|w^{T}x+b|}{\Vert w\Vert d}\ge 1,y=1\\ \frac{|w^{T}x+b|}{\Vert w\Vert d}\le -1,y=-1\end{array}$$
由于$\Vert w\Vert d>0$，不等式可以简化得到为：
$$\{\begin{array}{l}|w^{T}x+b|\ge 1,y=1\\ |w^{T}x+b|\le -1,y=-1\end{array}$$
将两个不等式合并可得到：
$$y(w^{T}x+b)\ge 1$$
即得到最大间隔超平面的上下两个超平面：

由于$y\in \{-1,+1\}$，所以：
$$|w^{T}x+b|=y(w^{T}x+b)$$
因此，每个支持向量到超平面的距离可以写为：
$$d=\frac{|w^{T}x+b|}{\Vert w\Vert }=\frac{y(w^{T}x+b)}{\Vert w\Vert }$$
SVM的目的是找到距离最远的超平面，因此最优化问题为：
$$\underset{w,b}{\max }2\frac{y(w^{T}x+b)}{\Vert w\Vert }$$
由于支持向量是在最远的超平面的上的，因此支持向量满足$y(w^{T}x+b)=1$，目标问题可以进一步简化为：
$$\underset{w,b}{\max }\frac{2}{\Vert w\Vert }$$
继续对目标进行转换，转化为标准的最优化问题为：
$$\underset{w,b}{\min }\frac{1}{2}\Vert w{\Vert }^2$$
SVM最优化的问题的目标函数最终为：
$$\begin{gathered} \underset{w,b}{\min }\frac{1}{2}\Vert w{\Vert }^2 \\ s.t.y_i(w^T{x}_i+b)\ge 1 \end{gathered}$$

优化问题求解：

使用拉格朗日乘子法构造拉格朗日函数：
$$L(w,b,\alpha )=\frac{1}{2}\Vert w{\Vert }^2-\sum _{i=1}^n{\alpha }_i(y_i(w^T{x}_i+b)-1)$$
根据拉格朗日对偶性，原始问题的对偶问题为：
$$\underset{\alpha }{\max }\underset{w,b}{\min }L(w,b,\alpha )$$
分别对$w$和$b$求偏导为0：
$$\begin{gathered} \frac{\partial L}{\partial w}=w-\sum _{i=1}^n{\alpha }_i{y}_i{x}_i=0 \\ \frac{\partial L}{\partial b}=-\sum _{i=1}^n{\alpha }_i{y}_i=0 \end{gathered}$$
得到$w$和$b$为：
$$\begin{gathered} w=\sum _{i=1}^n{\alpha }_i{y}_i{x}_i \\ \sum _{i=1}^n{\alpha }_i{y}_i=0 \end{gathered}$$
将得到的$w$、$b$带入拉格朗日函数$L$中，从而得到目标问题的对偶问题：
$$\begin{array}{rl}L(w,b,\alpha )& =\frac{1}{2}\Vert w{\Vert }^2-\sum _{i=1}^n{\alpha }_i(y_i(w^T{x}_i+b)-1)\\ & =\frac{1}{2}{w}^{T}w-w^T\sum _{i=1}^n{\alpha }_i{y}_i{x}_i-b\sum _{i=1}^n{\alpha }_i{y}_i+\sum _{i=1}^n{\alpha }_i\\ & =\frac{1}{2}{w}^T\sum _{i=1}^n{\alpha }_i{y}_i{x}_i-w^T\sum _{i=1}^n{\alpha }_i{y}_i{x}_i-b\cdot 0\\ & =\sum _{i=1}^n{\alpha }_i-\frac{1}{2}(\sum _{i=1}^n{\alpha }_i{y}_i{x}_i{)}^T\sum _{j=1}^n{\alpha }_j{y}_j{x}_j\\ & =\sum _{i=1}^n{\alpha }_i-\frac{1}{2}\sum _{i,j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j\end{array}$$

得到的拉格朗日方程只含唯一的变量$\alpha$，因此，对求$\alpha$求极大，即对偶问题的解：
$$\begin{gathered} \underset{\alpha }{\max }\sum _{i=1}^n{\alpha }_i-\frac{1}{2}\sum _{i,j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j \\ s.t.\sum _{i=1}^n{\alpha }_i{y}_i=0,{\alpha }_i\ge 0,i=1,2,\cdots ,n \end{gathered}$$

对于求该对偶问题的求解，采用SMO(Sequential Minimal Optimization)算法进行求解，即对$\alpha =({\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_n)$进行优化。
具体推导较为复杂，详情可参考另外一位博主的：SMO算法详解

软间隔

由于真实数据并非是线性可分的，因此允许支持向量机在一些样本上出错，即之前的找超平面的条件放宽一点，因此引入“软间隔”概念，而之前的完全线性可分也被称为“硬间隔”。

为了衡量到底“软”到什么程度，因此为每一个样本引入松弛变量${\xi }_i$，且${\xi }_i\ge 0$，因此：
$$y_i(w^T{x}_i+b)\ge 1-{\xi }_i$$
因此优化目标从 ${\min }_{w,b}\frac{1}{2}\Vert w{\Vert }^2$ 变为了：
$$\begin{gathered} \underset{w,b}{\min }\frac{1}{2}\Vert w{\Vert }^2+C\sum _{i=1}^n{\xi }_i \\ s.t.y_i(w^T{x}_i+b)\ge 1-{\xi }_i,{\xi }_i\ge 0 \end{gathered}$$
其中，$C$为一个大于0的常数，作为错误样本的惩罚程度。若$C$无穷大，${\xi }_i$必然无穷小，因此又退化为线性可分的SVM了。

同样，类似线性SVM，对新的优化目标求解最优化问题：
构造拉格朗日函数：
$$L(w,b,\xi ,\alpha ,\beta )=\frac{1}{2}\Vert w{\Vert }^2+C\sum _{i=1}^n{\xi }_i-\sum _{i=1}^n{\alpha }_i(y_i(w^T{x}_i+b)-1+{\xi }_i)-\sum _{i=1}^n{\beta }_i{\xi }_i$$
其对偶问题为：
$$\underset{\alpha ,\beta }{\max }\underset{w,b,\xi }{\min }(w,b,\xi ,\alpha ,\beta )$$

分别对$w,b,\xi$求偏导为0：
$$\begin{gathered} \frac{\partial L}{\partial w}=w-\sum _{i=1}^n{\alpha }_i{y}_i{x}_i=0 \\ \frac{\partial L}{\partial b}=-\sum _{i=1}^n{\alpha }_i{y}_i=0 \\ \frac{\partial L}{\partial \xi }=C-{\alpha }_i-{\beta }_i=0 \end{gathered}$$
得到$w$和$b$为：
$$\begin{gathered} w=\sum _{i=1}^n{\alpha }_i{y}_i{x}_i \\ \sum _{i=1}^n{\alpha }_i{y}_i=0 \\ C={\alpha }_i+{\beta }_i \end{gathered}$$

带回到构造的拉格朗日函数中：
$$\begin{array}{rl}L(w,b,\alpha )& =\frac{1}{2}\Vert w{\Vert }^2+C\sum _{i=1}^n{\xi }_i+\sum _{i=1}^n{\alpha }_i(1-{\xi }_i-y_i(w^T{x}_i+b))-\sum _{i=1}^n{\beta }_i{\xi }_i\\ & =\sum _{i=1}^n{\alpha }_i-\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j+\sum _{i=1}^n(C-{\alpha }_i-{\beta }_i){\xi }_i\\ & =\sum _{i=1}^n{\alpha }_i-\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j\end{array}$$

因此，目前只剩唯一$\alpha$，目前问题变成最大化$\alpha$：
$$\begin{gathered} \underset{\alpha }{\max }\sum _{i=1}^n{\alpha }_i-\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j \\ s.t.\sum _{i=1}^n{\alpha }_i{y}_i=0,a_i\ge 0,C={\alpha }_i+{\beta }_i \end{gathered}$$
同样用SMO算法求解

对于硬间隔和软间隔是针对数据完全线性可分和大部分线性可分的情况，而当遇到的数据集是非线性可分的时候，就需要用到支持向量机的核函数将线性的支持向量机推广到非线性的支持向量机。因此需要把原本的样本点通过映射函数$\Phi$映射到新的空间。
因此分割超平面表示为：
$$f(x)=w\Phi (x)+b$$
同样，非线性SVM的对偶问题变成了：
$$\begin{gathered} \underset{\alpha }{\max }\sum _{i=1}^n{\alpha }_i-\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j\Phi (x_i)\Phi (x_j) \\ s.t.\sum _{i=1}^n{\alpha }_i{y}_i=0,a_i\ge 0,C={\alpha }_i+{\beta }_i \end{gathered}$$
同样用SMO算法求解

---

参考：https://emoryhuang.cn/blog/2581338612.html#%E6%A0%B8%E5%87%BD%E6%95%B0