支持向量机

目录

• 支持向量机

• 0. 由来

• 1. 核心思想

• 2. 硬间隔支持向量机

  • 2.1 间隔最大化

    • 2.1.1 函数间隔
    • 2.1.2 几何间隔
    • 2.1.2 间隔最大化

  • 2.2 转换为拉格朗日对偶问题

    • 2.2.1 拉格朗日对偶问题
    • 2.2.2 将问题转换为拉格朗日对偶问题

• 3. 软间隔支持向量机

• 4. 泛函基础

  • 4.1 度量（距离）空间

    • 4.1.1 定义
    • 4.1.2 $\rho$次幂可积函数空间
    • 4.1.3 完备性概念

  • 4.2 线性空间

  • 4.3 赋范空间

  • 4.4 巴拿赫（Banach）空间

  • 4.5 内积空间

  • 4.6 希尔伯特(Hibert)空间

• 5. 核支持向量机

  • 5.1 正定核

  • 5.2 常用核函数

    • 5.2.1 多项式核函数

    • 5.2.2 高斯核函数

      • 5.2.3 字符串核函数

• 6. SMO算法

支持向量机

0. 由来

Cortes与Vapnik 提出线性支持向量机.

Boser Guyon Vapnik 又引入核技巧，提出非线性支持向量机。

Vapnik：俄罗斯统计学家。

1. 核心思想

可以将数据分开的超平面有很多，SVM为了达到更好的泛化效果，寻找一个能正确划分数据且使支持向量（距离分类超平面最近的样本点）间隔最大的超平面。对于线性不可分数据，有两种处理方式：

• 松弛处理：即允许分类器对部分样本的分类出错。

• 引入核函数：通过核函数将输入特征空间变换到维度更高的隐特征空间，在维度更高的隐特征空间数据变得线性可分。

2. 硬间隔支持向量机

数据线性可分，寻找正确分类数据且间隔最大的超平面。

分类超平面：

$$w^{\ast }\cdot x+b^{\ast }=0$$

决策函数：

$$f(x)=sign(w^{\ast }\cdot x+b^{\ast })$$

2.1 间隔最大化

2.1.1 函数间隔

$|w\cdot x+b|$能够相对的表示样本到超平面的距离，$w\cdot x+b$的符号与$y$的符号是否一致可以表示分类是否正确，故可以定义函数间隔来表示分类的正确性和置信度：

$$\begin{gathered} {\hat{\gamma }}_i=y_i(w\cdot x_i+b) \\ \hat{\gamma }=\underset{i=1...N}{\min }{\hat{\gamma }}_i \end{gathered}$$

2.1.2 几何间隔

函数间隔存在一些问题：当$w$和$b$成比例的变化时，分类超平面没有改变但函数间隔确发生了变化，因此需要对$w$和$b$进行规范化，由此得出了几何间隔：

$$\begin{gathered} {\gamma }_i=y_i(\frac{w}{\Vert w{\Vert }_2}\cdot x_i+\frac{b}{\Vert w{\Vert }_2}) \\ \gamma =\underset{i=1...N}{\min }{\gamma }_i \end{gathered}$$

函数间隔和几何间隔存在如下关系：

$$\begin{gathered} {\gamma }_i=\frac{{\hat{\gamma }}_i}{\Vert w{\Vert }_2} \\ \gamma =\frac{\hat{\gamma }}{\Vert w{\Vert }_2} \end{gathered}$$

2.1.2 间隔最大化

确保分类正确的同时定义间隔最大化有：

$$\begin{gathered} \underset{w,b}{\max }\frac{\hat{\gamma }}{\Vert w{\Vert }_2} \\ s.t.y_i(w\cdot x_i+b)\ge \hat{\gamma } \\ \hat{\gamma }\ge 0 \end{gathered}$$

函数间隔$\hat{\gamma }$的取值并不影响最优化问题的解 事实上，假设将$w,b$按比例改变为$\lambda w,\lambda b$这时函数间隔成为$\lambda \hat{\gamma }$，不妨令$\hat{\gamma }=1$则有：

$$\begin{gathered} \underset{w,b}{\min }\frac{1}{\Vert w{\Vert }_2} \\ s.t.y_i(w\cdot x_i+b)\ge 1 \end{gathered}$$

该问题的解具有存在性和唯一性，详细证明见李航《统计机器学习》

2.2 转换为拉格朗日对偶问题

2.2.1 拉格朗日对偶问题

对于含有不等式的约束问题：

$$\begin{array}{rl}\min f(x)& \\ s.t.c_i(x)& \le 0\\ h_j(j)& =0\end{array}$$

希望找到一个无约束优化问题，使得无约束优化问题的解即为原问题的解，由此构造了拉格朗日函数：

$$L(x,\alpha ,\beta )=f(x)+\sum _i{\alpha }_i{c}_i(x)+\sum _j{\beta }_i{h}_j(x)$$

通过对$\alpha$加限制可以做到：

$$\begin{array}{rl}\underset{\alpha \ge 0,\beta }{\max }L(x,\alpha ,\beta )& =f(x)\\ s.t.c_i(x)& \le 0\\ h_j(j)& =0\end{array}$$

原始问题和对偶问题具有如下关系：

$$\underset{\alpha ,\beta :\alpha \ge 0}{\max }\underset{x}{\min }L(x,\alpha ,\beta )\le \underset{\alpha ,\beta :\alpha \ge 0}{\min }\underset{x}{\max }L(x,\alpha ,\beta )$$

则原问题变为：

$$\begin{array}{r}\underset{\alpha \ge 0,\beta }{\max }\underset{x}{\min }L(x,\alpha ,\beta )\\ s.t.c_i(x)\le 0\\ h_j(j)=0\end{array}$$

某些情况下原始问题和对偶问题的最优值相等（详细证明需要对偶相关理论），不妨设满足这个最优值的解为$(x^{\ast },{\alpha }^{\ast },{\beta }^{\ast })$，则有成立的充要条件，即KKT条件：

$$\begin{gathered} {\nabla }_{x}L(x^{\ast },{\alpha }^{\ast },{\beta }^{\ast })=0 \\ {\alpha }_i\ge 0i=1,2,...,k \\ {\alpha }_i^{\ast }{c}_i(x)=0i=1,2,...,k \\ {c}_i(x)\le 0i=1,2,...,k \\ {h}_j(x)=0j=1,2,...,l \end{gathered}$$

其中${\alpha }_i^{\ast }{c}_i(x)=0$为对偶互补条件

2.2.2 将问题转换为拉格朗日对偶问题

定义拉格朗日函数有：

$$L(w,b,\alpha )=\frac{1}{2}\Vert w{\Vert }_2^2-\sum _i^N{\alpha }_i{y}_i(w\cdot x_i+b)+\sum _i^N{\alpha }_i$$

$$\underset{\alpha :\alpha \ge 0}{\max }\underset{w,b}{\min }L(w,b,\alpha )$$

求解${\min }_{w,b}L(w,b,,\alpha )$有：

$$\begin{gathered} {\nabla }_{w}L(w,b,\alpha )=w-\sum _i^N{\alpha }_i{y}_i{x}_i=0 \\ {\nabla }_{b}L(w,b,\alpha )=-\sum _i^N{\alpha }_i{y}_i=0 \\ 得： \\ w=\sum _i^N{\alpha }_i{y}_i{x}_i \\ \sum _i^N{\alpha }_i{y}_i=0 \end{gathered}$$

带原拉格朗日函数整理得：

$$L(w,b,\alpha )=-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)+\sum _{i=1}^N{\alpha }_i$$

对偶问题有：

$$\underset{\alpha }{\max }L(w,b,\alpha )=\underset{\alpha }{\min }-L(w,b,\alpha )$$

则最后需要求解得问题变为：

$$\begin{gathered} \underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)-\sum _{i=1}^N{\alpha }_i \\ s.t.\sum _{i=1}^N{\alpha }_i{y}_i=0 \\ {\alpha }_i\ge 0,i=1,2,...,N \end{gathered}$$

求解出最优的${\alpha }^{\ast }=({\alpha }_1^{\ast },{\alpha }_2^{\ast },...,{\alpha }_N^{\ast }{)}^T$，后有解：

$$\begin{gathered} w^{\ast }=\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i \\ {b}^{\ast }=y_j-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i(x_i\cdot x_j) \end{gathered}$$

决策函数有：

$$f(x)=sign(\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i(x\cdot x_i)+b^{\ast })$$

3. 软间隔支持向量机

对于线性不可分数据，某些样本不满足函数距离不小于1得条件，因此可以通过对每个样本引入一个松弛变量${\xi }_i\ge 0$来松弛约束，并引入一个惩罚系数$C$最小化所有松弛变量，则有如下软间隔得支持向量机问题：

$$\begin{gathered} min\frac{1}{2}\Vert w{|}_2^2+C\sum _i{\xi }_i \\ s.t.y_i(w\cdot x_i+b)\ge 1-{\xi }_i,i=1,2,...,N \\ {\xi }_i\ge 0,i=1,2,...,N \end{gathered}$$

则此时拉格朗日函数有：

$$L(w,b,\xi ,\alpha ,\mu )=\frac{1}{2}\Vert w{|}_2^2+C\sum _i{\xi }_i-\sum _i{\alpha }_i(y_i(w\cdot x_i+b)-1+{\xi }_i)-\sum _i{\mu }_i{\xi }_i$$

求解偏导数有：

$$\begin{gathered} {\nabla }_{w}L(w,b,\xi ,\alpha ,\mu )=w-\sum _i{\alpha }_i{y}_i{x}_i=0 \\ {\nabla }_{b}L(w,b,\xi ,\alpha ,\mu )=-\sum _i{\alpha }_i{y}_i=0 \\ {\nabla }_{{\xi }_i}L(w,b,\xi ,\alpha ,\mu )=C-{\alpha }_i-{\mu }_i=0 \end{gathered}$$

解得：

$$\begin{gathered} w=\sum _i{\alpha }_i{y}_i{x}_i \\ \sum _i{\alpha }_i{y}_i=0 \\ C-{\alpha }_i-{\xi }_i=0 \end{gathered}$$

代入原问题得：

$$\underset{w,b,\xi }{\min }L(w,b,\alpha ,\xi ,\mu )=-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)+\sum _{i=1}^N{\alpha }_i$$

需要求解得对偶问题有：

$$\begin{gathered} \underset{\alpha ,\mu :\alpha \ge 0,\mu \ge 0}{\max }\underset{w,b,\xi }{\min }L(w,b,\alpha ,\xi ,\mu ) \\ =\underset{\alpha ,\mu :\alpha \ge 0,\mu \ge 0}{\max }-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)+\sum _{i=1}^N{\alpha }_i \\ s.t.\sum _i{\alpha }_i{y}_i=0 \\ C-{\alpha }_i-{\mu }_i=0 \\ {\alpha }_i\ge 0 \\ {\mu }_i\ge 0 \end{gathered}$$

合并约束条件，转为求最小目标，则有对偶问题：

$$\begin{gathered} \underset{\alpha :\alpha \ge 0}{\min }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)-\sum _{i=1}^N{\alpha }_i \\ s.t.\sum _i{\alpha }_i{y}_i=0 \\ 0\le {\alpha }_i\le C \end{gathered}$$

4. 泛函基础

泛函分析形成于20世纪30年代，从变分问题、积分方程和理论物理得研究中发展而来，主要研究：

• 无限维向量空间上的函数、算子和极限理论；

• 拓扑线性空间到拓扑线性空间之间，满足各种拓扑和代数条件的映射。

算子：把无限维空间到无限维空间的变换。

4.1 度量（距离）空间

4.1.1 定义

设X是非空集合，对于$X$中的任意两元素$x$与$y$，按某一法则都对应唯一的实数$\rho (x,y)$，并满足以下三条公理（距离公理）：

1. 非负性：$\rho (x,y)\ge 0$，$\rho (x,y)=0$当且仅当$x=y$

2. 对称性：$\rho (x,y)=\rho (y,x)$

3. 三角不等式: 对任意的$x,y,z$有：$\rho (x,y)\le \rho (x,z)+\rho (z,y)$

则称：

$\rho (x,y)$为$x$与$y$间的距离（或度量）；

$X$是以$\rho$为距离的距离空间（或度量空间），记成$(X,\rho )$，或简记为$X$；$X$中的元素称为$X$中的点。

• 点（元素）包含：真正意义下得点、数列和函数。

• 泛函分析是研究一个空间中点与点之间的关系，以及空间中符合一定条件的点组成的该空间子集的一些性质。

4.1.2 $\rho$次幂可积函数空间

$L^p[a,b]$表示区间$[a,b]$绝对值的$\rho$次幂$L$可积函数的全体，并把几乎处处相等的函数看成是同一个函数，对于$x,y\in L^p[a,b]$，规定:

$$\rho (x,y)=\left[{\int }_a^b\right|x(t)-y(t)|dt{]}^{\frac{1}{p}},p\ge 1$$

则$L^p[a,b]$构成一个距离空间，称之为$\rho$次幂可积函数空间。

4.1.3 完备性概念

设$(X,\rho )$为度量空间：

• 设$\{x_n{\}}_{n=1}^{\infty }$是$X$中的点列，如果对于任一正数$ϵ$,存在正数$N$，使得当自然数$n,m\ge N$时：

  $$\rho (x_n,x_m)<ϵ$$

  就称$\{x_n{\}}_{n=1}^{\infty }$是$X$中的基本点列，或者称为$Cauchy$点列。

• 如果度量空间$ X
  $中每个基本点列都收敛，称$X$是完备度量空间。

4.2 线性空间

空间中的任意两点可以做加法或与数相乘，运算的结果仍未该空间的点，并且该空间中的每个点可以定义长度，这个长度称为该点的范数，范数可以视为欧式空间中向量长度概念的推广。

4.3 赋范空间

设$X$是实（或复）线性空间，如果对于$X$中每个元素$x$，按照一定的法则对应于实数$\Vert x\Vert$，且满足：

• $\Vert x\Vert \ge 0$，$\Vert x\Vert =0$当且仅当$X$等于零元

• $\Vert ax\Vert =|a|\Vert x\Vert$，$a$是实（或复）数

• $\Vert x+y\Vert \le \Vert x\Vert +\Vert y\Vert$

则称$\Vert X\Vert$是实（或复）赋范线性空间，$\Vert x\Vert$称为$x$的范数

• 赋范线性空间必然是距离空间：定义
  $\rho (x,y)=\Vert x-y\Vert$

• 与度量空间不同：

  • 平移不变性：$d(x+a,y+a)=d(x,y)$, $x,y,a$属于$X$

  • 齐次性：$d(ax,ay)=|a|d(x,y)$,$x,y$属于$X$，$a$属于$K$

4.4 巴拿赫（Banach）空间

如果赋范线性空间$(X,||.||)$是完备的，则称(X, ||.||)是Banach空间。

例子：

• $n$维Euclid空间$R^n$是Banach空间

• $L^p[a,b](p\ge 1)$是Banach空间

算子：$T$是由赋范线性空间$X$中的某个子集$D$到赋范线性空间中的一个映射，则称$T$是算子，$D$是$T$的定义域，记为$D(T)$，像集$\{y|y=Tx,x\in D\}$是$T$的值域，记为$T(D)$。

线性算子：$T$满足可加性和齐次性

• 可加性：$T(x+y)=Tx+Ty$

• 齐次性：$T(ax)=aT(x)$

**有界算子：**存在正数$M$使得对于一切$x\in D(T)$，有$\Vert Tx\Vert \le M\Vert x\Vert$

4.5 内积空间

设X 是定义在实（或复）数域$K$上的线性空间，若对于$X$任意一对有序元素$x,y$, 恒对应数域$K$的值$(x,y)$，且满足：

• $(ax,y)=a(x,y)$

• $(x+y,z)=(x,z)+(y,z)$

• $(x,y)=(y,z)$

• $(x,x)\ge 0$ ，且$(x,x)=0$的充要条件是$x=0$

则称$X$为内积空间，$(x,y)$称为$x,y$的内积。

4.6 希尔伯特(Hibert)空间

可由内积导出范数：$\Vert x\Vert =\sqrt{(x,x)}$

完备的内积空间称为希尔伯特空间。

5. 核支持向量机

通过一个非线性变换将输入空间(欧氏空间$R$或离散集合)对应于一个特征空间(希尔伯特空间)，使得在输入空间中的超曲面模型对应于特征空间中的超平面模型(支持向量机)。

$$K(x,z)=\varphi (x)\cdot \varphi (z)$$

其中$K(x,z)$为核函数，$\varphi (x)$为映射函数。

• 在学习与预测中只定义核函数$K(x,z)$，而不显式地定义映射函数。

则核支持向量机的目标函数有：

$$W(\alpha )=\frac{1}{2}\sum _i\sum _j{\alpha }_i{\alpha }_j{y}_i{y}_{j}K(x_i,x_j)-\sum _i{\alpha }_i$$

核支持向量机要求解的问题：

$$\begin{gathered} \underset{\alpha }{\min }\frac{1}{2}\sum _i\sum _j{\alpha }_i{\alpha }_j{y}_i{y}_{j}K(x_i,x_j)-\sum _i{\alpha }_i \\ s.t.\sum _{i=1}^N{\alpha }_i{y}_i=0 \\ 0\le {\alpha }_i\le C,i=1,2,...,N \end{gathered}$$

决策函数：

$$f(x)=sign(\sum _i{\alpha }_i^{\ast }{y}_{i}K(x_i,x)+b^{\ast })$$

5.1 正定核

5.2 常用核函数

5.2.1 多项式核函数

$$K(x,z)=(x\cdot z+1{)}^p$$

对应的支持向量机为P次多项式分类器

5.2.2 高斯核函数

$$K(x,z)=exp(-\frac{\Vert x-z{\Vert }^2}{2\sigma })$$

高斯核函数对应的映射函数可以将数据映射到无限维

5.2.3 字符串核函数

6. SMO算法

序列最小优化算法

求解如下问题：

$$\begin{gathered} \underset{\alpha }{\min }\frac{1}{2}\sum _i\sum _j{\alpha }_i{\alpha }_j{y}_i{y}_{j}K(x_i,x_j)-\sum _i{\alpha }_i \\ s.t.\sum _{i=1}^N{\alpha }_i{y}_i=0 \\ 0\le {\alpha }_i\le C,i=1,2,...,N \end{gathered}$$

是一种启发式算法，加快求解多变量约束问题

• 如果所有变量的解都满足此最优化问题的KKT条件，那么得到解；

• 否则，选择两个变量，固定其它变量，针对这两个变量构建一个二次规划问题，称为子问题，可通过解析方法求解，提高了计算速度。子问题的两个变量：一个是违反KKT条件最严重的那个，另一个由约束条件自动确定。

步骤：

1. 求解两个变量的子问题二次规划问题

2. 启发式寻找子问题的两个变量

3. 继续执行1

参考资料

《统计机器学习》李航

https://baike.baidu.com/item/弗拉基米尔·万普尼克?fr=aladdin

https://blog.pluskid.org/archives/702