SVM支持向量机

SVM

三部分：间隔，对偶，核方法

分类：hard-margin SVM, soft-margin SVM, kernel SVM

属于判别模型，在小样本的分类上表现非常好

1 Hard-margin

1.1 问题描述

由线性可分引入：
两类是线性可分的，寻找最合适的边界$\to$判别模型。该问题是求最大的分类间隔margin。其中：
$$data=\{(x_i,y_i){\}}_{i=1}^n,x_i\in {\mathbb{R}}^p,y_i\in \{1,-1\}$$
$$规定\{\begin{array}{ll}{y}_i=1& w^{T}x+b>0\\ y_i=-1& w^{T}x+b<0\end{array}等价于y_i(w^T{x}_i+b)>0$$
数据$x_i$到直线$w^{T}x+b$的距离是：
$$dis=\frac{1}{||w||}|w^T{x}_i+b|$$
margin被定义为两类中距离分类边界最近的点：
$$\underset{i=1,...n}{\underset{w,b,x_i}{\min }}\frac{1}{||w||}|w^T{x}_i+b|$$
则原问题转化为：
$$\{\begin{array}{l}\underset{w,b}{\max }\underset{i=1,...n}{\underset{x_i}{\min }}\frac{1}{||w||}|w^T{x}_i+b|\\ st.y_i(w^T{x}_i+b)>0\end{array}$$
w与x无关，可以提出来，同时距离与y相乘可以去掉绝对值，因为同号，因此原问题等价于：
$$\{\begin{array}{l}\underset{w,b}{\max }\frac{1}{||w||}\underset{i=1,...n}{\underset{x_i,y_i}{\min }}{y}_i(w^T{x}_i+b)\\ \exists r>0,st.\underset{i=1,...n}{\underset{x_i,y_i}{\min }}{y}_i(w^T{x}_i+b)=r\end{array}$$
由于距离公式$\frac{1}{||w||}|w^T{x}_i+b|$，可以令$w^{\prime }=rw,b^{\prime }=rb$进行同比例缩放，上述的第二行约束条件可以变为$min{y}_i(w^T{x}_i+b)=1$，也等价于$y_i(w^T{x}_i+b)\ge 1$。第一行的min部分变为约束，求$max\frac{1}{||w||}$等价于求$min\frac{1}{2}{w}^{T}w$。因此该问题可以最终表示为：
$$\{\begin{array}{l}\underset{w,b}{\min }\frac{1}{2}{w}^{T}w\\ st.y_i(w^T{x}_i+b)\ge 1\text{for i= 1,...n}\end{array}$$
这是一个凸优化问题（convex optimization）。

1.2 问题求解

1.1中问题的最终表示是原问题(primal problem)，将其转化为对偶问题(dual problem)，并使用拉格朗日乘数法求解。

拉格朗日乘数法简单可以描述为：对原函数$minf(x)$的所有约束条件如$g(x)=0,h(x)\le 0$，拉格朗日函数等于原函数加上拉格朗日乘子与约束条件表达式的乘积，即$L=f(x)+\eta g(x)+\lambda h(x)$。（简单记为拉格朗日函数中，原函数是求最小值，原函数后面的约束都是负的，减大于0的约束等价于加小于0的约束）

同时有kkt条件（以上述h(x)为例，kkt条件细节见3.2.5）：当$h(x)<0$时约束不起作用，等价于$\lambda =0$没有约束；当$h(x)=0$，此时约束条件起作用，$\lambda >0$。因此存在条件$\lambda \ge 0$。当$h(x)>0$时

此问题的拉格朗日函数为：
$$L(w,b,\lambda )=\frac{1}{2}{w}^{T}w+\stackrel{n}{\sum _{i=1}}{\lambda }_i(1-y_i(w^T{x}_i+b))$$
问题转化为，此时w,b不再有约束：
$$\{\begin{array}{l}\underset{w,b}{\min }\underset{\lambda }{\max }L(w,b,\lambda )\\ st.{\lambda }_i\ge 0\end{array}$$
由于该问题是一个二次凸优化，满足强对偶关系，问题转化为：
$$\{\begin{array}{l}\underset{\lambda }{\max }\underset{w,b}{\min }L(w,b,\lambda )\\ st.{\lambda }_i\ge 0\end{array}$$

1.2.1 分类边界：

通过求解最小值问题$\underset{w,b}{\min }L(w,b,\lambda )$，可以得到分类边界$w^{\ast T}x+b^{\ast }$:
对b求偏导：
$$\frac{\partial L}{\partial b}=-\stackrel{n}{\sum _{i=1}}{\lambda }_i{y}_i=0$$
将原式括号拆开，b求偏导的结果带入原式（只消最后一项是因为b可以提出来，而倒数第二项的$w^T{x}_i$则不能）：
$$\begin{array}{rl}L(w,b,\lambda )& =\frac{1}{2}{w}^{T}w+\stackrel{n}{\sum _{i=1}}{\lambda }_i-\stackrel{n}{\sum _{i=1}}{\lambda }_i{y}_i{w}^T{x}_i-\stackrel{n}{\sum _{i=1}}{\lambda }_i{y}_{i}b\\ & =\frac{1}{2}{w}^{T}w+\stackrel{n}{\sum _{i=1}}{\lambda }_i-\stackrel{n}{\sum _{i=1}}{\lambda }_i{y}_i{w}^T{x}_i\end{array}$$
接下来对w求偏导：
$$\frac{\partial L}{\partial w}=w-\stackrel{n}{\sum _{i=1}}{\lambda }_i{y}_i{x}_i=0\to w^{\ast }=\stackrel{n}{\sum _{i=1}}{\lambda }_i{y}_i{x}_i$$
距离分类边界最近的点满足$y_i(w^T{x}_i+b)=1$，如图所示：（虚线所示，即满足约束条件的边界点，这些点被称为支持向量，support vector）

因此可由此求出$b^{\ast }$，（$y_k^2$=1，这里的$(x_k,y_k)$并不是点坐标，而是数据和他的标签）:
$$\begin{gathered} \exists (x_k,y_k)s.t.y_k(w^T{x}_k+b)=1 \\ \downarrow \\ {y}_k^2(w^T{x}_k+b)=y_k \\ {b}^{\ast }=y_k-\stackrel{n}{\sum _{i=1}}{\lambda }_i{y}_i{x}_i^T{x}_k \end{gathered}$$
因此决策函数和决策平面为：
$$f(x)=sign(w^{\ast T}x+b^{\ast })w^{\ast T}x+b^{\ast }$$
参数w*可以看做是数据的线性组合结果。对于${\lambda }_i$，只有当数据是支持向量的时候（在决策边界上，约束条件起作用时），${\lambda }_i>0$，其余时间${\lambda }_i=0$。如上图所示，由于大部分数据点在决策边界内而不是决策边界上，因此大部分${\lambda }_i=0$，这也证明SVM生成的边界是由少数数据决定的。

注意：
由于这是硬分类，因此$b^{\ast }$是唯一的。在软分类中，支持向量的距离是不唯一的，因此要对所有的支持向量都求一次$b^{\ast }$，再取平均值。

1.2.2 原问题转化：

带入w*，其中${\lambda }_i,y_i$为标量，$x_i$为向量：
$$\begin{array}{rl}L(w,b,\lambda )& =\frac{1}{2}(\stackrel{n}{\sum _{i=1}}{\lambda }_i{y}_i{x}_i{)}^T(\stackrel{n}{\sum _{j=1}}{\lambda }_j{y}_j{x}_j)-\stackrel{n}{\sum _{i=1}}{\lambda }_i{y}_i(\stackrel{n}{\sum _{i=1}}{\lambda }_i{y}_i{x}_i{)}^T{x}_i+\stackrel{n}{\sum _{i=1}}{\lambda }_i\\ & =-\frac{1}{2}\stackrel{n}{\sum _{i=1}}\stackrel{n}{\sum _{j=1}}{\lambda }_i{\lambda }_j{y}_i{y}_j{x}_i^T{x}_j+\stackrel{n}{\sum _{i=1}}{\lambda }_i\end{array}$$
将原函数取负转化为求最小值，因此原问题转化为：
$$\{\begin{array}{l}\underset{\lambda }{\min }\frac{1}{2}\stackrel{n}{\sum _{i=1}}\stackrel{n}{\sum _{j=1}}{\lambda }_i{\lambda }_j{y}_i{y}_j{x}_i^T{x}_j-\stackrel{n}{\sum _{i=1}}{\lambda }_i\\ st.{\lambda }_i\ge 0\\ st.\stackrel{n}{\sum _{i=1}}{\lambda }_i{y}_i=0\end{array}$$
这个问题的解法将在4.3部分介绍。

2 Soft margin

当数据集不可分，或者存在噪声的时候，hard margin效果不好。
soft：允许一点错误
原问题变成：
$$\underset{w,b}{\min }\frac{1}{2}{w}^{T}w+loss$$

2.1 loss的选择

a. 错误个数
缺点：不连续

b. 距离(hinge loss)
$$los{s}_i=max\{0,1-y_i(w^T{x}_i+b)\}$$
令${\xi }_i=1-y_i(w^T{x}_i+b)$，即${\xi }_i$代表当数据不在约束范围内，该数据点到约束边界的距离，因此有${\xi }_i\ge 0$。如图：

则原问题变为：

$$\{\begin{array}{l}\underset{w,b}{\min }\frac{1}{2}{w}^{T}w+C\stackrel{n}{\sum _{i=1}}{\xi }_i\\ st.y_i(w^T{x}_i+b)\ge 1-{\xi }_i\text{for i= 1,...n}\end{array}$$

3. 对偶问题（dual problem）

这一节属于知识补充，不想看可以跳过。
在1.2中涉及到了对偶问题：
$$\underset{w,b}{\min }\underset{\lambda }{\max }L(w,b,\lambda )\to \underset{\lambda }{\max }\underset{w,b}{\min }L(w,b,\lambda )$$
在没有其他条件的情况下（未说明是凸二次优化问题），该对偶问题与原问题是弱对偶关系，满足：
$$\underset{w,b}{\min }\underset{\lambda }{\max }L(w,b,\lambda )\ge \underset{\lambda }{\max }\underset{w,b}{\min }L(w,b,\lambda )$$
如果是强对偶关系，则满足：
$$\underset{w,b}{\min }\underset{\lambda }{\max }L(w,b,\lambda )=\underset{\lambda }{\max }\underset{w,b}{\min }L(w,b,\lambda )$$

3.1 公式证明（弱对偶关系）：

先考虑里层函数，无论将谁作为自变量，都满足最大值大于函数本身大于最小值：
$$\underset{\lambda }{\max }L(w,b,\lambda )\ge L(w,b,\lambda )\ge \underset{w,b}{\min }L(w,b,\lambda )$$
由于$\underset{\lambda }{\max }L(w,b,\lambda )$已经选择了符合条件的$\lambda$，因此该函数变为w和b的函数，因此可以令$\underset{\lambda }{\max }L(w,b,\lambda )=A(w,b)$。同理，令$\underset{w,b}{\min }L(w,b,\lambda )=B(\lambda )$。因此$A(w,b)\ge B(\lambda )$。由于函数A整体大于等于函数B，因此$\underset{w,b}{\min }A(w,b)\ge \underset{\lambda }{\max }B(\lambda )$。即:
$$\underset{w,b}{\min }\underset{\lambda }{\max }L(w,b,\lambda )\ge \underset{\lambda }{\max }\underset{w,b}{\min }L(w,b,\lambda )$$

3.2 几何证明：

设原问题为：
$$\{\begin{array}{l}minf(x)x\in {\mathbb{R}}^p\\ s.t.m(x)\le 0\end{array}$$
转化为Lagrange：$L(x,\lambda )=f(x)+\lambda m(x),\lambda \ge 0$
原始问题（primal problem）：$p^{\ast }=minf(x)$
对偶问题（dual problem）：$d^{\ast }=\underset{\lambda }{\max }\underset{x}{\min }L(x,\lambda )$
为了简化，令u = m(x), t = f(x)。令G为(u,x)组成的二维坐标系的区域。为不失一般性，假设G为非凸区域。图示以及符号表示如下（inf为集合下确界，令$g(\lambda )=inf\{t+\lambda u|(u,t)\in G\}$）：

$$\begin{array}{rl}D& =domf\cap domm\\ & \\ G& =\{(m(x),f(x))|x\in D\}\\ & =\{(u,t)|x\in D\}\\ & \\ p^{\ast }& =minf(x)\\ & =inf\{t|(u,t)\in G,u\le 0\}\\ & \\ d^{\ast }& =\underset{\lambda }{\max }\underset{x}{\min }f(x)+\lambda m(x)\\ & =\underset{\lambda }{\max }\underset{x}{\min }(t+\lambda u)\\ & =\underset{\lambda }{\max }inf\{t+\lambda u|(u,t)\in G\}\\ & =\underset{\lambda }{\max }g(\lambda )\end{array}$$

3.2.1 p*

$$p^{\ast }=inf\{t|(u,t)\in G,u\le 0\}$$
$u\le 0$是区域G中u的负半轴部分，而最小值p*则如图中所示：

3.2.2 $g(\lambda )$

$$g(\lambda )=inf\{t+\lambda u|(u,t)\in G\}$$
$t+\lambda u$代表的是一条截距不定的直线，$\lambda$是斜率，设截距为k，则该直线为$t=-\lambda u+k$。
这里以$\lambda >0$的情况为例，$\lambda =0$时直线与u轴平行，道理相同。
由$\lambda >0$可知直线的斜率小于0。当$t+\lambda u=0$时，该直线过原点，图中表示为绿线。符合条件的直线是由绿线平移得到的。图中两个蓝线分别与区域G相切，蓝线之间的所有斜率为$-\lambda$的直线都是符合条件的直线，他们的截距k的最小值为$g(\lambda )$。如下图所示：

3.2.3 d*

$$d^{\ast }=\underset{\lambda }{\max }g(\lambda )$$
由3.2.2可知$g(\lambda )$是直线$t+\lambda u$与区域G相切的直线截距最小值，要让这个最小值更大，就要不断调整斜率$-\lambda$，使得直线能够上移更多。如图，直线与区域G切点更多的时候d*越大。

由此可知，$d^{\ast }\le p^{\ast }$（这个非凸区域的示例中$d^{\ast }<p^{\ast }$。等号成立有多种情况，例如上图非凸部分满足斜率$\lambda =0$的直线为所求，或涉及的区域部分是凸函数）。

3.2.4 slater条件与强对偶

slater条件：

$\exists \hat{x}\in relintDs.t.\forall i=1,...n{m}_i(\hat{x})<0$
relint是relative interior相对内部，即不包括边界的区域。

这意味着区域G中至少有一个点是在t轴左侧的（u=m(x)<0），保证了p*的存在，且切线不与u轴垂直。

放松的slater条件：

n中有k个仿射函数，则只需验证另外n-k个约束是否满足slater条件。仿射函数形如$f(x)=Ax+b$，其中A是m*k的矩阵，x是k维向量，b是m维向量，本质上是一种k维到m维的映射关系。

凸优化，slater条件与强对偶的关系：

凸函数+slater条件$\to$强对偶关系
（是充分条件，slater条件相当于是凸函数的一个约束，关系不可反推）

SVM中

SVM是二次凸优化，如图$p^{\ast }=d^{\ast }$，其约束条件是仿射函数满足slater条件，因此是强对偶关系，也就可以做如下转化求解：
$$\{\begin{array}{l}\underset{w,b}{\min }\frac{1}{2}{w}^{T}w\\ st.y_i(w^T{x}_i+b)\ge 1\end{array}\to \underset{w,b}{\min }\underset{\lambda }{\max }L(w,b,\lambda )\to \underset{\lambda }{\max }\underset{w,b}{\min }L(w,b,\lambda )$$

3.2.5 总结与kkt条件的补充

以下内容来自链接：kkt条件

4 Kernel

4.1 背景

线性可分	有噪音	严格线性不可分
PLA	Pocket Algorithm	MLP/神经网
hard-margin SVM	soft-margin SVM	kernel

优点：

1. 非线性形成高维转换（模型分类角度）
2. 对偶表示形成内积（优化计算角度）

4.1.1 非线性的高维转换(kernel method)

对线性不可分的情况做非线性转换$\varphi (x)$，变成线性可分问题（映射到高维）
cover theorem: 高维比低维更易线性可分

如下分类问题（以异或问题为例）：

使用的非线性转换如下（此处是二维到三维，转换方式不唯一，可以自己随意指定）：
$$x=(x_1,x_2)\stackrel{\varphi (x)}{\to }{x}^{\prime }=(x_1,x_2,(x_1-x_2{)}^2)$$
分类平面如右图红色表示。

4.1.2 对偶形式的内积(kernel trick)

对于1.2.2中最终的原问题转化结果：
$$\{\begin{array}{l}\underset{\lambda }{\min }\frac{1}{2}\stackrel{n}{\sum _{i=1}}\stackrel{n}{\sum _{j=1}}{\lambda }_i{\lambda }_j{y}_i{y}_j{x}_i^T{x}_j-\stackrel{n}{\sum _{i=1}}{\lambda }_i\\ st.{\lambda }_i\ge 0\\ st.\stackrel{n}{\sum _{i=1}}{\lambda }_i{y}_i=0\text{for all i = 1,...,n }\end{array}$$
经过非线性变化以后可以得到：
$$\{\begin{array}{l}\underset{\lambda }{\min }\frac{1}{2}\stackrel{n}{\sum _{i=1}}\stackrel{n}{\sum _{j=1}}{\lambda }_i{\lambda }_j{y}_i{y}_j\varphi (x_i{)}^T\varphi (x_j)-\stackrel{n}{\sum _{i=1}}{\lambda }_i\\ st.{\lambda }_i\ge 0\\ st.\stackrel{n}{\sum _{i=1}}{\lambda }_i{y}_i=0\text{for all i = 1,...,n }\end{array}$$
其中$\varphi (x_i{)}^T\varphi (x_j)$是一个内积的形式，单独求解$\varphi (x_i)$非常困难，其维度可能非常高。因此直接求解$\varphi (x_i{)}^T\varphi (x_j)$，此处用到了核方法（kernel function）。

4.2 Kernel function

4.2.1 定义

一般情况下，核函数指正定核函数。内积写法：$<\varphi (x),\varphi (z)>=\varphi (x{)}^T\varphi (z)$

定义1

$$\begin{gathered} \chi :\text{input space},\chi \subseteq {\mathbb{R}}^p \\ k:\chi \ast \chi \to \mathbb{R} \\ \forall x,z\in \chi ,有k(x,z) \\ 如果\exists \varphi :x\to \mathbb{R},\varphi \in H \\ s.t.k(x,z)=<\varphi (x),\varphi (z)> \\ 那么称k(x,z)是正定核函数 \end{gathered}$$

其中$H$代表Hilbert space，是一个完备的，可能是无限维的，被赋予内积的线性空间。$H$中的元素都是函数。其中：

1. 完备的：对极限是封闭的。对于$\{K_n\}\subset H,\underset{n\to \infty }{\lim }{K}_n=k\in H$
2. 内积($f,g\in H,r$是标量)：
   对称性：$<f,g>=<g,f>$
   正定性：$<f,f>\ge 0,当且仅当f=0时等号成立$
   线性：$<r_1{f}_1+r_2{f}_2,g>=r_1<f_1,g>+r_2<f_2,g>$
3. 线性空间：向量空间，对加法和数乘运算封闭

定义2

$$\begin{gathered} \chi :\text{input space},\chi \subseteq {\mathbb{R}}^p \\ k:\chi \ast \chi \to \mathbb{R} \\ \forall x,z\in \chi ,有k(x,z) \\ 如果k(x,z)有如下两条性质： \\ 1.对称性 \\ 2.正定性 \\ 那么称k(x,z)是正定核函数 \end{gathered}$$

其中：

1. 对称性：$k(x,z)=k(z,x)$
2. 正定性：任取n个元素$x_1...x_n\in \chi$，对应的Gram matrix是半正定的。（Gram matrix：$K=[k(x_i,x_j){]}_{n\ast n}$）

定义1与定义2等价

也就是：正定核$\iff$对称，Gram矩阵半正定

后续证明不想看可以跳过。

必要性证明：

$$已知k(x,z)=<\varphi (x),\varphi (z)>,证：k(x,z)对称，且Grammatrix半正定$$
对称性：
$$\begin{array}{rl}\because & k(x,z)=<\varphi (x),\varphi (z)>\\ & k(z,x)=<\varphi (z),\varphi (x)>\\ & H有内积的对称性，即<\varphi (x),\varphi (z)>=<\varphi (z),\varphi (x)>\\ \therefore & k(x,z)=k(z,x)\\ & k(x,z)满足对称性\end{array}$$
Gram matrix半正定：
相关概念：
$$\begin{gathered} Grammatrix：任取n个元素x_1...x_n\in \chi ,K=[k(x_i,x_j){]}_{n\ast n} \\ {A}_{n\ast n}半正定：\{\begin{array}{l}特征值\lambda \ge 0\\ \forall u\in {\mathbb{R}}^p,u^{T}Au\ge 0\end{array} \end{gathered}$$
因此即证：$\forall u\in {\mathbb{R}}^p,u^{T}Ku\ge 0$
$$\begin{array}{rl}{u}^{T}Ku& =(u_1,u_2,...u_n)\left(\begin{array}{cccc}{K}_{11}& K_{12}& \cdots & K_{1n}\\ K_{21}& K_{22}& \cdots & K_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ K_{n1}& K_{n2}& \cdots & K_{nn}\end{array}\right)\left(\begin{array}{c}{u}_1\\ u_2\\ ⋮\\ u_n\end{array}\right)\\ & =\stackrel{n}{\sum _{i=1}}\stackrel{n}{\sum _{j=1}}{u}_i{u}_j{K}_{ij}其中K_{ij}=k(x_i,x_j)\\ & =\stackrel{n}{\sum _{i=1}}\stackrel{n}{\sum _{j=1}}{u}_i{u}_j<\varphi (x_i),\varphi (x_j)>\\ & =[\stackrel{n}{\sum _{i=1}}{u}_i\varphi (x_i){]}^T\stackrel{n}{\sum _{j=1}}{u}_j\varphi (x_j)\\ & =||\stackrel{n}{\sum _{i=1}}{u}_i\varphi (x_i)|{|}^2\ge 0\end{array}$$
$\therefore K是半正定的$

4.3 SVM Kernel

引入核函数后，原问题变成了：(soft)
$$\begin{gathered} \{\begin{array}{l}\underset{\lambda }{\min }\frac{1}{2}\stackrel{n}{\sum _{i=1}}\stackrel{n}{\sum _{j=1}}{\lambda }_i{\lambda }_j{y}_i{y}_{j}k(x_i,x_j)-\stackrel{n}{\sum _{i=1}}{\lambda }_i\\ st.C\ge {\lambda }_i\ge 0\\ st.\stackrel{n}{\sum _{i=1}}{\lambda }_i{y}_i=0\text{for all i = 1,...,n }\end{array} \\ {w}^{\ast }=\stackrel{n}{\sum _{i=1}}{\lambda }_i{y}_i\varphi (x_i) \\ {b}^{\ast }=\frac{1}{s}\stackrel{s}{\sum _{k=1}}[y_k-\stackrel{n}{\sum _{i=1}}{\lambda }_i{y}_{i}k(x_i,x_k)] \\ 其中s为支持向量个数 \\ 超平面为\stackrel{n}{\sum _{i=1}}{a}_i^{\ast }{y}_{i}k(x,x_i)+b\ast =0 \\ 分类决策函数为sign(\stackrel{n}{\sum _{i=1}}{a}_i^{\ast }{y}_{i}k(x,x_i)+b\ast ) \end{gathered}$$

scikit-learn中包括如下核函数：($\gamma ,r,d$都需要自己调参)

1. 线性核函数linear
   $K(x,z)=x\bullet z$
2. 多项式核函数poly
   $K(x,z)=(\gamma x\bullet z+r{)}^d$
3. 高斯核函数rbf
   $K(x,z)=exp(-\gamma ||x-z|{|}^2)$
4. sigmoid
   $K(x,z)=tanh(\gamma x\bullet z+r)$

剩下问题是如何求出$\lambda$，通过SMO算法。

全部内容也可参见：SVM