支持向量机从入门到放肆（一）

支持向量机从入门到放肆（一）

1. 支持向量机基本原理

假设有训练数据$T=\{(x_1,y_1),(x_2,y_2),...,(x_N，y_N)\}$，$y_i\in \{-1,+1\}$。最简单的分类想法就是找到一个超平面，将不同类别的样本分开。这样的超平面可能有很多，可以通过最大化超平面与样本之间的距离找到最优解。对于空间中一超平面${\left({\mathbf{w}}^{\prime }\right)}^{\top }\mathbf{x}+b^{\prime }=0$。如果这个超平面可以正确分类两类样本，则对于任意样本$\left({\mathbf{x}}_i,y_i\right)\in D$：
$$\{\begin{array}{ll}{\left({\mathbf{w}}^{\prime }\right)}^{\top }{\mathbf{x}}_i+b^{\prime }>0,& y_i=+1\\ {\left({\mathbf{w}}^{\prime }\right)}^{\top }{\mathbf{x}}_i+b^{\prime }<0,& y_i=-1\end{array}$$
根据几何间隔，上式中的0可以用一个极小的大于0的常数代替，这个极小的常数$\zeta$表示距离超平面非常近：
$$\{\begin{array}{ll}{\left({\mathbf{w}}^{\prime }\right)}^{\top }{\mathbf{x}}_i+b^{\prime }\ge +\zeta ,& y_i=+1\\ {\left({\mathbf{w}}^{\prime }\right)}^{\top }{\mathbf{x}}_i+b^{\prime }\le -\zeta ,& y_i=-1\end{array}$$
前后同时除以$\zeta$，再次修正上式：
$$\{\begin{array}{ll}{\left(\frac{1}{\zeta }{\mathbf{w}}^{\prime }\right)}^{\top }{\mathbf{x}}_i+\frac{b^{\prime }}{\zeta }\ge +1,& y_i=+1\\ {\left(\frac{1}{\zeta }{\mathbf{w}}^{\prime }\right)}^{\top }{\mathbf{x}}_i+\frac{b^{\prime }}{\zeta }\le -1,& y_i=-1\end{array}$$
令$w=\frac{1}{\zeta }{w}^{\prime },b=\frac{b^{\prime }}{\zeta }$，有：
$$\{\begin{array}{ll}{\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b⩾+1,& y_i=+1\\ {\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b⩽-1,& y_i=-1\end{array}$$
已知点到平面的距离为$r=\frac{|{\mathbf{w}}^{\mathrm{T}}\mathbf{x}+b|}{\Vert \mathbf{w}\Vert }$。不难理解SVM的最优解就是使得两个异类的样本距离超平面的距离之和$r=\frac{2}{\Vert \mathbf{w}\Vert }$最大的超平面。这个问题就变成了如下问题：
$$\begin{array}{l}{\max }_{\mathbf{w},b}\frac{2}{\Vert \mathbf{w}\Vert }\\ \text{ s.t. }{y}_i\left({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b\right)⩾1,i=1,2,\dots ,m\end{array}$$
最大化$\frac{2}{\Vert \mathbf{w}\Vert }$等价于最小化$\Vert w{\Vert }^2$，即上式可以写为：
$$\begin{array}{l}{\min }_{\mathbf{w},b}\frac{1}{2}\Vert \mathbf{w}{\Vert }^2\\ \text{ s.t. }{y}_i\left({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b\right)⩾1,i=1,2,\dots ,m\end{array}$$
即在满足$y_i\left({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b\right)⩾1,i=1,2,\dots ,m$这个条件的情况下，找到合适的$\mathbf{w}$和$b$使得$\frac{1}{2}\Vert \mathbf{w}\Vert$最小。

2. 求解SVM的对偶问题

在上一节中，SVM的求解问题已经确定，现在需要运用数学方法来求解合适的$\mathbf{w}$和$b$。这里我们采用更高效的拉格朗日乘子法。先将SVM求解问题可以写成：
$$\begin{array}{l}{\min }_{\mathbf{w},b}\frac{1}{2}\Vert \mathbf{w}{\Vert }^2\\ \text{s.t. }1-y_i\left({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b\right)\le 0\end{array}$$
用拉格朗日乘子法求解即：
$$L(\mathbf{w},b,\mathbf{\alpha })=\frac{1}{2}\Vert \mathbf{w}{\Vert }^2+\sum _{i=1}^m{\alpha }_i\left(1-y_i\left({\mathbf{w}}^{\top }{\mathbf{x}}_i+b\right)\right)$$
先对上式变形：
$$\begin{array}{rl}L(\mathbf{w},b,\mathbf{\alpha })& =\frac{1}{2}\Vert \mathbf{w}{\Vert }^2+\sum _{i=1}^m{\alpha }_i\left(1-y_i\left({\mathbf{w}}^T{\mathbf{x}}_i+b\right)\right)\\ & =\frac{1}{2}\Vert \mathbf{w}{\Vert }^2+\sum _{i=1}^m\left({\alpha }_i-{\alpha }_i{y}_i{\mathbf{w}}^T{\mathbf{x}}_i-{\alpha }_i{y}_{i}b\right)\\ & =\frac{1}{2}{\mathbf{w}}^T\mathbf{w}+\sum _{i=1}^m{\alpha }_i-\sum _{i=1}^m{\alpha }_i{y}_i{\mathbf{w}}^T{\mathbf{x}}_i-\sum _{i=1}^m{\alpha }_i{y}_{i}b\end{array}$$
对上式中$\mathbf{w}$和$b$求导，使导数为0，得到：
$$\begin{array}{rl}\frac{\partial L}{\partial \mathbf{w}}=\frac{1}{2}\times 2\times \mathbf{w}+0-\sum _{i=1}^m{\alpha }_i{y}_i{\mathbf{x}}_i-0=0& ⟹\mathbf{w}=\sum _{i=1}^m{\alpha }_i{y}_i{\mathbf{x}}_i\\ \frac{\partial L}{\partial b}=0+0-0-\sum _{i=1}^m{\alpha }_i{y}_i=0& ⟹\sum _{i=1}^m{\alpha }_i{y}_i=0\end{array}$$
将$\mathbf{w}={\sum }_{i=1}^m{\alpha }_i{y}_i{\mathbf{x}}_i$和${\sum }_{i=i}^m{\alpha }_i{y}_i=0$代入$L(\mathbf{w},b,\mathbf{\alpha })$，则有：
$$\begin{array}{rl}L(\mathbf{w},b,\mathbf{\alpha })& =\frac{1}{2}{\mathbf{w}}^T\mathbf{w}+\sum _{i=1}^m{\alpha }_i-{\mathbf{w}}^T\mathbf{w}+0\\ & =\sum _{i=1}^m{\alpha }_i-\frac{1}{2}{\mathbf{w}}^T\mathbf{w}\\ & =\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{\mathbf{x}}_i^T{\mathbf{x}}_j\end{array}$$
即现在寻找合适的$\mathbf{\alpha }$来最大化$L(\mathbf{w},b,\mathbf{\alpha })$，即：
$$\begin{array}{rl}\underset{\mathbf{\alpha }}{\max }& \sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{\mathbf{x}}_i^T{\mathbf{x}}_j\\ & \text{s.t. }\sum _{i=1}^m{\alpha }_i{y}_i=0,\\ & {\alpha }_i⩾0,i=1,2,...,m\end{array}$$
上述问题是二次规划问题，可以使用二次规划算分来求解，但是这样求解的复杂度正比与训练样本的数量。实际上有更快速的算法，这里介绍使用序列最小化优化算法（Sequential Minimal Optimization, SMO）算法。SMO的基本思路是先固定${\alpha }_i$以外其他参数，找到目标函数在${\alpha }_i$上的最值。但是由于约束条件${\sum }_{i=1}^m{\alpha }_i{y}_i=0$存在，${\alpha }_i$可以用别的参数表示出，因此先选择两个参数${\alpha }_i、{\alpha }_j$，固定其他参数，找到在参数${\alpha }_i、{\alpha }_j$上的最大值。

由于约束条件${\sum }_{i=1}^m{\alpha }_i{y}_i=0$，且固定了其他参数，有：
$${\alpha }_i{y}_i+{\alpha }_j{y}_j=c,{\alpha }_i⩾0,{\alpha }_j⩾0$$
上式中可以小区${\alpha }_j$,代入原问题，则可以得到${\alpha }_i$和${\alpha }_j$的解。这样不断选取两个参数进行优化，直到收敛可得到所有$\alpha$的解。

对于任何支持向量$({\mathbf{x}}_s,y_s)$都有：
$$y_s\left(\sum _{i\in S}{\alpha }_i{y}_i{\mathbf{x}}_i^T{\mathbf{x}}_j+b\right)=1$$
其中，$S$是所有支持向量的集合。因此，代入任何一个支持向量就可以求得$b$。实际操作中，常用更鲁棒的方法：使用所有支持向量的平均值来求解$b$，即：
$$b=\frac{1}{|S|}\sum _{s\in S}\left(\frac{1}{y_s}-\sum _{i\in S}{\alpha }_i{y}_i{\mathbf{x}}_i^T{\mathbf{x}}_j\right)$$
至此，最基本的支持向量机原理及求解过程已经叙述完毕。

3. 核函数

上述过程都默认能找到一个超平面，可以线性的对所有样本分类。但是在实际情况中，线性分类器往往不能实现正确分类。这时，可以将样本映射到高维的特征空间，在特征空间可以实现线性划分。用$\varphi (\mathbf{x})$表示样本$\mathbf{x}$映射后的特征向量。则支持向量机待解决的问题转化为：
$$\begin{array}{rl}\underset{\mathbf{\alpha }}{\max }& \sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j\varphi ({\mathbf{x}}_i{)}^T\varphi ({\mathbf{x}}_j)\\ & \text{s.t. }\sum _{i=1}^m{\alpha }_i{y}_i=0,\\ & {\alpha }_i⩾0,i=1,2,...,m\end{array}$$
上式中$\varphi ({\mathbf{x}}_i{)}^T\varphi ({\mathbf{x}}_j)$是样本${\mathbf{x}}_i$和${\mathbf{x}}_j$的内积，如果样本维度过高，计算量会很大。为了避免这个问题，引入核函数$\kappa (\cdot ，\cdot )$使得样本${\mathbf{x}}_i$和${\mathbf{x}}_j$的内积等于核函数的结果，即：
$$\kappa ({\mathbf{x}}_i，{\mathbf{x}}_j)=⟨\varphi ({\mathbf{x}}_i),\varphi ({\mathbf{x}}_j)⟩=\varphi ({\mathbf{x}}_i{)}^T\varphi ({\mathbf{x}}_j)$$
这样就简化了计算。因此支持向量机的求解变为：
$$\begin{array}{rl}\underset{\mathbf{\alpha }}{\max }& \sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j\kappa ({\mathbf{x}}_i,{\mathbf{x}}_j)\\ & \text{s.t. }\sum _{i=1}^m{\alpha }_i{y}_i=0,\\ & {\alpha }_i⩾0,i=1,2,...,m\end{array}$$
即要解决非线性划分问题，只需要找到合适的特征变换，并找到这个变换对应的核函数就可以求解分线性支持向量机。事实上，只要一个对称的函数所对应的核矩阵是半正定的，它就可以当成核函数使用，且总能找到一个对应的映射$\varphi$。

常用的核函数有：

名称	表达式	参数
线性核	$\kappa ({\mathbf{x}}_i,{\mathbf{x}}_j)={\mathbf{x}}_i^T{\mathbf{x}}_j$
多项式核	$\kappa ({\mathbf{x}}_i,{\mathbf{x}}_j)=({\mathbf{x}}_i^T{\mathbf{x}}_j{)}^d$	$d⩾1$为多项式的次数
高斯核	$\kappa \left({\mathbf{x}}_i,{\mathbf{x}}_j\right)=\exp \left(-\frac{{\Vert {\mathbf{x}}_i-{\mathbf{x}}_j\Vert }^2}{2{\sigma }^2}\right)$	$\sigma >0$为高斯核的贷款
拉普拉斯核	$\kappa \left({\mathbf{x}}_i,{\mathbf{x}}_j\right)=\exp \left(-\frac{\Vert {\mathbf{x}}_i-{\mathbf{x}}_j\Vert }{\sigma }\right)$	$\sigma >0$
Sigmoid核	$\kappa ({\mathbf{x}}_i,{\mathbf{x}}_j)=\text{tanh}(\beta {\mathbf{x}}_i^T{\mathbf{x}}_j+\theta )$	tanh为双曲正切函数，$\beta >0,\theta <0$

另外，将核函数${\kappa }_1,{\kappa }_2$进行下列组合之后仍是核函数：

• 线性组合$\gamma {\kappa }_1+{\gamma }_2{\kappa }_2$仍为核函数
• 核函数的直积${\kappa }_1⨂{\kappa }_2(\mathbf{x},\mathbf{z})={\kappa }_1(\mathbf{x},\mathbf{z}){\kappa }_2(\mathbf{x},\mathbf{z})$仍为核函数
• 对于任意函数$g(\mathbf{x})$，$\kappa (\mathbf{x},\mathbf{z})=g(\mathbf{x}){\kappa }_1(\mathbf{x},\mathbf{z})g(\mathbf{z})$仍是核函数

---

吼吼，今天先到这里。后续会更新。