【统计学习方法】支持向量机之非线性支持向量机

前篇：【统计学习方法】支持向量机之线性支持向量机

一、核技巧

非线性分类问题：

• 下图是一个非线性分类问题：
  
  由图可见，无法用直线(线性模型)将正负实例正确分开，但可以用一条椭圆曲线(非线性模型)将它们正确分开.
• 对给定的一个训练数据集$T=(x_1，y_1),(x_2，y_2),\dots ,(x_N，y_N)$其中，$x_i\in X\in R^n，y_i\in -1,+1$，如果能用$R^n$中的一个超曲面将正负例正确分开，则称这个问题为非线性可分问题.
• 非线性问题往往不好求解，所以希望能用解线性分类问题的方法解决这个问题.所采取的方法是进行一个非线性变换，将非线性问题变换为线性问题，通过解变换后的线性问题的方法求解原来的非线性问题.下图为上图经过非线性变换后的效果图：
  
  图中将椭圆变换成直线，将非线性分类问题变换为线性分类问题.
• **具体过程:**设原空间为$X\in R^2,x=(x^{(1)},x^{(2)})$，新空间为$Z\in R^2，z=(z^{(1)},z^{(2)})$，定义从原空间到新空间的变换(映射)：$$z=\varphi (x)=((x^{(1)}{)}^2,(x^{(2)}{)}^2{)}^T$$ 经过变换,原空间中的点相应地变换为新空间中的点，原空间中的椭圆:$$w_1(x^{(1)}{)}^2+w_2(x^{(2)}{)}^2+b=0$$变换成为新空间中的直线:$$w_1{z}^{(1)}+w_2{z}^{(2)}+b=0$$ 在变换后的新空间里,直线$w_1{z}^{(1)}+w_2{z}^{(2)}+b=0$可以将变换后的正负实例点正确分开.这样，原空间的非线性可分问题就变成了新空间的线性可分问题.
  
  
• 用线性分类方法求解非线性分类问题分为两步：
  • 第一步：使用一个变换将原空间的数据映射到新空间；
  • 第二步：在新空间里用线性分类学习方法从训练数据中学习分类模型.
    
    
• 核技巧应用到支持向量机，其基本想法就是：
  • 第一步：通过一个非线性变换将输入空间(欧氏空间$R^n$或离散集合)映射到一个特征空间(希尔伯特空间$H$)，使得在输入空间$R^n$中的超曲面模型对应于特征空间H中的超平面模型(线性支持向量机).
  • 第二步：在特征空间中求解线性支持向量机.
• 如果对希尔伯特空间与核函数不太了解可以参考：https://blog.csdn.net/ACM_hades/article/details/90545657

核技巧在支持向量机中的应用：

• 我们注意到在线性支持向量机的对偶问题中，无论是目标函数还是决策函数(分离超平面)都只涉及输入实例与实例之间的内积.如果在$H$为特征空间(希尔伯特空间)中学习线性支持向量机，我们只需要知道特征空间中的向量内积$\varphi (x)\cdot \varphi (z)$就可以了，即只要有核函数$K(x,z)$。用核函数$K(x,z)=\varphi (x)\cdot \varphi (z)$来代替$x\cdot z$就ok。
• 所以线性支持向量机的对偶问题的目标函数：$$\underset{\alpha }{\min }(\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\ast x_j))-\sum _{i=1}^N{\alpha }_i=\underset{\alpha }{\min }(\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_{j}K(x_i,x_j))-\sum _{i=1}^N{\alpha }_i$$
• 分类决策函数式成为:$$f(x)=sign(\sum _{i=1}^N{\alpha }_i^{\ast }{y}_{i}K(x_i,x)+b^{\ast })$$
• 这等价于经过映射函数$\varphi$将原来的输入空间变换到一个新的特征空间，将输入空间中的内积$x\ast z$，变换为特征空间中的内积$K(x,z)=\varphi (x)\ast \varphi (z)$，在新的特征空间里从训练样本中学习线性支持向量机.
• 当映射函数是非线性函数时，学习到的含有核函数的支持向量机是非线性分类模型.
• 也就是说，在核函数$K(x,z)$给定的条件下，可以利用解线性分类问题的方法求解非线性分类问题的支持向量机.
• 并且我们学习模型的过程中只需要核函数$K(x,z)$就可以了，不需要显式地定义特征空间和映射函数.这样的技巧称为核技巧，
• 那么函数$K(x,z)$满足什么条件才能成为核函数呢？,具体的参考：https://blog.csdn.net/ACM_hades/article/details/90545657

二、常用核函数

• 多项式核函数：$$K(x,z)=(x\ast z+1{)}^p$$对应的支持向量机是一个$p$次多项式分类器.在此情形下，分类决策函数成为:$$f(x)=sign(\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i(x_i\ast x+1{)}^p+b^{\ast })$$
• 高斯核函数:$$K(x,z)=exp(-\frac{||x-z|{|}^2}{2{\sigma }^2})$$对应的支持向量机是高斯径向基函数分类器.在此情形下，分类决策函数成为:$$f(x)=sign(\sum _{i=1}^N{\alpha }_i^{\ast }{y}_{i}exp(-\frac{||x-z|{|}^2}{2{\sigma }^2})+b^{\ast })$$

三、非线性支持向量分类机

• 根据上面的推导，只需将线性支持向量机对偶形式中的内积换成核函数.就可以将线性分类的学习方法应用到非线性分类问题中去.将线性支持向量机扩展到非线性支持向量机
• 非线性支持向量机学习算法：
  • 输入：训练数据集$T=(x_1,y_1),(x_2,y_2),\dots ,(x_N,y_N)$，其中$x\in X\in R^n$，$y\in Y=-1，+1$
  • 输出：分类决策函数.
  • 第一步：选取适当的核函数$K(x,z)$和适当的参数$C$，构造并求解最优化问题：$$\underset{\alpha }{\min }(\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_{j}K(x_i\ast x_j))-\sum _{i=1}^N{\alpha }_i$$$$s.t.\sum _{i=1}^N{\alpha }_i{y}_i=0$$$$0\le {\alpha }_i\le C,i=1,2,\dots ,N$$
    通过SMO算法求得最优解：${\alpha }^{\ast }=({\alpha }_1^{\ast },{\alpha }_2^{\ast },\dots ,{\alpha }_N^{\ast })$
  • 第二步：选择${\alpha }^{\ast }$的一个正分量$0<{\alpha }_j^{\ast }<C$，计算$b^{\ast }$ $$b^{\ast }=y_j-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_{i}K(x_i\ast x_j)$$
  • 构造决策函数：$$f(x)=sign(\sum _{i=1}^N{\alpha }_i^{\ast }{y}_{i}K(x_i,x)+b^{\ast })$$