非线性支持向量机（SVM）与核函数（kernel），python实现

将线性支持向量机向非线性支持向量机推广需要用到核函数技巧（kernel trick），一般分为两步：
1、使用一个变换将原空间的数据映射到新空间；
2、在新空间用线性分类器分类学习从训练数据中学习分类模型。
核函数运用到支持向量机就是通过一个非线性变换将输入空间对应到一个特征空间，使得在输入空间${\text{R}}^n$中的超曲面模型对应于特征空间中的超平面模型。这样，分类问题就可以通过在特征空间中求解线性支持向量机完成。
核函数的定义：
$$\varphi (x):X\to H$$
$$K(x,z)=\varphi (x)\cdot \varphi (z)$$
其中，$\varphi (x)$为映射函数，$\varphi (x)\cdot \varphi (z)$为内积
$K(x,z)$称为核函数。
使用核函数的优势在于，在核函数$K(x,z)$给定的情况下，可以利用解线性分类问题的方法求解非线性分类问题的支持向量机。学习是隐式地在特征空间进行的，不需要显示地定义特征空间和映射函数。在实际应用中，往往是依赖领域知识直接选择核函数，核函数选择的有效性需要通过实验验证。

常用的核函数

1、多项式核函数(polynomial kernel function)
$$K(x,z)=(x\cdot z+1{)}^p$$
对应的支持向量机是一个p次多项式分类器，在此情形下，分类决策函数为：
$$f(x)=sign(\sum _{i=1}^{N_s}{\alpha }_i^{\ast }{y}_i(x_i\cdot x+1{)}^p+b^{\ast })$$
2、高斯核函数(Gaussian kernel function)
$$K(x,z)=exp(-\frac{||x-z|{|}^2}{2{\sigma }^2})$$
对应的支持向量机为高斯径向基函数分类器。在此情形下，分类决策函数为
$$f(x)=sign(\sum _{i=1}^{N_s}{\alpha }_i^{\ast }{y}_{i}exp(-\frac{||x-z|{|}^2}{2{\sigma }^2}+b^{\ast })$$

非线性支持向量机的学习算法

1、选择适当的核函数$K(x,z)$和适当的参数C,构造并求解做优化问题
$$\underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_{j}K(x_i,x_j)-\sum _{i=1}^N{\alpha }_i$$
s.t.
$$\sum _{i=1}^N{\alpha }_i{y}_i=0$$
$$0⩽{\alpha }_i⩽C,i=1,2,\cdots ,N$$
求得最优解${\alpha }^{\ast }=({\alpha }_1^{\ast },{\alpha }_2^{\ast },\cdots ,{\alpha }_N^{\ast }{)}^T$
2、选择${\alpha }^{\ast }$的一个正分量$0<{\alpha }_j^{\ast }<C$，计算
$$b^{\ast }=y_j-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_{i}K(x_i,x_j)$$
3、构造决策函数：
$$f(x)=sign(\sum _{i=1}^N{\alpha }_i^{\ast }{y}_{i}K(x,x_i)+b^{\ast })$$
当$K(x,z)$为正定核函数时，上述问题为凸二次规划问题，解是存在的。
下面，由15行python实现线性SVM与高斯核函数SVM的对比

from sklearn.svm import SVC
from sklearn.datasets import load_breast_cancer
from sklearn.model_selection import train_test_split


data = load_breast_cancer()
X = data['data']
y = data['target']
x_train, x_test, y_train, y_test = train_test_split(X, y, test_size=0.3)
clf1 = SVC(kernel='linear')#不采用核函数
clf2 = SVC(kernel='rbf', C=10, gamma=0.0001)#采用高斯核函数
clf1.fit(x_train, y_train)
clf2.fit(x_train, y_train)
print('线性SVM的精度为{}：'.format(clf1.score(x_test, y_test)))
print('高斯核函数SVM的精度为{}：'.format(clf2.score(x_test, y_test)))

运行结果如下：

说明，在乳腺癌诊断的数据集上，采用软间隔线性SVM是要由于采用高斯核函数SVM的。