SVM支持向量机（三）

非线性支持向量机与核函数

对解线性分类问题，线性分类支持向量机是一种非常有效的方法。但是有些分类问题的非线性的。其主要特点是利用核技巧。

核技巧

1. 非线性分类问题

如果可以用一个超曲面将正负实例分开，则这个问题是非线性可分问题

非线性可分问题不好求解，因此采取线性变换，将非线性问题变化为线性问题来求解。上图就是将椭圆变成直线

用线性分类方法求解非线性问题分为两步：

1）使用变换将元空间的数据映射到新空间；

2）在新空间使用线性分类学习方法从训练数据中学习分类模型

核技巧就属于这样的方法

核技巧在支持向量机中的应用

注意到在线性支持向量机中的对偶问题，无论是目标函数还是决策函数都只设计输入实例和实例之间的内积

对偶问题的目标函数中的内积xi.xj可以用核函数K(xi,xj)=fi(xi)fi(xj)来代替

因此目标函数可以改写为

1. 定义映射，构成向量空间S

2. 在S上定义内积，使其成为内积空间

3. 将内积空间S完备化为希尔伯特空间

常用核函数

1. 多项式核函数

2. 高斯核函数

3. 字符串核函数

核函数不仅可以定义在欧式空间，还可以定义在离散数据的集合上，比如字符串集合上的核函数。字符串核函数在文本分类、信息检索、生物信息学等方面都有应用。