核函数与SMO

常用核函数      

      非线性问题往往不好求解，所以希望能用解线性分类问题的方法解决这个问题。所采取的方法是进行一个非线性变换，将非线性问题变换为线性问题，通过解变换后的线性问题的方法求解原来的非线性问题。对图所示的例子，通过变换，将左图中椭圆变换成右图中的直线，将非线性分类问题变换为线性分类问题。

1．多项式核函数（polynomial kernel function）

分类决策函数：

2. 高斯核函数（Gaussian kernel function）

对应的支持向量机是高斯径向基函数（radial basis function）分类器。在此情形下，分类决策函数成为 ：

3．字符串核函数（string kernel function） 

SMO序列最小最优化算法

支持向量机的学习问题可以形式化为求解凸二次规划问题。这样的凸二次规划问题具有全局最优解，并且有许多最优化算法
可以用于这一问题的求解。但是当训练样本容量很大时，这些算法往往变得非常低效，以致无法使用。所以，如何高效地实现支持向量机学习就成为一个重要的问题。

SMO算法要解如下凸二次规划的对偶问题：