用简单直观的概念说明核函数的作用

1.映射函数

对于线性可分问题能够利用线性支持向量机进行求解。但是对于下图所示的线性不可分问题，无论如何都将无法找到一个超平面将两类数据分割开。如何解决该问题的答案是：升维。

图1 图片引自参考文献1

图2 图片引自参考文献2

假设某个函数能够将左侧的二维输入空间的数据点映射到一个更高维度的空间（如右侧），就能够将数据点实现线性可分（你且认为确实存在这么一个函数，且暂不管这个函数到底是怎么推理出来的），而这个函数就叫做“映射函数”，该处不妨记为∅。

2.核函数

我们已知映射函数∅后，来看核函数的定义：

 一句话就是，映射函数的内积构成了核函数。

3.核函数在SVM最优化问题中的应用

来看支持向量机的最优化问题：

通过映射函数∅，就能够将初始空间的映射到更高维的特征空间，即要做：

而核函数满足：

那么，我们实际不再需要去特意求解映射函数∅，也不需要进行映射函数间的点乘运算，只需要将核函数K带入最优化问题求解即可，这就是核技巧。自然最优化问题就变成：

其中，核函数的形式已经为我们定义好了，主要包括：

（1）线性核函数；

（2）多项式核函数；

（3）高斯核；

（4）sigmoid核；

各自的公式可自行百度。

参考文献：

【1】为什么高斯核可以将任意的数据映射为线性可分 - 简书

【2】SVM由浅入深的尝试（五）核函数的理解 - 简书