为什么高斯核可以将任意的数据映射为线性可分

背景：

在非线性可分的场景下，无法通过linear的超平面进行分割，所以希望把样本点映射到高维空间，再对高维空间的样本点进行线性分割。但由于在高维空间计算样本点的内积非常复杂，因此陷入了僵局。好在引入了核函数的概念，可较好的解决该问题

定义：

计算两个向量在隐式映射过后的空间中的内积的函数叫做核函数 (Kernel Function)

典型的核函数：

高斯核，这个核就是最开始提到过的会将原始空间映射为无穷维空间的那个家伙。

image.png

sigma选得很大的话，高次特征上的权重实际上衰减得非常快，所以实际上（数值上近似一下）相当于一个低维的子空间；反过来，如果选得很小，则可以将任意的数据映射为线性可分——当然，这并不一定是好事，因为随之而来的可能是非常严重的过拟合问题。不过，总的来说，通过调控参数，高斯核实际上具有相当高的灵活性，也是使用最广泛的核函数之一。下图所示的例子便是把低维线性不可分的数据通过高斯核函数映射到了高维空间：

image.png

为什么高斯核可以将任意的数据映射为线性可分？

image.png

因为这个核函数按泰勒展开，可以展开为无限多项的多项式，而无限多项的多项式是可以拟合任意曲线的，但可能有过拟合风险。

本质理解

其实核函数是一个tick，它提供了一种计算高维空间两向量内积的可行性方法，也就是说在低维空间通过计算核函数就可以得出了高维空间两向量内积。
写得不好，仅供参考

references:
https://blog.csdn.net/v_july_v/article/details/7624837
https://www.csie.ntu.edu.tw/~htlin/course/ml19spring/doc/203_handout.pdf