【机器学习】核函数的理解与常见核函数

在一个二维空间中，具有特征空间X和特征空间Y，当其中一个点（x, y）在这个二维平面中，如果想把它映射高维空间中，那么就需要用到核函数。

关于核函数的定义是：设$X$是输入空间，$Y$是特征空间。如果存在一个从$X$到$Y$的映射$\varphi (x):X->Y$，使得对于所有的向量$v_1,v_2\in X$，函数$K(v_1,v_2)$满足条件：$K(v_1,v_2)=<\varphi (v_1),\varphi (v_2)>$。其中，$<v_1,v_2>$称为内积，或者数量积，是将两个向量返回一个实数标量的二元运算，如 $v_1=(x_1,y_1),v_2=(x_2,y_2)$，则它们的内积$<v_1,v_2>=x_1{x}_2+y_1{y}_2$。

借用知乎上的例子：机器学习有很多关于核函数的说法，核函数的定义和作用是什么？的回答 如核函数$K(v_1,v_2)=<v_1,v_2{>}^2$，这个核函数其实隐含着一个映射关系$P(x,y)=(x^2,\sqrt{2}xy,y^2)$，通过这个核函数就可以直接计算它们映射的内积$<\varphi (v_1),\varphi (v_2)>$，从而避免分开计算每个向量的映射$\varphi (v)$。可以验证：
$$<P(v_1,v_2)>=<(x_1^2,\sqrt{2}{x}_1{y}_1,y_1^2),(x_2^2,\sqrt{2}{x}_2{y}_2,y_2^2)>$$$$=(x_1{x}_2+y_1{y}_2{)}^2$$$$=<v_1,v_2{>}^2$$$$=K(v_1,v_2)$$

核函数的作用就是隐含着一个从低维空间向高维空间的映射关系，这样就使得在低维空间中线性不可分的两类点在高维空间中线性可分。在SVM中，遇到线性不可分的样本时，SVM就通过一个非线性映射的核函数把样本映射到一个线性可分的高维空间中，在此高维空间中建立线性函数（如二维空间的直线、三维空间的平面和高维空间的超平面）来划分样本的高维空间，此高维空间的线性分类面对应到输入样本空间的话就是一个非线性的分类面。

核函数一般有这么几类：
1、线性核函数：$K(v_1,v_2)=<v_1,v_2>$
2、多项式核函数：$K(v_1,v_2)=(\gamma <v_1,v_2>+c{)}^n$
3、sigmoid核函数：$K(v_1,v_2)=tanh(\gamma <v_1,v_2>+c)$
4、高斯核函数：$K(v_1,v_2)=exp(-\frac{||v_1-v_2|{|}^2}{2{\sigma }^2})$
5、拉普拉斯核函数：$K(v_1,v_2)=exp(-\frac{||v_1-v_2||}{\sigma })$