二、机器学习基础14（核函数）

核函数

核函数目的：把原坐标系里线性不可分的数据用 Kernel 投影到另一个空间，尽量使得数据在新的空间里线性可分。

核函数方法的广泛应用,与其特点是分不开的：
1）核函数的引入避免了“维数灾难”,大大减小了计算量。而输入空间的维数 n 对核函数矩阵无影响，因此，核函数方法可以有效处理高维输入。
2）无需知道非线性变换函数Φ的形式和参数.
3）核函数的形式和参数的变化会隐式地改变从输入空间到特征空间的映射，进而对特征空间的性质产生影响，最终改变各种核函数方法的性能。
4）核函数方法可以和不同的算法相结合，形成多种不同的基于核函数技术的方法，且这两部分的设计可以单独进行，并可以为不同的应用选择不同的核函数和算法。

常见的核函数

1. Linear Kernel（线性核）

2. Polynomial Kernel（多项式核）非标准核函数：非常适合于正交归一化后的数据

3. Gaussian Kernel（高斯核函数）：性能对参数十分敏感；高斯核函数也有了很多的变种，如指数核，拉普拉斯核等。

4. Exponential Kernel（指数核函数）

5. Laplacian Kernel（拉普拉斯核）完全等价于指数核，唯一的区别在于前者对参数的敏感性降低，也是一种径向基核函数。

6.ANOVA Kernel（ANOVA 核）：也属于径向基核函数一族，其适用于多维回归问题。

7. Sigmoid Kernel（Sigmoid 核）：来源于神经网络，是 S 型的，所以被用作于“激活函数”

8. Rational Quadratic Kernel（二次有理核）：高斯核的替代品，作用域虽广，但是对参数十分敏感，慎用！

9. Multiquadric Kernel（多元二次核）：替代二次有理核，它是一种非正定核函数。

10. Inverse Multiquadric Kernel（逆多元二次核）：基于这个核函数的算法，不会遇到核相关矩阵奇异的情况。

11. Circular Kernel

12. Spherical Kernel

13. Wave Kernel

14. Triangular Kernel（三角核函数）：多元二次核的特例

15. Log Kernel（对数核）：图像分割上经常被使用

16. Spline Kernel

17. Bessel Kernel

18. Cauchy Kernel（柯西核）：来源于神奇的柯西分布，可应用于原始维度很高的数据上

19. Chi-Square Kernel（卡方核）：源于卡方分布，不能够带有赋值

20. Histogram Intersection Kernel（直方图交叉核）：图像分类里面经常用

21. Generalized Histogram Intersection（广义直方图交叉核）

22. Generalized T-Student Kernel（TS 核属于 mercer 核）

23. Bayesian Kernel（贝叶斯核函数）