内核岭回归

内核岭回归(KRR)由使用内核方法的岭回归所组成。不同的内核会导致不同的空间线性函数。对于非线性的内核，它与原始空间中的非线性函数相对应。内核岭回归与支持向量回归（SVR）的模型形式是一样的。但是它们有三个不同点：

1、它们使用不同的损失函数：KRR使用平方误差损失函数；SVR使用-不敏感损失（忽略真实值在某个上下范围内的误差），但两者用的都是正则化。

2、KRR对于中型数据集拟合更快（中型数据量大概一两万左右)。

3、KRR学习的模型是非稀疏的，而SVR拟合的是>0的稀疏模型，因此SVR预测更快。

以下是KRR与SVR的性能对比：

KRR VS SVR

一、KRR示例

博主将岭回归、贝叶斯岭回归、内核岭回归、支持向量回归放在了一起进行训练比较，结果如下：

岭回归VS贝叶斯岭回归VS KRR VS SVR

可以看出来，在没有调参的情况下，岭回归的效果要好于内核岭回归（调参后就说不准了），但是内核岭回归是快于岭回归的。支持向量回归速度最慢，贝叶斯岭回归速度最快，差别较大。

---

参考《Scikit-learn官方API》

如有错误，请指正；如有疑问，请留言。