回归模型的类型

参数回归

用参数来表示回归模型。如线性、多项式回归都是这一类。

image.png

非参数回归

也叫 data-centric、 instance-based learning 其实就是我之前接触的 lazy learning
例如 KNN模型，可以看到KNN不仅可以用来实现分类，也可用于回归。
其实这种思想，我在boston housing predition预测的项目中已经使用过-如何评判我们的预测是否标准？我通过检索给定房子与已知训练集中相似属性的房子的价格，来判断预测的价格是否合理，这不就是雷同的思想嘛！

可以在数据分布的任何区域都可以拟合的很好，例如下图：

image.png

kernel regression 核回归

核回归也是非参数回归的一种，与KNN的区别在于，KNN在给所有查询数据赋予相同的权重，而核回归会计算不同训练样本与预测样本的距离，根据此距离为不同训练样本赋予不同的权重。

选择何种回归模型？

1. 参数回归。
   1.1 有精确的数学表达式，可以较精确的进行建模，精确fit特定形状的分布。结合加农炮的例子理解。
   1.2 参数回归存在bias，也就是我们提前对模型的形状有一个主观的偏见（bias），这种情况下我们可以利用bias选择参数模型！
2. 非参数回归。 一种模糊的猜测，更适合用此类模型，此类模型可以fit任何形状的数据分布。结合蜂群寻食的例子理解。

优缺点比较

参数模型

优点：不需要保存数据，节省空间，查询速度快。
缺点：无法简单有效地进行在线学习，一般都是重新训练，且训练速度慢。

非参数模型

优点：
不需要保存参数，可以随时增加数据，也就是训练速度快（其实可以说不存在训练）。
因为不存在对模型的bias，因此不必预估模型是线性还是二次或三次的形式，故此类模型对复杂问题的建模较为合适。
缺点：
查询速度慢，尤其是储存数据量极大的情况下。

image.png