线性回归——局部加权回归

有时候样本的波动很明显,可以采用局部加权回归,如下图,红色的线为局部加权回归的结果,

蓝色的线为普通的多项式回归的结果。蓝色的线有一些欠拟合了。

多项式回归——多一些 高次项的回归

线性回归——局部加权回归_第1张图片局部加权回归的方法如下,首先看线性或多项式回归的损失函数 线性回归——局部加权回归_第2张图片

很明显,局部加权回归在每一次预测新样本时都会重新确定参数,以达到更好的预测效果。当数据规模比较大的时候计算量很大,学习效率很低。并且局部加权回归也不是一定就是避免underfitting,因为那些波动的样本可能是异常值或者数据噪声。

 

多项式曲线拟合 - 知乎
https://zhuanlan.zhihu.com/p/53056358

你可能感兴趣的:(机器学习)