局部加权回归、欠拟合、过拟合(Locally Weighted Linear Regression、Underfitting、Overfitting)

转载请注明出自BYRans博客:http://www.cnblogs.com/BYRans/

 

 

     本文主要讲解局部加权(线性)回归。在讲解局部加权线性回归之前,先讲解两个概念:欠拟合、过拟合,由此引出局部加权线性回归算法。

 

欠拟合、过拟合

    如下图中三个拟合模型。第一个是一个线性模型,对训练数据拟合不够好,损失函数取值较大。如图中第二个模型,如果我们在线性模型上加一个新特征项,拟合结果就会好一些。图中第三个是一个包含5阶多项式的模型,对训练数据几乎完美拟合。

局部加权回归、欠拟合、过拟合(Locally Weighted Linear Regression、Underfitting、Overfitting)_第1张图片

    模型一没有很好的拟合训练数据,在训练数据以及在测试数据上都存在较大误差,这种情况称之为欠拟合(underfitting)

    模型三对训练数据拟合的很不错,但是在测试数据上的准确度并不理想。这种对训练数据拟合较好,而在测试数据上准确度较低的情况称之为过拟合(overfitting)

 

局部加权线性回归(Locally weighted linear regression,LWR)

    从上面欠拟合和过拟合的例子中我们可以体会到,在回归预测模型中,预测模型的准确度特别依赖于特征的选择。特征选择不合适,往往会导致预测结果的天壤之别。局部加权线性回归很好的解决了这个问题,它的预测性能不太依赖于选择的特征,又能很好的避免欠拟合和过拟合的风险。

    在理解局部加权线性回归前,先回忆一下线性回归。线性回归的损失函数把训练数据中的样本看做是平等的,并没有权重的概念。线性回归的详细请参考《线性回归、梯度下降》,它的主要思想为:

   

    而局部加权线性回归,在构造损失函数时加入了权重w,对距离预测点较近的训练样本给以较高的权重,距离预测点较远的训练样本给以较小的权重。权重的取值范围是(0,1)。

    局部加权线性回归的主要思想是:

    其中假设权重符合公式

    公式中权重大小取决于预测点x与训练样本的距离。如果|- x|较小,那么取值接近于1,反之接近0。参数τ称为bandwidth,用于控制权重的变化幅度。

    局部加权线性回归优点是不太依赖特征选择,而且只需要用线性模型就训练出不错的拟合模型。

    但是由于局部加权线性回归是一个非参数学习算法,损失数随着预测值的不同而不同,这样θ无法事先确定,每次预测时都需要扫描所有数据重新计算θ,所以计算量比较大。

你可能感兴趣的:(局部加权回归、欠拟合、过拟合(Locally Weighted Linear Regression、Underfitting、Overfitting))