局部加权线性回归(Locally weighted linear regression)

我们先看一组图片：

这是给出一组实数输入$x\in \mathbb{R}$后，对目标函数y的估计。最左边的图用$y={\theta }_0+{\theta }_{1}x$去拟合数据。但我们看到大部分训练样本并不在这条直线上，拟合的效果不好。中间的图改用$y={\theta }_0+{\theta }_{1}x+{\theta }_2{x}^2$来拟合数据情况就好很多了。但我们应当注意添加过多的特征也是很危险的。我们可以看最右边的图，用五阶多项式来拟合数据，拟合出的曲线几乎通过了所有的点。但我们不认为这是个好的估计。左边的情况称为欠拟合，右边的称为过拟合，这个问题在后面的章节会有详述。

通过上面的例子可以看到，输入特征的选择对于拟合结果的表现是影响很大的。而这一节讲的局部加权线性回归算法(LWR)在数据集足够的情况下，能让模型选择问题变得不再那么关键。

在原始的线性回归算法中，当给出一个输入点$x$后，我们会采取以下步骤：

1. 寻找合适的$\theta$值，使${\sum }_i(y^{(i)}-{\theta }^T{x}^{(i)}{)}^2$最小化。
2. 输出 ${\theta }^{T}x$。

而在局部权重线性回归中，步骤会有所调整：

1. 寻找合适的$\theta$值，使${\sum }_i{\omega }^{(i)}(y^{(i)}-{\theta }^T{x}^{(i)}{)}^2$最小化。
2. 输出 ${\theta }^{T}x$。

这里${\omega }^{(i)}$是非负权重值。我们可以很直观的发现，当${\omega }^{(i)}$大的时估计值和真实值之间的偏差就会很关键。对应的当${\omega }^{(i)}$小的时候，偏差就几乎可以忽略了。

而权重的标准形式是：

$${\omega }^{(i)}=\text{exp}\left(-\frac{(x^{(i)}-x{)}^2}{2{\tau }^2}\right)$$

我们注意到权重值${\omega }^{(i)}$是和预测点$x$直接相关的。离$x$越近的点权重越高，越远的点权重越低。而其中参数$\tau$控制了训练样本权重随着距离增大的下降速度，被称为带宽参数。

局部权重线性回归是我们见过的第一个非参数化算法。而前面讨论的线性回归算法则是一个参数化算法。它们之间的区别是，参数化算法需要拟合的参数是固定有限的，当拟合完成后，训练集数据也无需保留。而非参数化算法在拟合完成后，仍需保留训练集样本数据。