LR vs LWLR

作者：金良（[email protected]） csdn博客： http://blog.csdn.net/u012176591

有 N 个带标签数据集 (xi,yi),i=1,2,⋯,N ，其中 yi 是数值型数据， xi 是 M 维列向量。我们假设数据 xi 与 yi 满足线性关系，即

yi=xTiw

其中 w 与 xi 一样都是 M 维列向量。
找到最优的 w ，就是回归要解决的问题。

LR

即 Linear Regression(线性回归) ，也称为普通最小二乘回归(Ordinary Least Squares，OLS)以平方误差

∑i=1N(yi−xTiw)2

作为优化目标函数，其中向量 w 作为优化参数。

优化目标函数的矩阵形式为：

L=(Y−Xw)T(Y−Xw)

可知 Y 为 N 维列向量， X 为 N×M 的矩阵。

对 L 关于 w 求导，得

∂L∂w=−2XT(Y−Xw)

令导数为 0 解得 w :

w=(XTX)−1XTY

LWLR

即 Locally Weighted Linear Regression(局部加权线性回归)。
其优化目标函数是

L=(Y−Xw)TD(Y−Xw)

其中 D 是 N×N 的对称矩阵，其元素值 d(i,j) 表示数据 xi 与 xj 的某种关系的度量。

对 L 关于 w 求导，得

∂L∂w=−2XTD(Y−Xw)

令导数为 0 解得 w :

w=(XTDX)−1XTDY

d(i,j) 的函数称为“核”，核的类型可以自由选择，最常用的是高斯核：

d(i,j)=exp(||xi−xj||1−2k2)

观察上式可得： d(i,j) 与 xi 、 xj 的 L1 范数呈负相关， L1 范数越大，值越小；与 |k| 呈正相关。

当 |k| 取一个很小的值时， d(i,j) 的值随 ||xi−xj||1 的增加衰减速度极快，这时矩阵 D 非对角线上的元素都为0，对角线上元素值都为 1 ，退化为普通的LR。由此可知，LWLR是LR的推广形式。