支持向量回归-SVR

对于一般的回归问题，给定训练样本D={(x₁,y₁),(x₂,y₂),...,(x_n,y_n)},y_i€R,我们希望学习到一个f（x）使得其与y尽可能的接近，w，b是待确定的参数。在这个模型中，只有当f(x)与y完全相同时，损失才为零，而支持向量回归假设我们能容忍的f(x)与y之间最多有ε的偏差，当且仅当f(x)与y的差别绝对值大于ε时，才计算损失，此时相当于以f(x)为中心，构建一个宽度为2ε的间隔带，若训练样本落入此间隔带，则认为是被预测正确的。（间隔带两侧的松弛程度可有所不同）

因此SVR问题可转化为（下式左部是正则化项）：

l为损失函数

因此引入了松弛因子，重写第一个式子为：

最后引入拉格朗日乘子，可得拉格朗日函数：

对四个遍历求偏导，令偏导数为零，可得

把上边的式子带入，即可求得SVR的对偶问题

上边的过程需要满足KKT条件，即

最后，可得SVR的解为

其中b为