SVM系列十三讲--支持向量回归机SVR

这样我们可以得到一个带正则项的损失函数：

可以看到，这个误差函数中后面一部分与SVM中的目标函数类似，我们再将二次误差函数替换为⼀个ϵ -不敏感误差函数，于是SVR问题可形式为：

ϵ -不敏感误差函数如下：

通过引入松弛变量的方式，我们可以重新表达最优化问题。对于每个数据点xn，我们现在需要两个松弛变量，如下图所示：

目标点位于上图管道中的条件为：

引入松弛变量之后，在上图中管道上下两侧的点满足的条件为：

这样，支持向量回归机的优化问题可以写为：

同样，使用拉格朗日乘子法将约束条件带入目标函数中：

同样使用SVM中求解对偶问题的思路，可以得到：

使用这些结果消去拉格朗日函数中对应的变量，得到SVR的对偶问题：

这样，得到的SVR回归模型为：