13 SVM - SVR（回归问题的SVM）

12 SVM - SMO - 初始β变量的选择、总结

十七、SVR 回归问题的SVM

SVM和决策树一样，可以将模型直接应用到回归问题中；在SVM的分类模型(SVC)中，目标函数和限制条件如下：

SVM软间隔的损失函数

在简单的线性回归当中，我们最小化一个正则化的误差函数：

二次误差函数

为了得到稀疏解，二次误差函数被替换为一个 ε-不敏感误差函数（ε-insensitive error function)。
如果预测值h_θ(x⁽ⁱ⁾) 与实际值y⁽ⁱ⁾之间的差小于ε，这个误差函数给出的误差为0，ε-不敏感误差函数可以写为如下形式：

解释: 如果 |真实值-预测值| 的误差在一个区域内(ε) ，则认为没有误差。即当前预测损失值为0；

ε-不敏感误差函数

在不敏感区域之外，会有一个与误差相关的线性代价：
红色图像 是ε-不敏感误差函数，斜率=正负1；
绿色图像 是最小二乘法损失函数，即误差的平方和函数；

损失函数

于是我们最小化正则化的误差函数，写为一般形式：

最小化正则化的误差函数

与SVM中的软间隔一样，通过引入松弛变量的方式，我们可以重新表达最优化问题。

对于每个数据点xⁱ ，我们现在需要两个松弛变量ζ_i≥0 和ζ^_i≥0 ，其中：
ζ_i＞0 对应于 yⁱ > h_θ(x⁽ⁱ⁾) + ε 的数据点；
ζ^_i＞0 对应于 yⁱ < h_θ(x⁽ⁱ⁾) - ε 的数据点；
目标点位于h_θ(x⁽ⁱ⁾) - ε ≤ yⁱ ≤ h_θ(x⁽ⁱ⁾) + ε 管道内的条件是，只要松弛变量不为0即可。

对应的条件变为了：

这样，SVR回归的误差函数就可以写成：

SVR回归的损失函数

通过几何意义来帮助理解上述概念：
1、预测值 h_θ(x⁽ⁱ⁾)是红色的线，粉红色的区域是由不敏感误差ε构成的缓冲区。我们认为当预测值蓝点落在不敏感误差ε构成的粉色缓冲区时，没有损失。
2、松弛变量ζ是预测值到缓冲区域上边界的距离，松弛变量ζ^是预测值到缓冲区域下边界的距离。
3、我们希望预测值落在缓冲区内部(即上面说的管道)，这样损失为0。
4、如果不敏感误差ε=0，那么缓冲区就只有 h_θ(x⁽ⁱ⁾)这条红线了，ε=0表示不允许预测存在错误的缓冲区。