手推支持向量机04-软间隔SVM-模型定义

目录

1.写在前面

2.软间隔SVM（soft-margin SVM）

---

1.写在前面

        前面我们重点介绍了硬间隔SVM，其中涉及到了拉格朗日乘子法，对偶，强对偶关系，原问题和对偶问题，并且利用KKT条件找到最佳超平面。这篇文章将重点介绍软间隔SVM（soft-margin SVM）。

2.软间隔SVM（soft-margin SVM）

        我们使用硬间隔SVM的时候，认为数据是非常离散的，本身就是可分的。现实生活中数据有可能是不可分的，或者可分但是数据中存在大量的噪声，如果这个时候使用硬间隔SVM效果将会变得很差。所以我们可以引入软间隔SVM，思想就是允许一点点错误的存在。这个错误我们使用loss函数表达，下图（1）中loss可以表示为犯错误点的个数，这个就是对该思想的一个数学表示，但是我们前面知道，loss函数中后面那一堆是不连续的。我们可以令这一堆为Z，Z是不连续的，当Z<1的时候，loss为1，其他情况下loss为0，这个函数是一个跳跃函数，是不连续的，因此我们不采取这种情况。

        （2）第二种情况我们用距离衡量loss（也叫hinge loss合页损失），有点relu的感觉。我们同样令上面那堆为Z，可以得到：

        最后我们的函数可以写成：（这个式子就可以表示软间隔SVM模型），C是一个超参数。

        但是往往写的时候，我们并不建议这么书写，我们会引入一个变量 ξi ,并且令， 所以 ξi一定是≥0的。式子就可以演变成为：（红框里面也是我们软间隔SVM最常写的一个形式）