SVM松弛变量图解

当样本集处于非线性可分时，需要引入松弛变量，放松线性约束。

 

松弛变量是什么？

松弛变量 ：指出第i个观测的位置、相对于间隔的位置、以及相对于超平面的位置。

，表示第i个样本落在间隔正确的一面；，说明落在错误的一面。

例如，对于图中右下角那个红圈，

 

引入松弛变量是如何处理线性不可分的？

 

先看优化目标（未引入松弛变量）：

s.t  

 

引入松弛变量后的优化目标：

  

s.t  

 

可以把松弛变量理解为：异常点离群距离的大小。例如，如果把右图红圈5当做异常值，那么离群值就大于0，也就是说，，那么

 

变量C用来控制对错误分类的惩罚，C越大，对错误的惩罚越大。换句话说，C越大，对错误分类的要求就越严。（如图所示）

如果考虑极端情况，C取无穷大，那么，问题就无解了。

如果C较小，那么中，增加时（有更多异常点的加入），对的影响就比较小了，那么就能忽略更多的“异常点”，降低模型的方差。

 

以上就是我对软间隔分类中松弛变量的理解，由于昨天刚学习SVM，如果哪里理解有误，还望指正！