soft-margin SVM

本篇文章讨论如何防止SVM的过拟合：kernel function参数的选取（转化函数太复杂）和资料完全separable的要求将会导致过拟合！
一、primal soft-margin SVM

也许资料中含有Noise，资料本身就不是separable的，利用pocket演算法的思路，对于不完全可分的资料，我们只希望在学得的hypothesis上，资料犯的错误越少越好，因此可得到新的优化目标函数。由于目标函数中含有bool运算，我们无法使用QP来求解w，因此我们需要对表达式作进一步处理。

引入新的变量来表示在margin内的样本点到margin的距离，因此，我们的优化方程又变为可使用QP解决的二次规划问题，此时变量为d+1+N，限制为2N。C可以帮助我们选择最终学得hypothesis更具备 fat margin 的 特性还是margin内样本个数少的特性。

二、soft -margin dual SVM
转化为dual SVM ，同样利用lagrange multiplier构造新的目标函数，得到max min lagrange ，对lagrange里变量求导，得到约束，将约束代入lagrange function和作为约束条件，当对ζ求导后，将得到的限制条件代入原目标方程后，方程竟然变为dual SVM 表达，但是这里α多了一个上限：

三、soft-margin kernel SVM
由于限制条件不同了，w的计算与dual SVM相同，但是b的计算发生变化：
与dual SVM求解b类似，利用α>0的条件可得到 关于b的表达，但是此时表达中多了ζ，我们希望ζ能为0，此时利用限制条件当α

对于soft -margin guassian model ，不只是kernel function中的参数影响着泛化能力，C的选取也至关重要，因此，对于soft -margin guassian model 又多一个考量指标。

与hard margin kernel SVM不同 ，soft margin 对于α的分类为：non-sv、free-sv、bounded-sv （没有了support vector），利用free-sv确定hypothesis（w和b），而bounded-sv对α学习有着影响。

四、借助validation选取model
对于soft - margin guassian model ，需要考虑γ和C两个参数，利用v-fold validation 可以帮助我们选择合适的参数。

在 SVM上使用leave one out validation有一个很好地性质：support vector比例是在测试样本上错误率的上限。利用这个性质可以帮助我们快速的剔除一些很不好的model！由于只是上限（上限小，不一定错误率小），因此无法仅仅使用这个方法来选出最终的model，还是需要利用cross validation！