SVM算法相关推导[四]——带L1正则项的软间隔SVM

前边我们的假设都是数据完全可分。但是有的时候可能由于数据的问题使得数据并不是完全可分,这时候我们需要对SVM做一点修改,使得它可以接受部分不可分的数据。

我们会在原始问题的后面加一个正则项

SVM算法相关推导[四]——带L1正则项的软间隔SVM_第1张图片

如果

y^{(i)}(w^Tx^{(i)}+b)>0

则分类正确

求解的方法和标准SVM一样,

先根据两个约束写出拉格朗日式子

SVM算法相关推导[四]——带L1正则项的软间隔SVM_第2张图片

对这个式子对各个变量求偏导取0,将得到的式子带入L消去变量,并求对偶问题,最后我们得到的目标是

\begin{align*} \max & W(\alpha)=\max \sum_{i=1}^m\alpha_i-\frac{1}{2}\sum_{i=1}^m \sum_{j=1}^m y^{(i)} y^{(j)} \alpha_i \alpha_j \left \langle x^{(i)}, x^{(j)} \right \rangle \\ &s.t.\ \sum_{i=1}^m y^{(i)}\alpha_i=0,\ 0 \leq \alpha_i \leq c \end{align*}

根据KKT条件我们可以得到

\begin{align*} \alpha_i=0 \Rightarrow y^{(i)}(w^Tx^{(i)}+b) \geq 1\\ \alpha_i=c \Rightarrow y^{(i)}(w^Tx^{(i)}+b) \leq 1\\ 0<\alpha_i <c \Rightarrow y^{(i)}(w^Tx^{(i)}+b) = 1 \end{align*}

 

你可能感兴趣的:(机器学习,SVM)