线性支持向量机-合页损失函数(Hinge Loss)

  线性支持向量机学习有另一种解释，那就是最小化以下目标函数：
$$\sum _{i=1}^N[1-y_i(w\cdot x_i+b){]}_{+}+\lambda ||w|{|}^2$$
目标函数得第一项是经验损失函数或者经验风险，函数$L(y(w\cdot x+b))=[1-y(w\cdot x+b){]}_{+}$称为合页损失函数。下标+表示以下取正值得函数。
$$[z{]}_{+}=\{\begin{array}{ll}z,& z>0\\ 0,& z\le 0\end{array}$$
目标函数第二项是系数为$\lambda$的$w$的$L_2$范数，是正则化项。

定理证明

线性支持向量机原始最优化问题:
$$\underset{w,b,\xi }{\min }\frac{1}{2}||w|{|}^2+C\sum _{i=1}^N{\xi }_i\text{\hspace{1em}(1)}$$
$$s.t.y_i(w\cdot x_i+b)\ge 1-{\xi }_i,i=1,2,\dots ,N\text{\hspace{1em}(2)}$$
$${\xi }_i\ge 0,i=1,2,\dots ,N\text{\hspace{1em}(3)}$$
等价于最优化问题$$\underset{w,b}{\min }\sum _{i=1}^N[1-y_i(w\cdot x_i+b){]}_{+}+\lambda ||w|{|}^2\text{\hspace{1em}(4)}$$

证明:
令$[1-y_i(w\cdot x_i+b){]}_{+}={\xi }_i$，则${\xi }_i\ge 0$，式（2）成立。
当$1-y_i(w\cdot x_i+b)>0$时，有$1-y_i(w\cdot x_i+b)={\xi }_i$，$y_i(w\cdot x_i+b)=1-{\xi }_i$；当$1-y_i(w\cdot x_i+b)\le 0$时，有${\xi }_i=0$，$y_i(w\cdot x_i+b)\ge 1-{\xi }_i$，故（3）式成立。
于是$w,b,\xi$ 满足约束条件（2）（3），所以最优化问题（4）可以写成$$\underset{w,b}{\min }\sum _{i=1}^N{\xi }_i+\lambda ||w|{|}^2$$,若取$C\cdot 2\lambda =1$,则$$\underset{w,b}{\min }\frac{1}{C}(\frac{1}{2}||w|{|}^2+C\sum _{i=1}^N{\xi }_i)$$