机器学习 - 损失函数和支持向量机SVM

本文主要对机器学习的损失函数和SVM的原理以及相应的数学知识进行介绍

回归

一般来说，回归问题的 loss function 取决于 residual $y-\hat{y}$，说明我们比较关心预测值$\hat{y}$与实际值$y$之间的绝对差距。但是如果我们比较关心预测值$\hat{y}$是实际值$y$的几倍的时候，可以将$y$做 log transform，然后就可以回到我们熟悉的残差版本。

常见的 loss function 有

• $l_{2}loss=(y-\hat{y}{)}^2$
• $l_{1}loss=|y-\hat{y}|$
• $Huberloss=\{\begin{array}{r}quadratic,|y=\hat{y}|\le \delta \\ linear,|y=\hat{y}|>\delta \end{array}$

$l2loss$对noise不够robust，$l1loss$在$x=0$不可导，所以$Huberloss$对两者进行了综合。

分类

二分类

$y\in \{-1,1\}$

• $0-1loss=1(y_{i}f(x_i)\le 0)$
• $hingeloss=max\{1-y_{i}f(x_i),0\}$
• $logisticloss=log(1+e^{-y_{i}f(x_i)})$

Convex

• Convex Sets : 对于$x_1,x_2\in C$，对于任何$\theta$满足$0\le \theta \le 1$，都有$\theta x_1+(1-\theta )x_2\in C$，称这样的集合$C$为凸集合，即对于集合中任意两点的连线，线上任意一点都还在集合中。
• Convex Functions：如果$f$定义在凸集合上，并且对于$f$定义域内的所有$x,y$，当$0\le \theta \le 1$时，有$f(\theta x+(1-\theta )y)\le \theta f(x)+(1-\theta )f(y)$，称这样的$f$为凸函数。当严格$<$时，称$f$为strictly convex。

General Optimization Problem

$$\begin{gathered} minimize{f}_0(x) \\ subjectto{f}_i(x)\le 0,i=1,2,...,m \\ {h}_i(x)=0,i=1,2,...,p \end{gathered}$$

Lagrangian Duality

对于如下优化问题，

$$\begin{gathered} minimize{f}_0(x) \\ subjectto{f}_i(x)\le 0,i=1,2,...,m \end{gathered}$$

Lagrangian是 $L(x,\lambda )=f_0(x)+{\Sigma }_{i=1}^m{\lambda }_i{f}_i(x)$

${\lambda }_i$被叫做Lagrange multipliers ( 也叫做 dual variables )

如果${\lambda }_i\ge 0$，当$x$满足约束条件的时候，$maxL(x,\lambda )=f_0(x)$；当$x$不满足约束条件的时候，$maxL(x,\lambda )=+\infty$。

所以对于原问题( primal )，我们想$mi{n}_x{f}_0(x)$，相当于$$mi{n}_{x}ma{x}_{{\lambda }_i\ge 0}L(x,\lambda )$$

上面这个问题的对偶问题( dual )是$$ma{x}_{{\lambda }_i\ge 0}mi{n}_{x}L(x,\lambda )$$,$g(\lambda )=mi{n}_{x}L(x,\lambda )$叫做Lagrange dual function。

而对于所有优化问题，对偶问题的解$\le$原问题的解，简单证明如下，$$\begin{gathered} forany{x}^0\in Xand{\lambda }^0\in \Lambda \\ mi{n}_{x}L(x,{\lambda }^0)\le L(x^0,{\lambda }^0)\le ma{x}_{\lambda }L(x^0,\lambda ) \\ becausetheaboveequationistrueforall{x}^{0}and{\lambda }^0 \\ soma{x}_{\lambda }mi{n}_{x}L(x,\lambda )\le mi{n}_{x}ma{x}_{\lambda }L(x,\lambda ) \end{gathered}$$
对于强对偶问题，对偶问题的解$=$原问题的解，SVM恰好就是强对偶的情况，所以我们可以通过解对偶问题得到原问题的解。

而我们之所以要引入对偶问题的原因一般在于对偶问题相对于原问题更加好解。

Convex Optimization

standard form

$$\begin{gathered} minimize{f}_0(x) \\ subjectto{f}_i(x)\le 0,i=1,2,...,m \\ {f}_i(x)isconvexfunction \end{gathered}$$

而对于Convex Optimization的情况，一般都存在强对偶的性质。

Complementary Slackness

对于一个一般的优化问题，这个问题具有强对偶的性质，第$i$个最优拉格朗日乘子${\lambda }_i^{\ast }$，与在最优解$x^{\ast }$处的第$i$个约束问题$f_i(x^{\ast })$的值乘积为0，即$${\lambda }_i^{\ast }{f}_i(x^{\ast })=0$$，这个性质叫做Complementary Slackness。

证明如下，因为强对偶性，原问题与对偶问题有相同的解，所以

$$\begin{gathered} f_0(x^{\ast })=g({\lambda }^{\ast })=mi{n}_x(f_0(x)+{\Sigma }_{i=1}^m{\lambda }_i^{\ast }{f}_i(x))\le \\ {f}_0(x^{\ast })+{\Sigma }_{i=1}^m{\lambda }_i^{\ast }{f}_i(x^{\ast })\le f_0(x^{\ast }) \end{gathered}$$

SVM

$$mi{n}_{w,b}\frac{1}{2}||w|{|}^2+\frac{c}{n}{\Sigma }_{i=1}^{n}max\{1-y_i(w^T{x}_i+b),0\}$$

前面一项是 L2正则化，后面一项是 Empirical Risk。但是由于上述 loss function 在某些点不可导，所以转换为如下形式

$$\begin{gathered} mi{n}_{w,b}\frac{1}{2}||w|{|}^2+\frac{c}{n}{\Sigma }_{i=1}^n{\xi }_i \\ s.t.-{\xi }_i\le 0 \\ 1-y_i(w^T{x}_i+b)-{\xi }_i\le 0 \end{gathered}$$

根据之前所述的拉格朗日乘子法，
$$\begin{gathered} L(w,b,\xi ,\alpha ,\lambda )=\frac{1}{2}||w|{|}^2+\frac{c}{n}{\Sigma }_{i=1}^n{\xi }_i+ \\ {\Sigma }_{i=1}^n{\alpha }_i(1-y_i(w^T{x}_i+b)-{\xi }_i)+{\Sigma }_{i=1}^n{\lambda }_i(-{\xi }_i) \end{gathered}$$

整理得到，
$$\begin{gathered} L(w,b,\xi ,\alpha ,\lambda )=\frac{1}{2}||w|{|}^2+{\Sigma }_{i=1}^n{\xi }_i(\frac{c}{n}-{\lambda }_i-{\alpha }_i)+ \\ {\Sigma }_{i=1}^n{\alpha }_i(1-y_i(w^T{x}_i+b)) \end{gathered}$$

所以原问题为$$mi{n}_{w,b,\xi }ma{x}_{\alpha ,\lambda \ge 0}L(w,b,\xi ,\alpha ,\lambda )$$，对偶问题为$$ma{x}_{\alpha ,\lambda \ge 0}mi{n}_{w,b,\xi }L(w,b,\xi ,\alpha ,\lambda )$$

因为SVM为强对偶的情况，所以原问题的解与对偶问题的解相同。

Lagrange dual function $g(\alpha ,\lambda )=mi{n}_{w,b,\xi }L(w,b,\xi ,\alpha ,\lambda )$，因为要求最值，并且$L$对$w,b,\xi$为凸且可导的，所以分别对$w,b,\xi$求导，令导数为0即可。

$\frac{\partial L}{\partial w}=0$可得$w={\Sigma }_{i=1}^n{\alpha }_i{y}_i{x}_i$

$\frac{\partial L}{\partial b}=0$可得${\Sigma }_{i=1}^n{\alpha }_i{y}_i=0$

$\frac{\partial L}{\partial {\xi }_i}=0$可得${\alpha }_i+{\lambda }_i=\frac{c}{n}$

带入$L$，得到$$g(\alpha ,\lambda )={\Sigma }_{i=1}^n{\alpha }_i-\frac{1}{2}{\Sigma }_{i,j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_j^T{x}_i$$

此时，我们的对偶问题已经解决了一半，另一半是$$\begin{gathered} ma{x}_{\alpha ,\lambda \ge 0}g(\alpha ,\lambda ) \\ s.t.{\Sigma }_{i=1}^n{\alpha }_i{y}_i=0,{\alpha }_i+{\lambda }_i=\frac{c}{n},{\alpha }_i,{\lambda }_i\ge 0 \end{gathered}$$

可以通过SMO方法求解。

如果对偶问题的解为${\alpha }^{\ast }$，则原问题的解为$w^{\ast }={\Sigma }_{i=1}^n{\alpha }_i^{\ast }{y}_i{x}_i$，即$w^{\ast }$是$x_i$的线性组合。对应${\alpha }_i^{\ast }\ne 0$的$x_i$，为 Support Vector。

根据之前介绍的 Complementary Slackness，

${\alpha }_i^{\ast }(1-y_i(w^{\ast T}{x}_i+b^{\ast })-{\xi }_i^{\ast })=0$
${\lambda }_i({\xi }_i^{\ast })=(\frac{c}{n}-{\alpha }_i^{\ast }){\xi }_i^{\ast }=0$

所以，如果$y_i(w^{\ast T}{x}_i+b^{\ast })>1$，${\xi }_i^{\ast }=0$，${\alpha }_i^{\ast }=0$；如果$y_i(w^{\ast T}{x}_i+b^{\ast })<1$，${\xi }_i^{\ast }\ne 0$，${\alpha }_i^{\ast }=\frac{c}{n}$；如果$y_i(w^{\ast T}{x}_i+b^{\ast })=1$，${\alpha }_i^{\ast }\in [0,\frac{c}{n}]$。

所以，Support Vector对应$y_i(w^{\ast T}{x}_i+b^{\ast })\le 1$的样本。

在我们得到$w^{\ast }$之后，如何得到$b^{\ast }$呢？

对于${\alpha }_i^{\ast }\in (0,\frac{c}{n})$的点，$y_i(w^{\ast T}{x}_i+b^{\ast })=1$，即$$b^{\ast }=y_i-w^{\ast T}{x}_i$$，对于每一个点求出的$b$平均数，得到$b^{\ast }$。

到此为止，完成了 Linear SVM 的推导过程。

参考资料：NYU《Machine Learning》