【机器学习算法模型】1. SVR模型推导

【机器学习算法模型推导】1. SVR算法介绍与推导

一、SVR算法

SVR做为SVM的分支从而被提出。SVM一般用于二分类问题，而SVR一般应用于数据的拟合。

1.SVR简介

无论SVM还是SVR，都需要建立一个超平面。SVM的目标是令超平面与最近的样本点的距离最大，实现通过超平面分类的目的；而SVR的目标是要使得超平面与最远的样本点的距离最小，从而可以通过利用超平面对数据进行拟合。

2.SVR数学模型

SVR在线性函数两侧制造了一个“间隔带”，对于所有落入到间隔带内的样本，都不计算损失；只有间隔带之外的，才计入损失函数。之后再通过最小化间隔带的宽度与总损失来最优化模型。
由于模型需要放弃一些边缘的点，用于最小化间隔带，
所以引入了松弛变量${\xi }_i$和${\xi }_i^{\ast }$（松弛变量有两个符号，SVM只有1个符号）， 代表上图上边缘点和下边缘点与中间实线的距离（y轴投影距离而不是欧式距离，直接计算点与点在实线上的投影的y轴上的差即可。）：

2.1 SVR目标函数

$$\underset{\omega ,b}{\min }\frac{1}{2}\parallel \omega {\parallel }^2+C\sum _{i=1}^l({\xi }_i+{\xi }_i^{\ast })$$

$$s.t.\{\begin{array}{l}{y}_i-\omega x-b\le ϵ+{\xi }_i\\ \omega x+b-y_i\le ϵ+{\xi }_i^{\ast }\\ {\xi }_i,{\xi }_i^{\ast }\ge 0\end{array}$$

其中，${\xi }_i$和${\xi }_i^{\ast }$的取值为：

$$\{\begin{array}{l}{\xi }_i=y_i-(\omega x+b+ϵ),y_i>\omega x+b+ϵ\\ {\xi }_i=0,otherwise\end{array}$$

$$\{\begin{array}{l}{\xi }_i^{\ast }=(\omega x+b-ϵ)-y_i,y_i<\omega x+b-ϵ\\ {\xi }_i^{\ast }=0,otherwise\end{array}$$

2.2 为了最小化目标函数，根据约束条件，构造拉格朗日函数

$$\begin{array}{l}L=\frac{1}{2}\parallel \omega {\parallel }^2+C{\sum }_{i=1}^l({\xi }_i+{\xi }_i^{\ast })\\ -\sum _{i=1}^l{\alpha }_i(ϵ+{\xi }_i-y_i+\omega x+b)\\ -\sum _{i=1}^l{\alpha }_i^{\ast }(ϵ+{\xi }_i^{\ast }+y_i-\omega x-b)\\ -\sum _{i=1}^l({\eta }_i{\xi }_i+{\eta }_i^{\ast }{\xi }_i^{\ast })\\ s.t.{\alpha }_i,{\alpha }_i^{\ast },{\eta }_i,{\eta }_i^{\ast }\ge 0\end{array}$$

原问题可以化为：
$$\underset{\omega ,b}{\min }\underset{{\alpha }_i^{(\ast )},{\eta }_i^{(\ast )}}{\max }L(\omega ,b,{\xi }_i,{\xi }_i^{\ast },{\alpha }_i,{\alpha }_i^{\ast },{\eta }_i,{\eta }_i^{\ast })$$

2.3 原问题的对偶问题

$$\underset{{\alpha }_i^{(\ast )},{\eta }_i^{(\ast )}}{\max }\underset{\omega ,b}{\min }L(\omega ,b,{\xi }_i,{\xi }_i^{\ast },{\alpha }_i,{\alpha }_i^{\ast },{\eta }_i,{\eta }_i^{\ast })$$

2.4 分别对$\omega ,b,{\xi }_i,{\xi }_i^{\ast }$求偏导，并令偏导为0

$$\{\begin{array}{l}\frac{\partial L}{\partial \omega }=\omega -\sum _{i=1}^l({\alpha }_i^{\ast }-{\alpha }_i)x_i=0\\ \frac{\partial L}{\partial b}=\sum _{i=1}^l({\alpha }_i^{\ast }-{\alpha }_i)=0\\ \frac{\partial L}{\partial {\xi }_i}=C-{\alpha }_i-{\eta }_i\\ \\ \frac{\partial L}{\partial {\xi }_i^{\ast }}=C-{\alpha }_i^{\ast }-{\eta }_i^{\ast }\end{array}$$

2.5 用SMO算法求解SVR

使用SMO算法前，还需将${\alpha }_i,{\alpha }_i^{\ast }$转化为一个参数，因为SMO算法针对的是任意样本$x_i$ 只对应一个参数${\alpha }_i$的情况。

过程采用拉格朗日对偶法，对偶问题有解的充要条件是满足KKT条件，对于SVR的对偶问题，其KKT条件如下：
$$\{\begin{array}{l}{\alpha }_i(ϵ+{\xi }_i-y_i+\omega x+b)=0\\ {\alpha }_i^{\ast }(ϵ+{\xi }_i+y_i-\omega x-b)=0\\ (C-{\alpha }_i){\xi }_i=0\\ (C-{\alpha }_i^{\ast }){\xi }_i^{\ast }=0\\ {\alpha }_i{\alpha }_i^{\ast }=0\\ {\xi }_i{\xi }_i^{\ast }=0\end{array}$$

设${\lambda }_i={\alpha }_i-{\alpha }_i^{\ast }$。由KKT条件，${\alpha }_i,{\alpha }_i^{\ast }$至少有一个为0。所以$|{\lambda }_i|={\alpha }_i+{\alpha }_i^{\ast }$。代入对偶问题，则有(先用求导结果替换$\omega$)：
$$\begin{array}{l}\underset{\lambda }{\min }[\sum _{i=1}^l{y}_i{\lambda }_i+ϵ|{\lambda }_i|+\frac{1}{2}\sum _{i=1}^l\sum _{j=1}^l{\lambda }_i{\lambda }_j{x}_i^T{x}_i]\\ s.t.\{\begin{array}{l}\sum _{i=1}^l{\lambda }_i=0\\ -C\le {\lambda }_i\le C\end{array}\end{array}$$
最后再参考SMO算法，求出回归模型系数$\omega ,b$