支持向量回归

支持向量回归

现在我们来考虑支持向量机得回归问题

对于样本$(\mathbf{x},y)$，传统的回归模型通常直接基于输出$f(\mathbf{x})$与真实输出$y$之间的差别来计算损失，当且仅当$f(\mathbf{x})$和$y$完全相同时，损失才为零。于此不同，支持向量回归(SVR)假设我们能容忍$f(\mathbf{x})$和$y$之间最多有$ϵ$的偏差，即仅当$f(\mathbf{x})$和$y$之间的差别绝对值大于$ϵ$时才计算损失。

• 于是$SVR$问题可形式化为
  $$\underset{\mathbf{w},b}{\min }\frac{1}{2}||\mathbf{w}|{|}^2+C\sum _{i=1}^m{\ell }_{ϵ}(f({\mathbf{x}}_{\mathbf{i}})-y_i)$$

其中$C$为正则化常数，${\ell }_{ϵ}$是$ϵ$-不敏感损失函数。
$${\ell }_{ϵ}(z)=\{\begin{array}{ll}0,& if|z|\le ϵ\\ |z|-ϵ,& otherwise\end{array}$$

• 引入松弛变量${\xi }_i$和${\xi }_i$，式子重写为：
  $$\begin{gathered} \underset{\mathbf{w},b,{\xi }_i,{\xi }_i}{\min }\frac{1}{2}||\mathbf{w}|{|}^2+C\sum _{i=1}^m({\xi }_i+{\xi }_i) \\ s.t.f({\mathbf{x}}_{\mathbf{i}})-y_i\le ϵ+{\xi }_i, \\ {y}_i-f({\mathbf{x}}_{\mathbf{i}})\le ϵ+{\xi }_i, \\ {\xi }_i\ge 0,{\xi }_i\ge 0,i=1,2,...,m. \end{gathered}$$

$ϵ$-不敏感损失函数

• 拉格朗日函数为：
  $$\begin{gathered} L(\mathbf{w},b,\mathbf{\alpha },\mathbf{\alpha },\mathbf{\xi },\mathbf{\xi },\mathbf{\mu },\mathbf{\mu }) \\ =\frac{1}{2}||\mathbf{w}|{|}^2+C\sum _{i=1}^m({\xi }_i+{\xi }_i)-\sum _{i=1}^m{\mu }_i{\xi }_i-\sum _{i=1}^m{\mu }_i{\xi }_i \\ +\sum _{i=1}^m{\alpha }_i(f({\mathbf{x}}_i)-y_i-ϵ-{\xi }_i)+\sum _{i=1}^m{\alpha }_i(y_i-f({\mathbf{x}}_i)-ϵ-{\xi }_i) \end{gathered}$$
• 对$\mathbf{w},b,{\xi }_i,{\xi }_i$的偏导为零，可得
  $$\begin{gathered} \mathbf{w}=\sum _{i=1}^m({\alpha }_i-{\alpha }_i){\mathbf{x}}_{\mathbf{i}}, \\ 0=\sum _{i=1}^m({\alpha }_i-{\alpha }_i), \\ C={\alpha }_i+{\mu }_i, \\ C={\alpha }_i+{\mu }_i \end{gathered}$$
• 带入上式得：
  $$\begin{gathered} \underset{\mathbf{\alpha },\mathbf{\alpha }}{\max }\sum _{i=1}^m{y}_i({\alpha }_i-{\alpha }_i)-ϵ({\alpha }_i+{\alpha }_i) \\ -\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m({\alpha }_i-{\alpha }_i)({\alpha }_j-{\alpha }_j){\mathbf{x}}_i^T{\mathbf{x}}_j \\ s.t.\sum _{i=1}^m({\alpha }_i-{\alpha }_i)=0, \\ 0\le {\alpha }_i,{\alpha }_i\le C. \end{gathered}$$
• 上式过程中需要满足KKT条件，即要求
  $$\{\begin{array}{l}{\alpha }_i(f({\mathbf{x}}_i)-y_i-ϵ-{\xi }_i)=0\\ {\alpha }_i(y_i-f({\mathbf{x}}_i)-ϵ-{\xi }_i)=0\\ {\alpha }_i{\alpha }_i=0\\ {\xi }_i{\xi }_i=0\\ (C-{\alpha }_i){\xi }_i=0\\ (C-{\alpha }_i){\xi }_i=0\end{array}$$

当$f({\mathbf{x}}_i)-y_i-ϵ-{\xi }_i=0$时${\alpha }_i$能取非零值，当且仅当$f({\mathbf{x}}_i)-y_i-ϵ-{\xi }_i=0$时${\alpha }_i$能取非零值，换言之，仅当样本 $({\mathbf{x}}_i,y_i)$不落入$ϵ$-间隔带中，相应得${\alpha }_i,{\alpha }_i$才能取非零值，此外约束$f({\mathbf{x}}_i)-y_i-ϵ-{\xi }_i=0$和$y_i-f({\mathbf{x}}_i)-ϵ-{\xi }_i=0$不能同时成立，因此${\alpha }_i,{\alpha }_i$中至少有一个为零。

• $SVR$的解形如：
  $$f(\mathbf{x})=\sum _{i=1}^m({\alpha }_i-{\alpha }_i){\mathbf{x}}_i^T{\mathbf{x}}_i+b$$

落在$ϵ$-间隔带中的样本都满足${\alpha }_i=0且{\alpha }_i=0$，使$({\alpha }_i-{\alpha }_i)̸=0$的样本即为$SVR$的支持向量，他们必定落在$ϵ$-间隔带外。

• 对于，每个样本$({\mathbf{x}}_{\mathbf{i}},y_i)$都有$(C-{\alpha }_i){\xi }_i=0且{\alpha }_i(f({\mathbf{x}}_i)-y_i-ϵ-{\xi }_i)=0$，于是在得到${\alpha }_i$后$0<{\alpha }_i<C$，则必有${\xi }_i=0$，进而有：
  $$b=y_i+ϵ-\sum _{i=1}^m({\alpha }_i-{\alpha }_i){\mathbf{x}}_i^T{\mathbf{x}}_i+b$$

可以选取多个满足条件$0<{\alpha }_i<C$的样本求解$b$后取平均值。

• 考虑映射形式：
  $$\mathbf{\omega }=\sum _{i=1}^m({\alpha }_i-{\alpha }_i)\varphi ({\mathbf{x}}_{\mathbf{i}})$$
• 然后$SVR$可表示为：
  $$f(\mathbf{x})=\sum _{i=1}^m({\alpha }_i-{\alpha }_i)k(\mathbf{x},{\mathbf{x}}_{\mathbf{i}})+b$$

$k(\mathbf{x},{\mathbf{x}}_{\mathbf{i}})=\varphi ({\mathbf{x}}_{\mathbf{i}}{)}^T\varphi ({\mathbf{x}}_{\mathbf{i}})$