支持向量机回归——vincen的学习笔记

1 前言

胡浩基老师的机器学习课程作业

与$SVM$推导类似，下面推导需要承认一个结论：

对于下述优化问题
$$\underset{\omega }{\min }f(\omega )$$
$s.t$
$$①g_i(\omega )⩽0(i=1,\cdots ,k)$$
$$②h_i(\omega )=0(i=1,\cdots ,l)$$
若$f(\omega )$为凸函数,且$g_i(\omega )$,$h_j(\omega )$是关于$\omega$的线性函数($i=1,\cdots ,k;j=1,\cdots ,l$),原问题与其对偶问题等价。

下面的博客可以帮助简单了解何为原问题，对偶问题，$KKT$条件。

拉格朗日对偶性(Lagrange duality)

看之前最好重温下数学分析中的隐函数存在定理与$Lagrange$乘子法。

下推导参考周志华老师的《机器学习》一书。

2 支持向量机回归

首先明确目标

输入:训练样本集$X={(x_i,y_i)}_{i=1\sim N},y_i\in R$

欲得到形式为$f(x)={\omega }^T\varphi (x)+b$的回归模型

假设我们能容忍$f(x)$与真实标签值$y$之间最多有$ϵ$的偏差，即仅当$f(x)$与$y$之间的差别绝对值大于$ϵ$时才计算损失。

我把西瓜书的图放上来帮助理解

在特征只有一维的情况下，

• 图中的圆点代表训练样本，对每一个训练样本而言，作$x$轴垂线，垂线与红线相交点的$y$值即为模型对该样本标签的预测值。
• 对红线上的每一个点，分别上下平移$ϵ$所构成的两条虚线称为间隔带。
• 于是，所有$f(x)$与$y$之间的差别绝对值小于$ϵ$的点一定会落到图中长度为$2ϵ$的间隔带中，这部分点不需要计算误差。
• 要注意区分$ϵ$与$SVM$中的函数间隔，虚线与红线的距离大部分情形下并非$ϵ$。

于是$SVR$模型可以表述如下

$$\underset{(\omega ,b,\xi ,\widehat{{\xi }_i})}{\min }\frac{1}{2}\Vert \omega {\Vert }^2+C\sum _{i=1}^N({\xi }_i+\widehat{{\xi }_i})$$
$s.t$
$$①f(x_i)-y_i⩽ϵ+{\xi }_i$$
$$②y_i-f(x_i)⩽ϵ+\widehat{{\xi }_i}$$
$$③{\xi }_i,\widehat{{\xi }_i}⩾0$$
对于红线上方的训练样本$x_i$，明显有$\widehat{{\xi }_i}=0$,红线下方的训练样本$x_j$，则有${\xi }_i=0$

也许你会问为什么不利用一个松弛变量来描述上面的优化问题，比如下面这种样子
$$\mid f(x_i)-y_i\mid ⩽ϵ+{\xi }_i$$
的确上下两种描述是等价的，但是后续中我们对该优化问题的求解思路与$SVM$是相同的，即将原问题转化为对偶问题(这样才能从形式看到核函数那个美丽的巧合)，第二种形式的描述很明显与原问题的形式还是有一定的偏差的。

解释完了上面的符号含义问题，来说说让我理解过程中最为困惑的一件事，
我们来看目标函数的形式
$$\underset{(\omega ,b,\xi ,\widehat{{\xi }_i})}{\min }\frac{1}{2}\Vert \omega {\Vert }^2+C\sum _{i=1}^N({\xi }_i+\widehat{{\xi }_i})$$
这与$SVM$的软间隔形式几乎相同，但我们需要强调:原始的$SVM$是用来解决分类问题的，它的出发点是使支持向量到平面的间隔最大化，一步步推导出了形如
$$\underset{\omega }{\min }\frac{1}{2}\Vert \omega {\Vert }^2$$
的目标函数形式，可在回归问题中，我们还能从这个idea出发吗？

那是咋回事嘞，周大佬写错了？？

说说我的理解

我们将$SVR$的优化目标
$$\underset{(\omega ,b,\xi ,\widehat{{\xi }_i})}{\min }\frac{1}{2}\Vert \omega {\Vert }^2+C\sum _{i=1}^N({\xi }_i+\widehat{{\xi }_i})$$
分两部分说明。

• $\frac{1}{2}\Vert \omega {\Vert }^2$部分并非是推导而来的，我将它理解为是一个规范化惩罚，方差过大会导致常说的过拟合，$\Vert \omega \Vert$过大会造成方差过大，这是我们不希望看到的。(这里跟$Ridge$和$Lasso$的出发点是一样的)
• $C{\sum }_{i=1}^N({\xi }_i+\widehat{{\xi }_i})$部分我认为是损失衡量的主体，这里蕴含的想法我认为是使预测值与真实值偏差较大($|f(x)-y|⩾ϵ$)的那些训练样本的偏差尽可能小。(细品下和$SVM$的想法还是蛮接近的)

大概说清楚初始优化问题的来源后，下面的推导方法基本上和$SVM$类似了，虽然很麻烦，但还是写在这里，支持向量机最后的形式真的很漂亮。
$$\underset{(\omega ,b,\xi ,\widehat{{\xi }_i})}{\min }\frac{1}{2}\Vert \omega {\Vert }^2+C\sum _{i=1}^N({\xi }_i+\widehat{{\xi }_i})$$
$s.t$
$$①f(x_i)-y_i⩽ϵ+{\xi }_i$$
$$②y_i-f(x_i)⩽ϵ+\widehat{{\xi }_i}$$
$$③{\xi }_i,\widehat{{\xi }_i}⩾0$$
老规矩，目标函数是个凸函数(你要不信可以用凸函数定义去证明下，最后用下$Cauc$$hy$不等式就完事了)，优化目标是决策变量的一次式(线性)，还记得一开始承认下的结论吗？先把$Lagrange$函数写出来。

$$L(\omega ,b,\alpha ,\hat{\alpha },\mu ,\hat{\mu })=\frac{1}{2}\Vert \omega {\Vert }^2+C\sum _{i=1}^N({\xi }_i+\widehat{{\xi }_i})-\sum _{i=1}^N{\mu }_i{\xi }_i$$
$$-\sum _{i=1}^N\widehat{{\mu }_i}\widehat{{\xi }_i}+\sum _{i=1}^N{\alpha }_i({\omega }^T\varphi (x_i)+b-y_i-1-{\xi }_i)$$
$$+\sum _{i=1}^N\widehat{{\alpha }_i}({\omega }^T\varphi (x_i)+b-y_i-1-\widehat{{\xi }_i})$$
求下关于各向量的梯度
$$\{\begin{array}{l}\frac{\partial L}{\partial \omega }=0\Rightarrow \omega ={\sum }_{i=1}^N(\widehat{{\alpha }_i}-{\alpha }_i)\varphi (x_i)\\ \frac{\partial L}{\partial b}=0\Rightarrow {\sum }_{i=1}^N(\widehat{{\alpha }_i}-{\alpha }_i)=0\\ \frac{\partial L}{\partial {\xi }_i}=0\Rightarrow {\mu }_i+{\alpha }_i=C\\ \frac{\partial L}{\partial \widehat{{\xi }_i}}=0\Rightarrow \widehat{{\mu }_i}+\widehat{{\alpha }_i}=C\end{array}$$
这里用到了一些简单的矩阵求导公式：

• $\frac{\partial \Vert \omega {\Vert }^2}{\partial \omega }=\omega$
• $\frac{\partial {\omega }^{T}x}{\partial \omega }=x$

把上面求出的$L$极小值点的必要条件带到$L$里面去,转化成对偶问题

$$\underset{\alpha ,\hat{\alpha }}{\max }\Theta (\alpha ,\hat{\alpha })$$
$s.t$
$$①\sum _{i=1}^N(\widehat{{\alpha }_i}-{\alpha }_i)=0$$
$$②0⩽{\alpha }_i,\widehat{{\alpha }_i}⩽C$$

$\Theta (\alpha ,\hat{\alpha })$具体形式为
$$\sum _{i=1}^N(\widehat{{\alpha }_i}-{\alpha }_i)y_i-ϵ\sum _{i=1}^N(\widehat{{\alpha }_i}+{\alpha }_i)$$
$$-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N(\widehat{{\alpha }_i}-{\alpha }_i)(\widehat{{\alpha }_j}-{\alpha }_j)\varphi (x_i{)}^T\varphi (x_j)$$
简单解释下优化条件
第一个优化条件是求导产生的约束，而第二个优化条件是考虑以下两点得到的

• 目标函数 $\Theta (\alpha )$不含$\mu$，考虑用不含$\mu$的约束表示原有的约束
• $\widehat{{\mu }_i}+\widehat{{\alpha }_i}=C$与${\mu }_i+{\alpha }_i=C$综合$\mu ⩾0$(不等约束引入的$Lagrange$有不小于0的限制，仔细看上面附的超链接)

把$\Theta (\alpha ,\hat{\alpha })$高维映射的内积部分换成核函数形式
$$\Theta (\alpha ,\hat{\alpha })=\sum _{i=1}^N(\widehat{{\alpha }_i}-{\alpha }_i)y_i-ϵ\sum _{i=1}^N(\widehat{{\alpha }_i}+{\alpha }_i)$$
$$-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N(\widehat{{\alpha }_i}-{\alpha }_i)(\widehat{{\alpha }_j}-{\alpha }_j)\kappa (x_i{x}_j)$$
需要说明的是，这还是一个关于$(\alpha ,\hat{\alpha })$的凸函数，用凸函数的求解方法求解出$(\alpha ,\hat{\alpha })$后，回带入
$$\omega =\sum _{i=1}^N(\widehat{{\alpha }_i}-{\alpha }_i)\varphi (x_i)$$
于是超平面方程形式为
$$f(x)=\sum _{i=1}^N(\widehat{{\alpha }_i}-{\alpha }_i)\varphi (x_i{)}^T\varphi (x)+b$$
高维空间内积更换为核函数
$$f(x)=\sum _{i=1}^N(\widehat{{\alpha }_i}-{\alpha }_i)\kappa (x_i,x)+b$$
对于$b$的求解，需要用到$KKT$条件中的松弛互补条件

• $(C-{\alpha }_i){\xi }_i=0$
• ${\alpha }_i({\omega }^T\varphi (x_i)+b-y_i-1-{\xi }_i)=0$
  取一个计算出的$0$<${\alpha }_i$<$C$，由第一个条件得$${\xi }_i=0$$

带入第二式解得
$$b=y_i+ϵ-\sum _{j=1}^N(\widehat{{\alpha }_j}-{\alpha }_j)\varphi (x_j{)}^T\varphi (x_i)$$
$$=y_i+ϵ-\sum _{j=1}^N(\widehat{{\alpha }_j}-{\alpha }_j)\kappa (x_j,x_i)$$