SVM的原理及推导

SVM的原理及推导

我们直接用数学公式来描述我们要解决的问题。假设我有一个数据集$\mathcal{D}$，总共有m个样本$\{x_i,y_i\},i=1,...,n$。其中。其中$x_i\in {\mathbb{R}}^d$是维的向量，是二类分类问题的标签，是d维的向量，y是二类分类问题的标签，$y_i\in \{-1,+1\}$。我们首先假设我们的数据是完美的，即，在维度的平面上，我们的数据是线性可分的，那么我们就可以画一条直线。我们首先假设我们的数据是完美的，即，在维度d的平面上，我们的数据是线性可分的，那么我们就可以画一条直线$f(x)=w^{T}x+b$使得我们所有的不同类别的样本区分开来，即对于所有使得我们所有的不同类别的样本区分开来，即对于所有$y_i=-1$的样本的样本$i$有$w^{T}x+b\le 0$，反之对于所有，反之对于所有$y_i=+1$的样本有的样本有$w^{T}x+b\ge 0$。

但是，如果我们只是单纯的规定$w^{T}x+b=0$作为超平面来区分正负样本，这样的超平面有很多，任何一个超平面符合上述条件都可以作为解，而这对分类的泛化性并不友好。也就是说，当超平面实际上选取很差时，对于测试数据，一点微小的噪声就会导致它的错分。所以SVM定义了另外两个超平面(支持超平面 Supporting Hyperplane)，都与$w^{T}x+b=0$平行，到超平面的距离（边际 Margin）分别为$d_{-}$和$d_{+}$，并且保持$d_{-}=d_{+}$。我们将这两个超平面用公式表示：
$$\begin{gathered} w^{T}x=b-\sigma \\ {w}^{T}x=b+\sigma \end{gathered}$$
我们注意到，如果将公式的左右两边同时乘以一个系数，公式仍然成立。而且这个公式存在着过参数化。因此SVM规定了这个$\sigma =1$。那么边际大小$\gamma =d_{-}+d_{+}$就等于：
$$\gamma =\frac{2}{\Vert w\Vert }$$

至此我们已经决定了我们所要得到的优化目标，即找到一个超平面$w^{T}x+b=0$使得它存在两个与之平行、与之距离为$1$并分布两侧的超平面，能够完美分开所有的训练数据，使得正样本在$w^{T}x+b\ge 1$，负样本$w^{T}x+b\le -1$。我们把问题写成凸优化问题的形式：(这里强调一点，源自于Convex Optimization那门课中，很多人把优化公式中的max和maximize，min和minimize混为一谈，实际上是不正确的，min/max返回的是一个值，即最小/大值，只有maximize/minimize代表着优化目标函数。)
$$\begin{array}{rl}\mathrm{maximize}& \frac{2}{\Vert w\Vert }\\ s.t.& y_i(w^{T}x+b)-1\ge 0,i=1,...,m\end{array}$$
由于$\frac{2}{\Vert w\Vert }$是个concave的函数，我们便可以通过倒数的方式转成convex的标准形式，这里加平方应该是要为了是让曲线保证平滑来保证处处可导(这里不是很确定，如果说的不对请大家指出谢谢)，即：
$$\begin{array}{rl}minimize& \frac{1}{2}\Vert w{\Vert }^2\\ s.t.& y_i(w^{T}x+b)-1\ge 0,i=1,...,m\end{array}$$
对于刚好落在支持超平面上的点，我们就将他们成为支持向量(Support Vector)。
这个问题，可以通过拉格朗日法(Lagrangian) 转换成对偶问题求解。

首先，我们将约束条件乘以一个${\lambda }_i$加入到优化函数$f_0(x)$中。随后根据拉格朗日法求对偶问题的定义，我们可以得到：
$$\mathcal{L}(w,b,{\lambda }_i)=\underset{w,b}{\inf }\frac{1}{2}\Vert w{\Vert }^2-\sum _i^m{\lambda }_i[y_i(w^{T}x+b)-1]$$
我们仔细看$\mathcal{L}$这个公式，要求关于$w$和$b$的下界，实际上，对于$w$来说，是一个二次型$w^{T}w$加上一个累加的Affine映射${\sum }_i^m{\lambda }_i{y}_i{w}^{T}x$，那么这些都是保持凸函数性质的运算。对于$b$来说，是一个Affine映射。因此对于$w$和$b$而言，$\mathcal{L}$是一个凸函数，在求下界时，我们可以直接通过求导函数为0的点来计算Optimal(全局最优)。

那么我们分别对$w$和$b$求导并求等于0的点：
$$\begin{array}{rlr}\frac{\partial \mathcal{L}}{\partial w}& =w-\sum _i^m{\lambda }_i{y}_i{x}_i& =0\\ \frac{\partial \mathcal{L}}{\partial b}& =\sum _i^m{\lambda }_i{y}_i=0& \end{array}$$
随后我们将求导得到的结果带回到$\mathcal{L}$中，得到：
$$\begin{array}{rl}\mathcal{L}& =\frac{1}{2}{w}^{T}w+\sum _i^m{\lambda }_i-\sum _i^m{\lambda }_i{y}_i{w}^T{x}_i-\sum _i^m{\lambda }_i{y}_{i}b\\ & =\frac{1}{2}\Vert \sum _i^m{\lambda }_i{y}_i{x}_i{\Vert }^2+\sum _i^m{\lambda }_i-\sum _i^m{\lambda }_i{y}_i(\sum _i^m{\lambda }_i{y}_i{x}_i{)}^T{x}_i\\ & =\sum _i^m{\lambda }_i-\frac{1}{2}(\sum _i^m{\lambda }_i{y}_i{x}_i^T)(\sum _i^m{\lambda }_i{y}_i{x}_i)\\ & =\sum _i^m{\lambda }_i-\frac{1}{2}\sum _i^m\sum _j^m{\lambda }_i{\lambda }_j{y}_i{y}_j{x}_i^T{x}_j\end{array}$$
此时，对偶问题就可以被描述为：
$$\begin{array}{rl}\mathrm{maximizi}& \sum _i^m{\lambda }_i-\frac{1}{2}\sum _i^m\sum _j^m{\lambda }_i{\lambda }_j{y}_i{y}_j{x}_i^T{x}_j\\ s.t.& {\lambda }_i\ge 0,i=1,...,m\\ & \sum _i^m{\lambda }_i{y}_i=0\end{array}$$
这个问题可以通过SMO算法去求解，这里就不详细赘述了。其实在整个Convex Optimization的课程中，也没有过于强调如何去解各种凸优化问题，主要还是在介绍如何将各种问题转成可解的凸优化形式。只要转成很好解的形式，就会有各种成熟的工具去进行求解。

---

带有松弛变量的SVM

在SVM中的问题设定中，我们发现其中很重要的一个假设就是假定超平面能够完美分割全部的数据。尽管在线性不可分的数据中，找不到这样的平面，但是如果使用足够复杂的核函数，大概率会找到一个高维空间的超平面来完美区分，但是这样可能导致的结果就是严重的过拟合。转换成低维的情况可以大致理解为，将每个点用超平面都划分成一个单独的部分，这样也是会100%正确分类训练数据，但是这并不是我们想要的。
在实际数据中，存在噪声是非常有可能的，此时如果将训练数据全部“记住”，会导致严重的过拟合。所以带有松弛变量的SVM就是设定一个参数，让部分数据可以不严格遵守到超平面最小距离为1这个设定。带有松弛变量的SVM的优化目标如下：
$$\begin{array}{rl}\mathrm{minimize}& \frac{1}{2}\Vert w{\Vert }^2+C\sum _i^m{\xi }_i\\ s.t.& y_i(w^T{x}_i+b)\ge 1-{\xi }_i,i=1,...,m\\ & {\xi }_i>0,i=1,...,m\end{array}$$
同样我们将它写成对偶的形式，它的拉格朗日对偶函数如下：
$$\mathcal{L}(w,b,\xi ,\lambda ,\mu )=\underset{w,b,{\xi }_i}{\inf }\frac{1}{2}\Vert w{\Vert }^2+C\sum _i^m{\xi }_i+\sum _i^m{\lambda }_i[1-{\xi }_i-y_i(w^T{x}_i+b)]-\sum _i^m{\mu }_i{\xi }_i$$
$\mathcal{L}$对于$w,b,\xi$同样是convex的函数,同样我们对这三个变量进行求导。
$$\begin{array}{rl}& \frac{\partial \mathcal{L}}{\partial w}=w-\sum _i^m{\lambda }_i{y}_i{x}_i=0\\ & \frac{\partial \mathcal{L}}{\partial b}=\sum _i^m{\lambda }_i{y}_i=0\\ & \frac{\partial \mathcal{L}}{\partial {\xi }_i}=C-{\mu }_i-{\lambda }_i=0\end{array}$$
将求导等于0的结果带回到对偶函数中，我们得到：
$$\begin{array}{rl}\mathcal{L}& =\frac{1}{2}\Vert \sum _i^m{\lambda }_i{y}_i{x}_i{\Vert }^2+C\sum _i^m{\xi }_i+\sum _i^m{\lambda }_i-\sum _i^m{\lambda }_i{\xi }_i-\sum _i^m{\lambda }_i{y}_i{x}_i^T\sum _i^m{\lambda }_i{y}_i{x}_i-\sum _i^m{\lambda }_i{y}_{i}b-\sum _i^m{\mu }_i{\xi }_i\\ & =C\sum _i^m{\xi }_i+\sum _i^m{\lambda }_i-\frac{1}{2}\sum _i^m\sum _j^m{\lambda }_i{\lambda }_j{y}_i{y}_j{x}_i^T{x}_j-\sum _i^m{\lambda }_i{\xi }_i-\sum _i^m{\mu }_i{\xi }_i\\ & =\sum _i^m{\lambda }_i-\frac{1}{2}\sum _i^m\sum _j^m{\lambda }_i{\lambda }_j{y}_i{y}_j{x}_i^T{x}_j\end{array}$$
那么此时对偶问题就可以描述为：
$$\begin{array}{rl}\mathrm{maximizi}& \sum _i^m{\lambda }_i-\frac{1}{2}\sum _i^m\sum _j^m{\lambda }_i{\lambda }_j{y}_i{y}_j{x}_i^T{x}_j\\ s.t.& {\lambda }_i\ge 0,i=1,...,m\\ & \sum _i^m{\lambda }_i{y}_i=0\\ & {\lambda }_i\le C\end{array}$$
可以注意到的是，带有松弛变量的SVM和原始SVM的区别就在于，对于${\lambda }_i$的值的限制不能大于C。

---

SVR的推导

原理

$$\begin{array}{rl}\mathrm{minimize}& \frac{1}{2}\Vert w{\Vert }^2+C\sum _i^m({\xi }_i+{\xi }_i^{\ast }),i=1,...,m\\ s.t.& y_i-w^T{x}_i-b\le \epsilon +{\xi }_i,i=1,...,m\\ & w^T{x}_i+b-y_i\le \epsilon +{\xi }_i^{\ast },i=1,...,m\\ & {\xi }_i\ge 0,i=1,...,m\\ & {\xi }_i^{\ast }\ge 0,i=1,...,m\end{array}$$
对偶函数
$$\begin{array}{rl}\mathcal{L}(w,b,\xi ,{\xi }^{\ast })=\underset{w,b,\xi ,{\xi }^{\ast }}{\inf }& \frac{1}{2}\Vert w{\Vert }^2+C\sum _i^m({\xi }_i+{\xi }_i^{\ast })\\ & +\sum _i^m{\lambda }_i(y_i-w^T{x}_i-b-\epsilon -{\xi }_i)\\ & +\sum _i^m{\lambda }_i^{\ast }(w^T{x}_i+b-y_i-\epsilon -{\xi }_i^{\ast })\\ & -\sum _i^m{\mu }_i{\xi }_i-\sum _i^m{\mu }_i^{\ast }{\xi }_i^{\ast }\end{array}$$

求导
$$\begin{array}{rl}& \frac{\partial \mathcal{L}}{\partial w}=w-\sum _i^m({\lambda }_i-{\lambda }_i^{\ast })x_i=0\\ & \frac{\partial \mathcal{L}}{\partial b}=-\sum _i^m{\lambda }_i+\sum _i^m{\lambda }_i^{\ast }=0\\ & \frac{\partial \mathcal{L}}{\partial {\xi }_i^{(\ast )}}=C-{\lambda }_i^{(\ast )}-{\mu }_i^{(\ast )}=0\end{array}$$
代入

$$\begin{array}{rl}\mathrm{maximize}& -\frac{1}{2}\sum _i^m\sum _j^m({\lambda }_i-{\lambda }_i^{\ast })({\lambda }_j-{\lambda }_j^{\ast })x_i^T{x}_j+\sum _i^m({\lambda }_i-{\lambda }_i^{\ast })y_i-\epsilon \sum _i^m({\lambda }_i+{\lambda }_i^{\ast })\\ s.t.& \sum _i^m({\lambda }_i^{\ast }-{\lambda }_i)=0\\ & {\lambda }_i^{(\ast )}\le C,i=1,...,m\end{array}$$