支持向量机SVM——最大间隔分离超平面的计算、拉格朗日乘数法求解不等式约束的优化问题

支持向量机SVM——最大间隔分离超平面的计算

如何定义两个集合的最优分隔超平面呢？

找到集合"边界"上的若干点，以这些点为基础计算超平面的方向，以二维坐标平面为例子$w^{T}x+b=0$，当系数$w^T$确定的时候，这个超平面的方向也就随之确定，以两个结果边界上的点的平均作为超平面的"截距"。

SVM线性分类问题

• 假设给定一个特征空间上的训练数据集$T=(x_1,t_1),(x_2,t_2)...(x_N,t_N)$，其中，$x_i\in R^n,t_i\in \{+1,-1\},i=1,2....N$

• $x_i$为第$i$个实例(若$n>1$,$x_i$为向量)

• $t_i$为$x_i$类的标记，当$t_i=+1$时，成$x_i$为正例；当$t_i=-1$时，称$x_i$为负例，$(x_i,t_i)$为样本点。

给定一个线性可分训练数据集，通过间隔最大化得到的最优分隔超平面为$y(x)=w^T\phi (x)+b$，相应的分类决策函数为$f(x)=sign(w^T\phi (x)+b)$

这里为什么说是$w^T\phi (x)$而不是$w^{T}x$呢？这是因为有些时候是线性不可分的，但是在低维度线性不可分的通过一定的函数作用映射到更高维的空间的时候就可能可分。

举个栗子：空间中有两个球，在灯光的照射下投影到一个平面上，这两个球的投影是相交的，不可分的，但是在空间中是线性可分的，完全可以找到一个平面将两个球分割开来，即使这两个球是紧挨的，但是还是可以找到与这两个球相切的这样一个超平面将两个球分隔开来。

将上述问题整理得到

• 分割平面$y(x)=w^T\phi (x)+b$
• 训练集$X_1,X_2,...X_N$
• 目标值$t_1,t_2,...t_N$
• 新数据的分类：$sign(y(x))$

线性可分支持向量机

推导目标函数，根据给定的条件，$y(x_n)>0$时候，$y_i=+1$；当$y(x_n)<0$时候，$y_i=-1$

假设存在超平面${\left({\mathbf{w}}^{\prime }\right)}^{\top }\mathbf{x}+b^{\prime }=0$，对于$\left({\mathbf{x}}_i,y_i\right)\in D$，有$$\{\begin{array}{ll}{\left({\mathbf{w}}^{\prime }\right)}^{\top }{\mathbf{x}}_i+b^{\prime }>0,& y_i=+1\\ {\left({\mathbf{w}}^{\prime }\right)}^{\top }{\mathbf{x}}_i+b^{\prime }<0,& y_i=-1\end{array}$$

根据几何间隔，将以上关系修正为：
$$\{\begin{array}{ll}{\left({\mathbf{w}}^{\prime }\right)}^{\top }{\mathbf{x}}_i+b^{\prime }\ge +\zeta ,& y_i=+1\\ {\left({\mathbf{w}}^{\prime }\right)}^{\top }{\mathbf{x}}_i+b^{\prime }\le -\zeta ,& y_i=-1\end{array}$$
其中$\zeta$为某个大于零的常数，两边同除以$\zeta$，再次修正以上关系为：
$$\{\begin{array}{ll}{\left(\frac{1}{\zeta }{\mathbf{w}}^{\prime }\right)}^{\top }{\mathbf{x}}_i+\frac{b^{\prime }}{\zeta }\ge +1,& y_i=+1\\ {\left(\frac{1}{\zeta }{\mathbf{w}}^{\prime }\right)}^{\top }{\mathbf{x}}_i+\frac{b^{\prime }}{\zeta }\le -1,& y_i=-1\end{array}$$
令：$\mathbf{w}=\frac{1}{\zeta }{\mathbf{w}}^{\prime },b=\frac{b^{\prime }}{\zeta }$，则以上关系可写为：
$$\{\begin{array}{ll}{\mathbf{w}}^{\top }{\mathbf{x}}_i+b\ge +1,& y_i=+1\\ {\mathbf{w}}^{\top }{\mathbf{x}}_i+b\le -1,& y_i=-1\end{array}$$
将上述公式进行整合，可得$y_i(w^T{x}_i+b)\ge 1$

举个栗子：以二维平面为例子

如上图，在上图中使用SVM实现线性可分就是找到各类样本点距离分隔超平面的距离最大，也就是找到最大间隔分离超平面。这个超平面用$w^{T}x+b=0$表示(实际上任意超平面都可以用该公式表示)。在二维平面中，点$(x,y)$到超平面$Ax+By+C=0$的距离为$\begin{array}{r}\frac{|Ax+By+C|}{\sqrt{A^2+B^2}}\end{array}$

扩展到$n$维度空间中点$x=(x_1,x_2,x_3...x_n)$到超平面的距离为$\begin{array}{r}\frac{|w^{T}x+b|}{||w|{|}_2}\end{array}$

向量$w$的二范数$||w|{|}_2=\sqrt{x_1^2+x_2^2+...+x_n^2}$

但是这里的$\begin{array}{r}\frac{|w^{T}x+b|}{||w|{|}_2}\end{array}$应该是$\begin{array}{r}\frac{|w^T\phi (x)+b|}{||w|{|}_2}\end{array}$，因为原公式中的$x$有可能是经过某种函数映射得到高维空间中得到的，而不是原始的$x$，$\phi (x)$的最简单的形式就是未经处理的$x$。

于是得到这样的公式$\begin{array}{r}\frac{y_i（w^T\phi (x_n)+b）}{||w|{|}_2}\ge d\end{array}$

那么$\begin{array}{r}\frac{y_i（w^T\phi (x_n)+b）}{||w|{|}_{2}d}\ge 1\end{array}$

每个支撑向量到超平面的距离为$d=\begin{array}{r}\frac{|w^{T}x+b|}{||w|{|}_2}\end{array}$

我们的目标是求出最大间隔分离超平面，所以最大化这个距离

因为是两边，所以对每边的支撑向量到超平面的距离最大化$max2\ast \begin{array}{r}\frac{|w^{T}x+b|}{||w|{|}_2}\end{array}$

在给定样本后$|w^{T}x+b|$的值是常数，那么这个最大化距离就变成了求$\begin{array}{r}min\frac{1}{2}||w|{|}_2\end{array}$

为了求导和计算方便我们求的就是$\begin{array}{r}min\frac{1}{2}||w|{|}_2^2\end{array}$

所以我们最终的问题就转化成了求$\begin{array}{r}min\frac{1}{2}||w|{|}_2^2,st,\begin{array}{r}{y}_i(w^T{x}_i+b)\ge 1\end{array}\end{array}$

这不就是不等式约束优化问题吗？——拉格朗日乘数法请查看我的另外的博文拉格朗日乘数法

拉格朗日乘数法求解不等式约束的优化问题

不等式约束就转化为等式约束问题求解，$\begin{array}{r}{y}_i(w^T{x}_i+b)\ge 1\end{array}$,那么

$\begin{array}{r}-y_i(w^T{x}_i+b)\le -1\end{array}$

进而得到$\begin{array}{r}-y_i(w^T{x}_i+b)+1\le 0\end{array}$

那么利用拉格朗日乘数法构造函数
$$L(\mathbf{w},b,\mathbf{\alpha })=\frac{1}{2}\Vert \mathbf{w}{\Vert }^2+\sum _{i=1}^m{\alpha }_i\left(1-y_i\left({\mathbf{w}}^{\top }{\mathbf{x}}_i+b\right)\right)$$
原问题求$\begin{array}{r}min\frac{1}{2}||w|{|}_2\end{array}$，转化为求$\begin{array}{r}\underset{\mathbf{w},b}{\min }\underset{\mathbf{\alpha }}{\max }L(\mathbf{w},b,\mathbf{\alpha })\end{array}$

$$\begin{array}{rl}L(\mathbf{w},b,\mathbf{\alpha })& =\frac{1}{2}||\mathbf{w}|{|}^2+\sum _{i=1}^m{\alpha }_i(1-y_i({\mathbf{w}}^T{\mathbf{x}}_i+b))\\ & =\frac{1}{2}||\mathbf{w}|{|}^2+\sum _{i=1}^m({\alpha }_i-{\alpha }_i{y}_i{\mathbf{w}}^T{\mathbf{x}}_i-{\alpha }_i{y}_{i}b)\\ & =\frac{1}{2}{\mathbf{w}}^T\mathbf{w}+\sum _{i=1}^m{\alpha }_i-\sum _{i=1}^m{\alpha }_i{y}_i{\mathbf{w}}^T{\mathbf{x}}_i-\sum _{i=1}^m{\alpha }_i{y}_{i}b\end{array}$$
对$\mathbf{w}$和$b$分别求偏导数​并令其等于0：

$$\frac{\partial L}{\partial \mathbf{w}}=\frac{1}{2}\times 2\times \mathbf{w}+0-\sum _{i=1}^m{\alpha }_i{y}_i{\mathbf{x}}_i-0=0⟹\mathbf{w}=\sum _{i=1}^m{\alpha }_i{y}_i{\mathbf{x}}_i$$

$$\frac{\partial L}{\partial b}=0+0-0-\sum _{i=1}^m{\alpha }_i{y}_i=0⟹\sum _{i=1}^m{\alpha }_i{y}_i=0$$

所以得到

$$\begin{array}{rl}w& =\sum _{i=1}^m{\alpha }_i{y}_i{\mathbf{x}}_i\\ 0& =\sum _{i=1}^m{\alpha }_i{y}_i\end{array}$$

代入$$L(\mathbf{w},b,\mathbf{\alpha })=\frac{1}{2}\Vert \mathbf{w}{\Vert }^2+\sum _{i=1}^m{\alpha }_i\left(1-y_i\left({\mathbf{w}}^{\top }{\mathbf{x}}_i+b\right)\right)$$得到

$$\begin{array}{rl}\underset{\mathbf{w},b}{\min }L(\mathbf{w},b,\mathbf{\alpha })& =\frac{1}{2}{\mathbf{w}}^T\mathbf{w}+\sum _{i=1}^m{\alpha }_i-\sum _{i=1}^m{\alpha }_i{y}_i{\mathbf{w}}^T{\mathbf{x}}_i-\sum _{i=1}^m{\alpha }_i{y}_{i}b\\ & =\frac{1}{2}{\mathbf{w}}^T\sum _{i=1}^m{\alpha }_i{y}_i{\mathbf{x}}_i-{\mathbf{w}}^T\sum _{i=1}^m{\alpha }_i{y}_i{\mathbf{x}}_i+\sum _{i=1}^m{\alpha }_i-b\sum _{i=1}^m{\alpha }_i{y}_i\\ & =-\frac{1}{2}{\mathbf{w}}^T\sum _{i=1}^m{\alpha }_i{y}_i{\mathbf{x}}_i+\sum _{i=1}^m{\alpha }_i-b\sum _{i=1}^m{\alpha }_i{y}_i\end{array}$$
又$\sum _{i=1}^m{\alpha }_i{y}_i=0$，所以上式最后一项可化为0，于是得：
$$\begin{array}{rl}\underset{\mathbf{w},b}{\min }L(\mathbf{w},b,\mathbf{\alpha })& =-\frac{1}{2}{\mathbf{w}}^T\sum _{i=1}^m{\alpha }_i{y}_i{\mathbf{x}}_i+\sum _{i=1}^m{\alpha }_i\\ & =-\frac{1}{2}(\sum _{i=1}^m{\alpha }_i{y}_i{\mathbf{x}}_i{)}^T(\sum _{i=1}^m{\alpha }_i{y}_i{\mathbf{x}}_i)+\sum _{i=1}^m{\alpha }_i\\ & =-\frac{1}{2}\sum _{i=1}^m{\alpha }_i{y}_i{\mathbf{x}}_i^T\sum _{i=1}^m{\alpha }_i{y}_i{\mathbf{x}}_i+\sum _{i=1}^m{\alpha }_i\\ & =\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{\mathbf{x}}_i^T{\mathbf{x}}_j\end{array}$$

所以根据强对偶性就转化为求$\alpha$,使得$\begin{array}{r}0=\sum _{i=1}^m{\alpha }_i{y}_i\end{array}$

$$\begin{array}{r}\underset{\mathbf{\alpha }}{\max }\underset{\mathbf{w},b}{\min }L(\mathbf{w},b,\mathbf{\alpha })=\underset{\mathbf{\alpha }}{\max }\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{\mathbf{x}}_i^T{\mathbf{x}}_j\end{array}$$

求出$\alpha$之后代入$\begin{array}{r}{w}^{\ast }=\sum _{i=1}^m{\alpha }_i{y}_i{\mathbf{x}}_i\end{array}$即可解得$w$,然后$b^{\ast }=y_i-\begin{array}{r}{w}^{\ast }{x}_j=\sum _{i=1}^m{\alpha }_i{y}_i{\mathbf{x}}_i{\mathbf{x}}_j\end{array}$

然后求得分离超平面${w^{\ast }}^{T}x+b=0$

那么分类决策函数就是$\begin{array}{r}f(x)=sign({w^{\ast }}^{T}x+b)\end{array}$