哈工大机器学习复习笔记（三）

本篇文章是在参考西瓜书、PPT课件、网络上相关博客等资料的基础上整理出的机器学习复习笔记，希望能给大家的机器学习复习提供帮助。这篇笔记只是复习的一个参考，大家一定要结合书本、PPT来进行复习，有些公式的推导最好能够自己演算一遍。由于作者水平有限，笔记中难免有些差错，欢迎大家评论留言。
完整版跳转

8. 支持向量机

8.1 最大间隔方法

考虑一个二分类问题，当数据集线性可分时，我们想要找到一个平面对数据集进行划分。我们用如下线性方程来描述划分超平面。
$$w^{T}x+b=0$$

其中
$$\begin{gathered} w^T{x}_i+b>+c\text{for all }{x}_i\text{ in class 2} \\ {w}^T{x}_i+b<-c\text{for all }{x}_i\text{ in class 1} \end{gathered}$$
可以将上面的两个式子进行合并，得到（$y_i=\pm 1$）
$$(w^T{x}_i+b)y_i\ge c$$
两类之间的最小可行间隔（margin）为
$$m=\frac{w^T}{||w||}(x_{i^{\ast }}-x_{j\ast })=\frac{2c}{||w||}$$
我们希望这个间隔距离尽可能大，即
$$\begin{array}{rl}\underset{w,b}{\max }& \frac{2c}{||w||}\\ s.t.& y_i(w^T{x}_i+b)\ge c,\forall i\end{array}$$
这就是最大间隔方法。
但是，由于改变$c$的大小相当于给$w$和$b$乘上一个系数，不会改变分类平面，所以可以把优化问题转化为
$$\begin{array}{rl}\underset{w,b}{\max }& \frac{1}{||w||}\\ s.t.& y_i(w^T{x}_i+b)\ge 1,\forall i\end{array}$$
而最大化$||w|{|}^{-1}$等价于最小化$||w|{|}^2$，于是上式可重写为
$$\begin{array}{rl}\underset{w,b}{\min }& \frac{1}{2}||w|{|}^2\\ s.t.& y_i(w^T{x}_i+b)\ge 1,\forall i\end{array}$$
这就是支持向量机（SVM）的基本型。

8.2 对偶问题

这个形式的优化问题是凸二次规划问题，已经可以直接求解，但是直接求解的计算复杂度较高。接下来我们会利用拉格朗日对偶性来优化。

数学推导

原问题
$$\begin{array}{rl}\underset{w,b}{\min }& f(w)\\ s.t.& g_i(w)\le 0,i=1,\dots ,k\\ & h_i(w)=0,i=1,\dots ,l\end{array}$$
拉格朗日函数可表示为
$$L(w,\alpha ,\beta )=f(w)+\sum _{i=1}^k{\alpha }_i{g}_i(w)+\sum _{i=1}^l{\beta }_i{h}_i(w)$$
其中${\alpha }_i\ge 0,\forall i$.
引理
$$\underset{\alpha ,\beta ,{\alpha }_i\ge 0}{\max }L(w,\alpha ,\beta )=\{\begin{array}{ll}f(w)& \text{if }w\text{ satisfies primal constraints}\\ \infty & \text{otherwise}\end{array}$$
原问题可重写为
$$\underset{w}{\min }\underset{\alpha ,\beta ,{\alpha }_i\ge 0}{\max }L(w,\alpha ,\beta )$$
其对偶问题
$$\underset{\alpha ,\beta ,{\alpha }_i\ge 0}{\max }\underset{w}{\min }L(w,\alpha ,\beta )$$
弱对偶性
$$d^{\ast }=\underset{\alpha ,\beta ,{\alpha }_i\ge 0}{\max }\underset{w}{\min }L(w,\alpha ,\beta )\le \underset{w}{\min }\underset{\alpha ,\beta ,{\alpha }_i\ge 0}{\max }L(w,\alpha ,\beta )=p^{\ast }$$
其中对偶问题的最优解为$d^{\ast }$，原问题的最优解为$p^{\ast }$。
强对偶性
$$\text{there exists a saddle point of }L(w,\alpha ,\beta )⟺d^{\ast }=p^{\ast }$$
KKT条件
如果$L$中有鞍点，那么鞍点将会满足KKT条件
$$\begin{array}{rl}\frac{\partial }{\partial w_i}L(w,\alpha ,\beta )& =0,i=1,\dots ,k\\ \frac{\partial }{\partial {\alpha }_i}L(w,\alpha ,\beta )& =0,i=1,\dots ,m\\ \frac{\partial }{\partial {\beta }_i}L(w,\alpha ,\beta )& =0,i=1,\dots ,l\\ {\alpha }_i{g}_i(w)& =0,i=1,\dots ,m\\ g_i(w)& \le 0,i=1,\dots ,m\\ {\alpha }_i& \ge 0,i=1,\dots ,m\\ h_i(w)& =0,i=1,\dots ,l\end{array}$$
定理：如果$w^{\ast },{\alpha }^{\ast },{\beta }^{\ast }$满足KKT条件，那么对偶问题能获得主问题的最优下界。

应用求解

最大间隔方法中的原问题
$$\begin{array}{rl}\underset{w,b}{\min }& \frac{1}{2}||w|{|}^2\\ s.t.& y_i(w^T{x}_i+b)\ge 1,\forall i\end{array}$$
我们可以把约束写成$1-y_i(w^T{x}_i+b)\le 0$，发现形式与拉格朗日乘子的约束对应上了。
对应的拉格朗日函数
$$L(w,b,\alpha )=\frac{1}{2}{w}^{T}w+\sum _i{\alpha }_i[1-y_i(w^T{x}_i+b)]$$
原问题可写成
$$\underset{w,b}{\min }\underset{{\alpha }_i\ge 0}{\max }L(w,b,\alpha )$$
我们来考虑这个式子在什么时候取到最小值。我们发现如果$w,b$非法，那么整个式子将会趋于无穷大，因为如果$1-y_i(w^T{x}_i+b)>0$，那么在最大化$L$时，相应的${\alpha }_i$就会趋向于正无穷，从而导致整个式子的值趋向于正无穷。因此，整个式子的最小值一定在$w,b$合法的时候才能取到，此时$L(w,b,\alpha )=\frac{1}{2}{w}^{T}w$，即整个式子的最小值恰好等于$\frac{1}{2}{w}^{T}w$的最小值。通过拉格朗日乘子法，我们成功地将有约束极值改造成了无约束极值。
我们求解它的对偶问题
$$\underset{{\alpha }_i\ge 0}{\max }\underset{w,b}{\min }L(w,b,\alpha )$$
首先通过$w,b$最小化$L$.
令$L$对$w$和$b$的偏导为零可得
$$\begin{array}{rl}w& =\sum _{i=1}^m{\alpha }_i{y}_i{x}_i\\ 0& =\sum _{i=1}^m{\alpha }_i{y}_i\end{array}$$
代入$L$中，消去$w$和$b$，即
$$\begin{array}{rl}L(w,b,\alpha )& =\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i^T{x}_j)+\sum _{i=1}^m{\alpha }_i-\sum _{i=1}^m{\alpha }_i{y}_i(\sum _{j=1}^m{\alpha }_j{y}_j{x}_j^T{x}_i+b)\\ & =\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i^T{x}_j)+\sum _{i=1}^m{\alpha }_i-\sum _{i=1}^m{\alpha }_i{y}_i(\sum _{j=1}^m{\alpha }_j{y}_j{x}_j^T)x_i-\sum _{i=1}^m{\alpha }_i{y}_{i}b\\ & =\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i^T{x}_j)\end{array}$$
对偶问题变为
$$\begin{array}{rl}\underset{{\alpha }_i\ge 0}{\max }& \sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i^T{x}_j)\\ s.t& \sum _{i=1}^m{\alpha }_i{y}_i=0\end{array}$$
这又是一个二次规划问题，但是比原来那个要好解一些。 求出${\alpha }_i$之后，我们利用$w={\sum }_{i=1}^m{\alpha }_i{y}_i{x}_i$即可恢复出$w$.
注意到KKT条件，由于
$${\alpha }_i{g}_i(w)=0,i=1,2,\dots ,m$$

因此只有少数${\alpha }_i$非零，我们称这样的样本为支持向量（Support Vectors）。
实际上，我们只需要$\alpha ,b$即可分类数据，这是因为
$$w^{T}z+b=(\sum _i{\alpha }_i{y}_i{x}_i^{T}z)+b$$
我们甚至能做得更快，注意到只有支持向量的${\alpha }_i$才可以非0，在求和的时候只需要取支持向量就行了，即
$$y^{\ast }=sign(\sum _{i\in SV}{\alpha }_i{y}_i(x_i^{T}z)+b)$$

8.3 软间隔

在实际应用中，我们的数据可能实际上是线性可分的，但是由于噪声的存在，使得两类的个别数据点之间的距离较近，导致类别之间的距离较近，而如果在这个条件下仍然按照上面的办法求解，显然求得的结果是不合理的（过拟合），甚至有可能出现一类的某个数据点出现在了对侧中，导致不存在分类超平面。因此，我们需要一种手段来使得分类超平面能够容忍这些“错误”的数据点的存在，即允许有些点可以不满足约束
$$y_i(w^T{x}_i+b)\ge 1$$
当然，在最大化间隔的同时，不满足约束的样本应该尽可能少。于是，优化目标可写为
$$\underset{w,b}{\min }\frac{1}{2}||w|{|}^2+C\sum _{i=1}^m{l}_{0/1}(y_i(w^T{x}_i+b)-1)$$
其中$C>0$是一个常数，$l_{0/1}$是“0/1损失函数”
$$l_{0/1}(z)=\{\begin{array}{ll}1& \text{if }z<0\\ 0& \text{otherwise}\end{array}$$
显然，当$C$为无穷大时，上式会迫使所有样本均满足约束条件，这实际上就是“硬间隔”；当$C$取有限值时，上式允许一些样本不满足约束。
然而，$l_{0/1}$非凸、非连续，数学性质不好，我们通常用一些替代损失函数来替代$l_{0/1}$，它们通常是凸的连续函数且是$l_{0/1}$的上界。
通常有三种常用的替代损失函数：

• hinge损失：$l_{hingle}(z)=\max (0,1-z)$
• 指数损失：$l_{exp}(z)=\exp (-z)$
• 对率损失：$l_{log}(z)={\log }_2(1+exp(-z))$

引入松弛变量${\xi }_i\ge 0$，优化目标可重写为
$$\begin{array}{rl}\underset{w,b}{\min }& \frac{1}{2}||w|{|}^2+C\sum _{i=1}^m{\xi }_i\\ s.t.& y_i(w^T{x}_i+b)\ge 1-{\xi }_i,\\ & {\xi }_i\ge 0,i=1,2,\dots ,m.\end{array}$$
特别地，如果样本$x_i$没有误差，则有${\xi }_i=0$，${\xi }_i$是误差的上界。$C$称为惩罚系数，是间隔和分类误差之间的“trade-off”。
对偶后的问题变为
$$\begin{array}{rl}\underset{\alpha }{\max }& \sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i^T{x}_j)\\ s.t.& 0\le {\alpha }_i\le C,\\ & \sum _{i=1}^m{\alpha }_i{y}_i=0,i=1,2,\dots ,m.\end{array}$$

8.4 核方法

以上的求解都是在线性可分的条件下进行的，而事实上大部分时候数据并不是线性可分的，这个时候满足这样条件的超平面就根本不存在。对这样的问题可将样本从原始空间映射到一个更高维的特征空间，使得样本在这个特征空间内线性可分。幸运的是，如果原始空间是有限维，即属性数有限，那么一定存在一个高维特征空间使样本可分。
回顾之前的过程：我们优化对偶问题的时候，并不需要真正地给向量做特征变换，而只需要知道特征变换之后向量的内积；在分类的时候，也只需要向量的内积。所以我们可以这样做：并不显式地升维变量，而是在向量需要求内积的时候，用我们新的函数来替换内积函数。这就是核函数。
所以我们通过核函数，避免了真正执行升维，只需要在计算内积的时候采用核函数来替代。
常用的核函数有：

• 线性核$\kappa (x_i,x_j)=x_i^T{x}_j$，它就是内积，写成这样是为了把采用核函数、不采用核函数的SVM形式统一起来；
• 多项式核$\kappa (x_i,x_j)=(1+x_i^T{x}_j{)}^p$，其中$p$决定了特征变换之后的维度；
• 径向基$\kappa (x_i,x_j)=\exp (-\frac{1}{2}||x_i-x_j|{|}^2)$；
• 高斯核$\kappa (x_i,x_j)=\exp (-\frac{||x_i-x_j|{|}^2}{2{\sigma }^2})$ ，它的特征变换之后的维度是无穷大。

哈工大机器学习复习笔记（一）
哈工大机器学习复习笔记（二）
哈工大机器学习复习笔记（三）
哈工大机器学习复习笔记（四）