【机器学习】课程笔记11_支持向量机(Support Vector Machines)

优化目标（Optimization Objective）

• 支持向量机（Support Vector Machine, SVM）： 使用简单函数来近似逻辑回归模型曲线，在学习复杂的非线性方程时提供了一种更为清晰，更加强大的方式。

• 逻辑回归代价函数：$J(\theta )=\frac{1}{m}\sum _{i=1}^m[-y^{(i)}log(h_{\theta }(x^{(i)}))-(1-y^{(i)})log(1-h_{\theta }(x^{(i)}))]+\frac{\lambda }{2m}\sum _{j=1}^n{\theta }_j^2$

  

  • 将 $y=1$ 和 $y=0$ 时的逻辑回归图像近似成两条直线组成的图像，从而带来计算上的优势，两个方程分别命名为 $cos{t}_1(z)$ 和 $cos{t}_0(z)$，下标表示 $y=1$ 和 $y=0$ 的情况。
  • 忽略常数项 $\frac{1}{m}$
  • 考虑正则化项：逻辑回归： $A+\lambda B$ 支持向量机： $CA+B$

• 支持向量机：

  • 代价函数： $\genfrac{}{}{0ex}{}{min}{\theta }C\sum _{i=1}^m[y^{(i)}cos{t}_1({\theta }^T{x}^{(i)})+(1-y^{(i)}))cos{t}_0({\theta }^T{x}^{(i)})]+\frac{1}{2}\sum _{i=1}^n{\theta }_j^2$

  • 假设函数：
    $$h_{\theta }(x)=\{\begin{array}{ll}1& if{\theta }^{T}x\ge 0\\ 0& otherwise\end{array}$$

大间距的直观理解（Large Margin Intuition）

• 对支持向量机被称为大间距分类器的理解：
  • 支持向量机的要求更高，不仅仅要能正确分开输入的样本，还要使值比0大很多或小很多，这就相当于在支持向量机中嵌入了一个额外的安全因子，或者说安全的间距因子。
  • 
  • 如果$C$非常大： 再最小化代价函数的时候，我们希望找到一个使第一项为0的最优解，从而得到的决策边界具有更大的间距。但学习算法会受到异常点的影响，容易过拟合。
    • $C$非常大等价于$\lambda$非常小的情景，容易过拟合；
    • $C$非常小等价于$\lambda$非常大的情景，容易欠拟合。
    • 所以通过$C$的取值可以决定边界的划分。
  • 

大间距分类背后的数学（The Mathematics Behind Large Margin Classification）

• 向量的内积等于投影和向量模的乘积：

  $u\times v=u_1{v}_1+u_2{v}_2=u^{T}v=v^{T}u=p\cdot \Vert \begin{array}{c}u\end{array}\Vert =p\cdot \Vert \begin{array}{c}v\end{array}\Vert$

  （第一个p是v在u上的投影，第二个p是u在v上的投影，p有正有负。）

  

• 在SVM中：
  $$mi{n}_{\theta }\frac{1}{2}\sum _{j=1}^n{\theta }_j^2$$

  $$\{\begin{array}{ll}{\theta }^T{x}^{(i)}\ge 1& if{y}^{(i)}=1\\ {\theta }^T{x}^{(i)}\le -1& if{y}^{(i)}=0\end{array}$$

  • 忽略截距${\theta }_0=0$，假设特征数量$n=2$.

  • $\frac{1}{2}\sum _{j=1}^n{\theta }_j^2=\frac{1}{2}({\theta }_1^2+{\theta }_2^2)=\frac{1}{2}(\sqrt{{\theta }_1^2+{\theta }_2^2}{)}^2=\frac{1}{2}{\Vert \begin{array}{c}\theta \end{array}\Vert }^2$

  • ${\theta }^T{x}^{(i)}=p\Vert \begin{array}{c}\theta \end{array}\Vert$

  • 决策边界和$\theta$是正交的

    

  • 左图每个 $x$ 向量在 $\theta$ 上的投影距离都很小，要满足 $p^{(i)}\cdot \Vert \begin{array}{c}\theta \end{array}\Vert$ 的条件则 $\Vert \begin{array}{c}\theta \end{array}\Vert$ 的值就要增大，但代价函数要求 $\Vert \begin{array}{c}\theta \end{array}\Vert$ 尽可能小，所以这不最优的。从而右图中的投影距离较大，$\Vert \begin{array}{c}\theta \end{array}\Vert$ 值较小，符合SVM中最小化目标函数的目的，即SVM是大间距分类器。

核函数1（Kernels Ⅰ）

• 目的： 对于一个非线性决策边界问题，我们可能使用高阶的函数进行拟合，是否存在比当前特征刚好的表达形式呢？（核函数）

  

• 为了获得图中的判定边界，我们的的模型可能为${\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2+{\theta }_3{x}_1{x}_2+{\theta }_4{x}_1^2+{\theta }_5{x}_2^2+\cdots$

  可以将每种新的特征表示为$f_i$，例如$f_1=x_1,f_2=x_2,f_3=x_1{x}_2,f_4=x_1^2,f_5=x_2^2$

  则$h_{\theta }(x)={\theta }_1{f}_1+{\theta }_2{f}_2+\cdots +{\theta }_n{f}_n$

• 除了对原有的特征进行组合以外，是否更好的方法来构造$f_1,f_2,f_3$？——我们可以利用核函数来计算出新的特征。

步骤：

• 随机选择三个点作为标记

  • 地标（landmark）作用：

    如果一个训练样本$x$与地标$l$之间的距离很近（相似度高），则$f$近似于$e^{-0}=1$;

    如果一个训练样本$x$与地标$l$之间的距离较远（相似度低），则$f$近似于$e^{-(一个较大的数)}=0$。

• 通过核函数得到$x$对应的新特征

  $f_1=similarity(x,l^{(1)})=exp(-\frac{{\Vert \begin{array}{c}x-l^{(1)}\end{array}\Vert }^2}{2{\sigma }^2})$

  $f_2=similarity(x,l^{(2)})=exp(-{\frac{{\Vert \begin{array}{c}x-l^{(2)}\end{array}\Vert }^2}{2\sigma }}^2)$

  $f_3=similarity(x,l^{(3)})=exp(-{\frac{{\Vert \begin{array}{c}x-l^{(3)}\end{array}\Vert }^2}{2\sigma }}^2)$

  其中$\Vert \begin{array}{c}x-l^{(1)}\end{array}\Vert =\sum _{j=1}^n(x_j-l_j^{(1)})$，为实例$x$中所有特征与地标$l^{(1)}$之间的距离的和。

  当训练样本含两个特征时，给定地标 $l^{(1)}$ 与不同的 $\sigma$ 值，图像如下：

  

  • 只有当$x$与$l^{(1)}$重合时$f$才具有最大值。随着$x$的改变$f$值改变的速率受到${\sigma }^2$的控制。

• 假设已经训练好参数$\theta$，则可以通过${\theta }^{T}f\ge 0$来预测

  

  • 当样本处于洋红色的点位置处，因为其离$l^{(1)}$更近，但是离$l^{(2)}$和$l^{(3)}$较远，因此$f_1$接近1，而$f_2$,$f_3$接近0。因此$h_{\theta }(x)={\theta }_0+{\theta }_1{f}_1+{\theta }_2{f}_2+{\theta }_1{f}_3>0$，因此预测$y=1$。

    同理可以求出，对于离$l^{(2)}$较近的绿色点，也预测$y=1$，但是对于蓝绿色的点，因为其离三个地标都较远，预测$y=0$。

  • 这样，图中红色的封闭曲线所表示的范围，便是我们依据一个单一的训练样本和我们选取的地标所得出的判定边界，在预测时，我们采用的特征不是训练样本本身的特征，而是通过核函数计算出的新特征$f_1,f_2,f_3$。

核函数2（Kernels Ⅱ）

• 选择地标：

  若训练集中有$m$个样本则选择$m$个地标，且$l^{(1)}=x^{(1)},l^{(2)}=x^{(2)},.....,l^{(m)}=x^{(m)}$。

• 支持向量机：

  • 假设函数： 给定 $x$，计算新特征 $f$，当 ${\theta }^{T}f>=0$ 时，预测 $y=1$，否则反之。
  • 代价函数： $minC\sum _{i=1}^m[y^{(i)}cos{t}_1({\theta }^T{f}^{(i)})+(1-y^{(i)})cos{t}_0({\theta }^T{f}^{(i)})]+\frac{1}{2}\sum _{j=1}^{n=m}{\theta }_j^2$，$\sum _{j=1}^{n=m}{\theta }_j^2={\theta }^T\theta$

• 在具体实施过程中，需要对正则化项进行调整，我们用时，我们用${\theta }^{T}M\theta$代替${\theta }^T\theta$，其中$M$是根据我们选择的核函数而不同的一个矩阵。这样做的原因是为了简化计算。理论上讲，我们也可以在逻辑回归中使用核函数，但是上面使用 M来简化计算的方法不适用与逻辑回归，因此计算将非常耗费时间。

  另外，支持向量机也可以不使用核函数，不使用核函数又称为线性核函数(linear kernel)，当我们不采用非常复杂的函数，或者我们的训练集特征非常多而样本非常少的时候，可以采用这种不带核函数的支持向量机。

• 两个参数 $C$ 和 $\sigma$ （$C=\frac{1}{\lambda }$）

  • $C$较大时，相当于$\lambda$较小，可能会导致过拟合，高方差；
  • $C$较小时，相当于$\lambda$较大，可能会导致低拟合，高偏差；
  • $\sigma$较大时，可能会导致低方差，高偏差；
  • $\sigma$较小时，可能会导致低偏差，高方差。

使用支持向量机（Using An SVM）

• 核函数：

  • 高斯核函数（Gaussian Kernel）
  • 多项式核函数（Polynomial Kernel）
  • 字符串核函数（String kernel）
  • 卡方核函数（ chi-square kernel）
  • 直方图交集核函数（histogram intersection kernel）

• 多类分类问题：

  • 可以训练$k$个支持向量机来解决多类分类问题。
  • 大多数支持向量机软件包都有内置的多类分类功能，我们只要直接使用即可。

• 模型选择： （$n$ 为特征数，$m$ 为训练样本数）

  • 如果相较于$m$而言，$n$要大许多，即训练集数据量不够支持我们训练一个复杂的非线性模型，我们选用逻辑回归模型或者不带核函数的支持向量机。
  • 如果$n$较小，而且$m$大小中等，例如$n$在 1-1000 之间，而$m$在10-10000之间，使用高斯核函数的支持向量机。
  • 如果$n$较小，而$m$较大，例如$n$在1-1000之间，而$m$大于50000，则使用支持向量机会非常慢，解决方案是创造、增加更多的特征，然后使用逻辑回归或不带核函数的支持向量机。

神经网络在以上三种情况下都可能会有较好的表现，但是训练神经网络可能非常慢，选择支持向量机的原因主要在于它的代价函数是凸函数，不存在局部最小值。