机器学习之数学系列（三）推导线性支持向量机SVM

  支持向量机（SVM）是一个二分类模型，它的学习思路是在特征空间中寻找几何间隔最大的分离超平面。对支持向量机的研究分成三类1.线性可分支持向量机 2.线性支持向量机 3.非线性支持向量机。本文主要推导线性支持向量机的相关公式，因为线性可分支持向量机是线性支持向量机的特殊情况，而线性支持向量机又可以推广到非线性支持向量机。这里默认大家对支持向量机中的术语有了解。

（一）线性支持向量机的学习策略：在特征空间中寻找软间隔距离最大化的超平面
  在特征空间中寻找软间隔距离最大化的超平面要求：1.这个特征空间是线性可分或近似线性可分的 2.最大化数据集到超平面的几何距离(与w相关) 3.对每一个样本点的约束条件放宽要求软间隔即可(加入松弛变量$\epsilon$_i)。后面我们称(1)式为原问题。

（二）求解二次规划问题
  我们先将(1)这个约束优化问题利用广义拉格朗日函数进行等价转换具体阐述如下：
考虑如下约束优化问题：

引入广义拉格朗日函数：
现在我要计算广义拉格朗日函数以$\alpha$和$\beta$为自变量的目标函数最大值即：

  假设x满足原始约束，则有L(x,$\alpha$, $\beta$)以$\alpha$和$\beta$为自变量的最大值就是f(x)。$\alpha$_i与c_i(x)是异号的，其乘积为非正，故而乘积最大值为0，这就是为什么要求$\alpha$_i非负就是为了保证这个乘积为非正。此外，当$\alpha$_i>0时，为取得max L=f(x)此时有c_i(x)=0，这一点将用到SVM求b，即利用$\alpha$_i>0时有c_i(x)=0成立从而推出b。
  假设x不满足约束条件则L(x,$\alpha$, $\beta$)以$\alpha$和$\beta$为自变量(x可以看成是参数)的最大值应该是正无穷。这样一来拉格朗日函数在以其拉格朗日乘子为自变量的情况下如果有最大值，其结果值就应当是f(x)且此时满足约束条件。所以原始优化问题可以等价转化为：

  因为拉格朗日函数最小最大问题与原始问题是等价的，所以拉格朗日函数最小最大问的解就是原始问题的解，如果这个最小最大问题好解的话那么即可解决原始问题。若不好解，这里介绍对偶算法来求解它即：将拉格朗日最小最大问题作为优化问题，利用拉格朗日对偶性，通过求解对偶问题得到原始问题的最优解。为什么要线性支持向量机要引入对偶算法a.对偶问题往往更容易求解 b.自然引入核函数，进而推广到非线性分类问题。
  首先针对线性支持向量机，定义广义拉格朗日函数，其中$\alpha$_i为非负拉格朗日乘子：

根据拉格朗日对偶性原始问题的对偶问题是拉格朗日函数的最大最小问题^[1]即：

  然后，求解(3)式这个无约束条件的最值问题:

  现在求(3)式即是求(7)式，我们可以获得(7)式的解$\alpha$，很明显解这个对偶问题比求原始问题更容易些。由式(4)可求得对偶问题的w解，b暂且先不管，我后面会说。因为根据定理C.1：当原始问题和对偶问题都有最优解时，则原始问题广义拉格朗日函数的最值是不小于对偶问题广义拉格朗日函数的最值的。我们需要的是取等成立时，就能使得对偶问题的解即为原始问题的解。什么时候等式成立呢？当原始问题的解和对偶问题的解满足KKT条件时^[1]。接下来阐述KKT条件：

  从前面的推导过程来看原始问题的解和对偶问题的解是满足KKT条件的，所以线性支持向量机原始问题的解是：(根据kkt第二个条件当$\alpha$_i^*>0时，c_i(x)=0，这可用求b值)

  至此实现了对原始二次规划问题的求解。很明显(7)式这个对偶问题的解要比原始问题更容易求解，它仅是关于$\alpha$向量和等式约束的规划问题。此外，(7)(8)式中都有在线性可分特征空间中两向量的内积运算，这将有助于后面核函数以及非线性支持向量机的提出，这就是为什么原始二次规划问题我们建议用对偶算法求解。

（三）线性支持向量机学习算法

（四）关于线性可分支持向量机和非线性支持向量机




reference:
[1]《统计学习方法》，李航，P225-P228.