机器学习之支持向量机

支持向量机推导过程

支持向量机是机器学习中最复杂的内容之一，以下就展示支持向量机具体推导过程。
推导分为以下几个部分：

1. 数据线性可分
2. 拉格朗日乘子以及对偶问题
3. 数据部分线性可分

1. 当数据线性可分时原始优化问题推导
   支持向量机的核心在于在空间中找到一个超平面(决策平面)：
   $$w^{T}x+b=0$$使得两类样本点分布在超平面的两侧，对于正样本y=+1，满足：
   $$w^{T}x+b>0$$对于负样本y=-1，满足：
   $$w^{T}x+b<0$$假设正负样本中都有一些点离这个超平面最近，那么这些样本点所在的平面为：
   $$w^{T}x+b=\pm A$$这里A的大小没有意义，可以用1来代替，原因是A只是表示两个平面之间的相对距离的远近而已，我们想求的是绝对距离。
   绝对距离为：
   $$\frac{2}{\Vert w\Vert }$$
   样本点满足的约束为：
   $$\begin{array}{l}{w}^T{x}_i+b\ge 1,for{y}_i=1\\ w^T{x}_i+b\le -1,for{y}_i=-1\end{array}$$即：
   $$y_i(w^T{x}_i+b)\ge 1$$支持向量机的分类方法就是让离超平面最近的正负样本所在的平面之间的距离尽可能大，因此问题转化成一个最优化问题：
   $$\{\begin{array}{l}\underset{w,b}{\min }\frac{1}{2}{\Vert w\Vert }^2\\ s.t.y_i\left(w^T{x}_i+b\right)\ge 1,i=1,2,...,n\end{array}$$

2. 原始问题转化成对偶问题
   由于原始问题存在约束条件，为了简化问题，我们想到将目标函数和约束融入一个新的函数，也就是拉格朗日函数，通过这个函数来寻找最值。
   原始问题的拉格朗日函数为：
   $$L=\frac{1}{2}{\Vert w\Vert }^2+\sum _{i=1}^n{\alpha }_i\left(1-y_i\left(w^T{x}_i+b\right)\right),i=1,2,...n$$原始问题等价于：
   $$\{\begin{array}{l}\underset{w,b}{\min }\underset{\alpha }{\max }L\left(w,b,\alpha \right)\\ s.t{\alpha }_i\ge 0\end{array}$$
   转化成对偶问题：
   $$\{\begin{array}{l}\underset{\alpha }{\max }\underset{w,b}{\min }L\left(w,b,\alpha \right)\\ s.t{\alpha }_i\ge 0\end{array}$$只所以能够转化成对偶问题，简单来说函数最大值的最小值肯定大于等于最小值的最大值，也就是说对偶问题是原问题的下界。
   求解上述对偶问题：
   $$\{\begin{array}{l}\frac{\partial L}{\partial w}=0\\ \frac{\partial L}{\partial b}=0\end{array}\Rightarrow \{\begin{array}{l}w=\sum _{i=1}^n{\alpha }_i{y}_i{x}_i\\ \sum _{i=1}^n{\alpha }_i{y}_i=0\end{array}$$带入对偶问题得
   $$\{\begin{array}{l}\underset{\alpha }{\min }\frac{1}{2}{\Vert w\Vert }^2-\sum _{i=1}^n{\alpha }_i=\underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^n\sum _j^n{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j-\sum _{i=1}^n{\alpha }_i\\ s.t{\alpha }_i\ge 0\\ \sum _{i=1}^n{\alpha }_i{y}_i=0\end{array}$$对偶问题是通过SMO或者 Pegasos来求解得，这里就不再叙述，假设我们通过以上方法求得了${\alpha }_i$，那么根据KKT条件：

   1. 主问题可行：$y_i\left(w^T{x}_i+b\right)\le 1$
   2. 对偶问题可行：${\alpha }_i\ge 0$
   3. 互补松弛条件：${\alpha }_i\left(1-y_i\left(w^T{x}_i+b\right)\right)=0$
      我们可以求出：
      $$\begin{array}{l}{w}^{\ast }=\sum _{i=1}^n{\alpha }_i{y}_i{x}_i\\ b^{\ast }=y_k-w^T{x}_k{\alpha }_k>0\end{array}$$

3. 当数据部分线性可分
   有些点满足$y_i\left(w^{T}x+b\right)\le 1$，对于这些点我们在目标函数上施加惩罚，惩罚的大小就是$1-y_i\left(w^{T}x+b\right)$，即：
   $$\underset{w,b}{\min }\frac{1}{2}{\Vert w\Vert }^2+\sum _{i=1}^{n}max\left\{0,1-y_i\left(w^T{x}_i+b\right)\right\}$$令${\zeta }_i=1-y_i\left(w^T{x}_i+b\right)$，得到优化函数为：
   $$\{\begin{array}{l}\underset{w,b}{\min }\frac{1}{2}{\Vert w\Vert }^2+C\sum _{i=1}^n{\zeta }_i\\ s.t.y_i\left(w^{T}x+b\right)\ge 1-{\zeta }_i{\zeta }_i\ge 0\end{array}$$同样的引入拉格朗日乘子，将原问题转化成对偶问题：
   $$\{\begin{array}{l}\underset{w,b}{\min }\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j\left(x_i^T{x}_j\right)-\sum _{i=1}^n{\alpha }_i\\ s.t.C-{\alpha }_i-{\mu }_i=0\\ {\alpha }_i\ge 0{\mu }_i\ge 0i=1,2,...n\end{array}$$我们可以看到引入松弛变量的目标函数和原来一样，只是限制条件有所不同，同样的，用SMO算法解出${\alpha }_i$后可得：
   $$\begin{array}{l}{w}^{\ast }=\sum _{i=1}^n{\alpha }_i{y}_i{x}_i\\ b^{\ast }=y_k-w^{\ast }{x}_k\end{array}$$和线性可分的情况一模一样。

支持向量机工具包

sklearn中有两种关于SVM的算法库，一种用于分类，包括SVC、NuSVC和LinearSVC。另一种用于回归，包括SVR、NuSVR和LinearSVR。

from sklearn.svm import SVC
#C代表惩罚系数，C影响泛化能力，C越大泛化能力越差
#kernel的选择：特征数远大于样本数，使用线性核，线性核速度比高斯核快
#gamma是核函数的参数，值越大，支持向量越少，越容易过拟合。
clf= SVC(C=1.0,kernel='rbf',gamma='auto')
clf.fit(data, labels)

支持向量机面试题

1. 手推SVM
2. SVM优缺点
   优点：
          a. 小样本情况下精度高
          b. 适用于样本特征比较多的情况
          c. 鲁棒性比较强，因为分离超平面只取决支持向量
   缺点：
          a. 不适用大样本，计算量大，很耗内存
          b. 类别多的情况效果差
3. SVM中核函数是什么？如何选择核函数
   核函数用来代替高维空间中的内积运算，需要满足Mercer条件(半正定函数)。常见的核函数有以下几种，它们分别使用如下场合：
          a. 线性核，适用于特征数大于样本数
          b. 高斯核，适用于样本数远大于特征数
4. 为什么原问题要转化成对偶问题求解？
   对偶问题改变了问题的复杂度，当你的样本维度比较大，用对偶问题求解的复杂度取决于样本数量。如果你的样本维度比样本数量小，就不需要转化成对偶问题。对偶问题还有内积的形式，引出了核函数的概念。