机器学习入门（二十一）——SVM（2）

1.0 Soft Margin

1.1 Soft Margin的作用

        在线性可分问题中，对于样本点来说，存在一根直线可以将样本点划分，就称之为Hard Margin SVM；但是有时候会存在一些噪声或者异常点，一条划分直线不能将其完全分开，此时就提出了Soft Margin SVM。

1.2 Soft Margin的思想

        Soft Margin SVM的思想也很朴素，就是在Hard Margin的基础上，将原来的约束条件放宽一些。增加容错性。

        Hard Margin中的目标函数和约束条件如下。对于约束条件，其含义就是各个点到决策边界的距离要大于margin边界（上下margin边界）到决策边界的距离，即就是要求在margin中不能存在任何一个。

      

        Soft Margin就是对这个约束条件进行适当放宽，允许部分点存在于margin内，即部分点到决策边界的距离可以在一定程度上小于margin边界到决策边界的距离，于是有：

      ，

        当然也不能无限放大，可以在目标函数中加上所有点容错空间的和，就可以实现在最小化的同时，允许条件放宽一部分。使用参数C来平衡的重要程度：

     ，

        上面表达式的形式，其实就相当于在Soft Margin中加入了L1正则，就是正则化项，它所起到的作用就是让模型的拥有一定的容错能力，泛化性有所提升。超参数越大，为使得目标函数最小，也要越小。如果取正无穷，意味着逼迫着容错空间趋近于零，也就变成了Hard Margin SVM

        相应的，也有L2正则的形式：。

1.3 Soft Margin目标函数

        用拉格朗日乘数法构造soft margin目标函数：

        与Hard Margin的求解方法一样，分别对，，求导：

        

        

        

        代入中，依然可得到对偶问题：

，      ，

2.0 sklearn中的SVM

        在使用SVM算法时，需要先对数据进行标准化处理。SVM算法寻找的是使得Margin区间最大的决策边界（超平面），而衡量Margin使用的是数据点之间的距离。涉及距离的，就应当对量纲问题进行关注，即进行标准化处理。如果特征在不同维度上，数据尺度不同的话，非常影响SVM算法的决策边界。

2.1 数据准备

        使用sklearn.datasets中的iris数据集，筛选其中二维特征和两类标签作为实例数据，并对数据标准化处理：

---

import matplotlib.pyplot as plt

import numpy as np

from sklearn import datasets

iris = datasets.load_iris()

X = iris.data

y = iris.target

X = X[y<2,:2]

y = y[y<2]

plt.scatter(X[y==0,0], X[y==0,1], color='red')

plt.scatter(X[y==1,0], X[y==1,1], color='blue')

plt.show()

from sklearn.preprocessing import StandardScaler        # 数据标准化

standardScaler = StandardScaler()

standardScaler.fit(X)

x_std = standardScaler.transform(X)

---

2.2 SVM使用及C的选择

2.2.1 Hard Margin SVM

        使用sklearn.svm包中的类LinearSVC，即使用支撑向量机做分类。首先取一个非常大的C值进行观察，在这种情况下，算法近似Hard Margin：

---

from sklearn.svm import LinearSVC

svc = LinearSVC(C=1e9)

svc.fit(X_std,y)

svc.coef_  # array([[ 4.03239856, -2.50698541]])

svc.intercept_  # array([0.92736835])

---

        绘制Hard Margin SVM的决策边界，如下图：有三个蓝色数据点落在上面的边界，有两个橙色的数据点落在下边界上，这就是支撑向量。因为近似于Hard Margin SVM 因此Margin之间是没有任何数据的。既保证了正确分类，又让里决策边界最近的点到决策边界的距离最远。

2.2.2 Soft Margin SVM

       取一个非常小的C值，建立Soft Margin SVM模型：

---

svc2 = LinearSVC(C=0.01)

svc2.fit(X_std, y)

---

         绘制Soft Margin SVM的决策边界，如下图：此时有一个蓝色的点被错误地分类了；并且随着C减小，Margin区域越大，其中包含了很多数据点，给出了较大的容错空间。