机器学习（一）svm运用实例

机器学习（一）svm运用实例

这里我使用sklearn.svm.SVC函数，首先介绍一下函数参数。

sklearn.svm.SVC(C=1.0, kernel=‘rbf’, degree=3, gamma=‘auto’,
coef0=0.0, shrinking=True, probability=False,tol=0.001,
cache_size=200, class_weight=None, verbose=False, max_iter=-1,
decision_function_shape=None,random_state=None)

C：C-SVC的惩罚参数C?默认值是1.0。C越大，相当于惩罚松弛变量，希望松弛变量接近0，即对误分类的惩罚增大，趋向于对训练集全分对的情况，这样对训练集测试时准确率很高，但泛化能力弱。C值小，对误分类的惩罚减小，允许容错，将他们当成噪声点，泛化能力较强。
Kernel：核函数，默认是rbf，可以是‘linear’, ‘poly’, ‘rbf’, ‘sigmoid’‘precomputed’
degree ：多项式poly函数的维度，默认是3，选择其他核函数时会被忽略。
gamma ：‘rbf’,‘poly’ 和‘sigmoid’的核函数参数。默认是’auto’，则会选择1/n_features
coef0 ：核函数的常数项。对于‘poly’和 ‘sigmoid’有用。
probability ：是否采用概率估计？.默认为False
shrinking ：是否采用shrinking heuristic方法，默认为true
tol ：停止训练的误差值大小，默认为1e-3
cache_size ：核函数cache缓存大小，默认为200
class_weight ：类别的权重，字典形式传递。设置第几类的参数C为weightC(C-SVC中的C)
verbose ：允许冗余输出？
max_iter ：最大迭代次数。-1为无限制。
decision_function_shape ：‘ovo’, ‘ovr’ or None, default=None3
random_state ：数据洗牌时的种子值，int值
主要调节的参数有：C、kernel、degree、gamma、coef0。*

1. 创造数据集函数
   make_blobs
   x为特征y为标签
   X, y = make_blobs(n_samples=200, centers=2, random_state=0, cluster_std=0.3)

2. 画图

   • 找出x轴，y轴的长度，x[:,0].min()+1 x[:.0].man()+1
   • 生成坐标矩阵
     numpy.meshgrid()生成网格点坐标矩阵
     [X,Y] = meshgrid(x,y) 将向量x和y定义的区域转换成矩阵X和Y,其中矩阵X的行向量是向量x的简单复制，而矩阵Y的列向量是向量y的简单复制(注：下面代码中X和Y均是数组，在文中统一称为矩阵了)。假设x是长度为m的向量，y是长度为n的向量，则最终生成的矩阵X和Y的维度都是 nm （注意不是mn）
     np.linspace主要用来创建等差数列
     np.arange函数返回一个有终点和起点的固定步长的排列
     np.c_给numpy数组添加列
     np.r_给numpy数组添加行
   3. 生成数据作图
      np.ravel()将采样点的x坐标摊平,
      np.r_是按列连接两个矩阵，就是把两矩阵上下相加，要求列数相等。
      np.c_是按行连接两个矩阵，就是把两矩阵左右相加，要求行数相等。
      xx.shape表示一共有多少个元素
      Z.reshape作用就是把数据原来的尺寸更改为我们想要的尺寸
   4. 绘制
      plt.contourf(xx, yy, Z, cmap=‘hot’, alpha=0.5)等高线作图
      np.unique(y)该函数是去除数组中的重复数字，并进行排序之后输出

from sklearn import svm
from sklearn.datasets import make_blobs
from matplotlib import pyplot as plt
import numpy as np
X, y = make_blobs(n_samples=300, centers=2, random_state=0, cluster_std=0.3)
clf = svm.SVC(kernel='linear', C=1.0)
clf.fit(X, y)
plt.figure(figsize=(12, 4), dpi=144)
h = 0.02
x_min, x_max = X[:, 0].min() - 1, X[:, 0].max() + 1
y_min, y_max = X[:, 1].min() - 1, X[:, 1].max() + 1
# 使用np.meshgrid()扩充为两轴的所有可能取值的组合
xx, yy = np.meshgrid(np.arange(x_min, x_max, h),
                     np.arange(y_min, y_max, h))
plt.xlim(xx.min(), xx.max())
plt.ylim(yy.min(), yy.max())
Z = clf.predict(np.c_[xx.ravel(), yy.ravel()])
Z = Z.reshape(xx.shape)
plt.contourf(xx, yy, Z, cmap='hot', alpha=0.1)
markers = ['o', 's', '**']
colors = ['r', 'g', 'y']

labels = np.unique(y)
for label in labels:
    plt.scatter(X[y == label][:, 0],
                X[y == label][:, 1],
                c=colors[label],
                marker=markers[label])


sv = clf.support_vectors_
# 绘制为白色'x',这样就会贴在之前的有色点上了
plt.scatter(sv[:, 0], sv[:, 1], c='y', marker='x')
plt.style.use("ggplot")
plt.title('svm')

plt.xlabel('X1 ')
plt.ylabel('X2 ')
plt.show()

运行结果