小强学AI之 - 3支持向量机(support vector machines SVMs)

前记

上一篇中,我们了解了朴素贝叶斯。现在知道了,朴素贝叶斯是监督学习的一种算法。
朴素贝叶斯特殊的一点在于,这种算法非常适合文本分类。在处理文本时,常见的做法是将每个单词看作一个特征,这样就会有大量的特征。朴素贝叶斯假设各个特征之间独立的,并且算法又相对简单,使得它在文本分类应用中发挥作用。

支持向量机SVMs(support vector machines)

另一种监督分类算法支持向量机SVMs(support vector machines)。

SVMs出现的时间不久,由Vadimir Vaplik(俄罗斯人)提出。
假设我们有一些两种不同类型的数据。支持向量机就是在两类数据之间寻找分隔线(通常称之为超平面)的一种算法。

概念
margin - maximizes distance to nearest point
区分两个类的分隔线与两个类的最近点的距离。最大化这个距离,就可以提高分类的稳健性。

SVM的内部原理也是最大限度的提升结果的稳健性。
SVM总是首先考虑分类正确性,然后才考虑对间隔最大化。

异常值响应
对于异常值,SVM原则是尽量找到决策面,并允许单个异常值在决策面的另一侧。
实际上 SVM对于异常值非常健壮。在某种程度上在找出最大间隔和忽略异常值之间做了均衡 。
我们也可以通过修改SVM的参数,决定了它如何检测新的异常值。

用法
同贝叶斯差不多.

  1. 导入
    from sklearn import SVM
  2. 创建分类器
    svm.SVC()
  3. 训练(拟合)
    fit
  4. 分类
    predict

函数原型:

class sklearn.svm.SVC(C=1.0, kernel='rbf', degree=3, gamma='auto', coef0=0.0, shrinking=True, probability=False, tol=0.001, cache_size=200, class_weight=None, verbose=False, max_iter=-1, decision_function_shape=None, random_state=None)[source]

各参数解释如下:

1. 核函数

SVM可以生成非常复杂的决策边界。
SVM是基于线性分隔的分类器,但由于SVM会创建新特征,使得SVM可以学习非线性决策面。
这些新特性就是借助创建SVM时传入的参数kernel来决定的。

定义

可以将低维度的输出空间(特征空间)映射到高维度空间的函数。我们称之为核函数。
通过使用这种映射,使得原来不可线性分离的内容变为可分离。
SVM将这些分类分离后,获取解并返回到原始空间。这样就得到了一个非线性分隔。
这是SVM非常重要的优点。通过在更高维度的空间使用SVM,可以很容易的找出最佳的线性分类器。或决策面。
在所有机器学习中,SVM是最主要的技巧之一。

参数kernel可选择如下几种:



当然,也可以自己定义。

C

C值越大,可以获得更多的训练点。也可以说,C越大,可以获得更复杂的决策边界。
到底是想要一条直线的决策边界,还是想要一条弯曲的边界以提高分类准确度,这就是机器学习中的艺术性所在(人们口中常说的调参狗?)。

咖玛

咖玛值有什么作用?我在linear方法下,测试了一些值(1.0, 100.0, 1000,0)没有发现明显区别。问题先保留。如果有消息再回来补充。

过拟合fitting

如果参数不合适,会导致本应很简单的决策面变得复杂。所以要避免过度拟合。
避免的方法就是指定SVM的参数,也就是调参(这就是很多人说的,机器学习的初级阶段就是调参)以防止过度拟合。

当然,也有自动检测的方法,后面会学到。

优缺点

SVM在复杂的但具有明显分隔边界的情况下,表现十分出色。
但在海量数据集中表现不太好。
因为当训练集变大时,训练时间是通常会成倍增长。
另外,噪音过多的情况下此方法效果也不好。所以如果要分类的类别之间重叠较为严重,那就需要找一些独立的特征,这时使用贝叶斯分类器会更有效。

总结

朴素贝叶斯速度通常比SVM速度快。适合文本等海量数据集。
但SVM在很多方面也很优秀,通常准确率也比贝叶斯高。
所以,选择合适的算法很重要。另外,根据选择的算法不同,还需要考虑相应的参数调整以及过拟合的可能性(特别是在你没有大量训练数据的情况下)。

调整参数的工作量很大,后面会介绍 GridCV(一种几乎能自动查找最优参数调整的优秀 sklearn 工具)。

调参!调参!调参!
我的电脑i5-4460 CPU @ 3.20GHz,训练安然邮件数据集7000多,要100秒,如果要手工调参的话,有点太耗时了。有没有更好的办法???换电脑?
望有经验的同学指点一下。谢谢了。

代码片段

### features_train and features_test are the features for the training
### and testing datasets, respectively
### labels_train and labels_test are the corresponding item labels
features_train, features_test, labels_train, labels_test = preprocess()


#########################################################
### your code goes here ###
#features_train = features_train[:len(features_train)/100] 
#labels_train = labels_train[:len(labels_train)/100] 

print("features lenghth:",len(features_test))

from sklearn.svm import SVC

clf=SVC(kernel="rbf", C=10000.0)

t0 = time()
clf.fit(features_train, labels_train)
print "training time:", round(time()-t0, 3), "s"

t0 = time()
pred=clf.predict(features_test)
print "predict time:", round(time()-t0, 3), "s"

from sklearn.metrics import accuracy_score
print(accuracy_score(pred, labels_test))
i=0
for label in pred:
    if label == 1:
        i = i+1
print("total chris:", i)

#########################################################

参考:
Support Vector Machines-kernel functions
sklearn.svm.SVC
机器学习入门 - Udacity

你可能感兴趣的:(小强学AI之 - 3支持向量机(support vector machines SVMs))