matlab rbf核函数,2018-04-25第四周 优化2：RBF核函数的svm编写+参数尝试

由于线性核的效果不是很好，但是判断数据是否线性可分最直观的方法是画图统计，但是我们的数据是400维的高维数据 ，显然判断起来需要耗费大量的工程。查阅大量资料后，我准备更改核函数为rbf核，即将迎接我的将是大量的调参过程。

一、核函数选择策略

1). Linear核：主要用于线性可分的情形。参数少，速度快，对于一般数据，分类效果已经很理想了。

2). RBF核：主要用于线性不可分的情形。参数多，分类结果非常依赖于参数。有很多人是通过训练数据的交叉验证来寻找合适的参数，不过这个过程比较耗时。我个人的体会是：使用libsvm，默认参数，RBF核比Linear核效果稍差。通过进行大量参数的尝试，一般能找到比linear核更好的效果。

但是应用最广的应该就是RBF核了，无论是小样本还是大样本，高维还是低维等情况，RBF核函数均适用，它相比其他的函数有一下优点：

1)RBF核函数可以将一个样本映射到一个更高维的空间，而且线性核函数是RBF的一个特例，也就是说如果考虑使用RBF，那么就没有必要考虑线性核函数了。

2)与多项式核函数相比，RBF需要确定的参数要少，核函数参数的多少直接影响函数的复杂程度。另外，当多项式的阶数比较高时，核矩阵的元素值将趋于无穷大或无穷小，而RBF则在上，会减少数值的计算困难。

3)对于某些参数，RBF和sigmoid具有相似的性能。

二、参数设置

.sentences：可以是一个·ist，对于大语料集，建议使用BrownCorpus,Text8Corpus或ineSentence构建。

·  sg： 用于设置训练算法，默认为0，对应CBOW算法；sg=1则采用skip-gram算法。

·  size：是指特征向量的维度，默认为100。大的size需要更多的训练数据,但是效果会更好. 推荐值为几十到几百。

·  window：表示当前词与预测词在一个句子中的最大距离是多少

·  alpha: 是学习速率

·  seed：用于随机数发生器。与初始化词向量有关。

·  min_count: 可以对字典做截断. 词频少于min_count次数的单词会被丢弃掉, 默认值为5

·  max_vocab_size: 设置词向量构建期间的RAM限制。如果所有独立单词个数超过这个，则就消除掉其中最不频繁的一个。每一千万个单词需要大约1GB的RAM。设置成None则没有限制。

·  sample: 高频词汇的随机降采样的配置阈值，默认为1e-3，范围是(0,1e-5)

·  workers参数控制训练的并行数。

·  hs: 如果为1则会采用hierarchica·softmax技巧。如果设置为0(defau·t)，则negative sampling会被使用。

·  negative: 如果>0,则会采用negativesamp·ing，用于设置多少个noise words

·  cbow_mean: 如果为0，则采用上下文词向量的和，如果为1(defau·t)则采用均值。只有使用CBOW的时候才起作用。

·  hashfxn： hash函数来初始化权重。默认使用python的hash函数

·  iter： 迭代次数，默认为5

·  trim_rule： 用于设置词汇表的整理规则，指定那些单词要留下，哪些要被删除。可以设置为None(min_count会被使用)或者一个接受()并返回RU·E_DISCARD,uti·s.RU·E_KEEP或者uti·s.RU·E_DEFAU·T的函数。

·  sorted_vocab： 如果为1(defau·t)，则在分配word index 的时候会先对单词基于频率降序排序。

·  batch_words：每一批的传递给线程的单词的数量，默认为10000

三、核心代码如下

四、调参数情况与结果

调参数真的是一个非常痛苦的过程，几乎这周的时间全部花在了调参数上，SVM模型有两个非常重要的参数C与gamma。其中 C是惩罚系数，即对误差的宽容度。c越高，说明越不能容忍出现误差,容易过拟合。C越小，容易欠拟合。C过大或过小，泛化能力变差。gamma是选择RBF函数作为kernel后，该函数自带的一个参数。隐含地决定了数据映射到新的特征空间后的分布，gamma越大，支持向量越少，gamma值越小，支持向量越多。支持向量的个数影响训练与预测的速度。

我的理解：如果gamma设的太大，sigma会很小，sigma很小的高斯分布长得又高又瘦， 会造成只会作用于支持向量样本附近，对于未知样本分类效果很差，存在训练准确率可以很高，(如果让无穷小，则理论上，高斯核的SVM可以拟合任何非线性数据，但容易过拟合)而测试准确率不高的可能，就是通常说的过训练；而如果设的过小，则会造成平滑效应太大，无法在训练集上得到特别高的准确率，也会影响测试集的准确率。

通过查阅资料，C一般可以选择为：10^t , t=[- 4，4]就是0.0001 到10000。选择的越大，表示对错误例惩罚程度越大，可能会导致模型过拟。gamma参数通常可选择下面几个数的倒数：0.1 0.2 0.4 0.6 0.8 1.6 3.2 6.4 12.8，默认的是类别数的倒数，即1/k，2分类的话就是0.5)我尝试了很多种可能，最后最好的是c=1，gamma=0.001.准确率为0.86，比起线性核好了不少呀！如下所示

接下来我打算运用 Grid Search 对 SVM 进行调参，网格搜索实际上就是暴力搜索： 首先为想要调参的参数设定一组候选值，然后网格搜索会穷举各种参数组合，根据设定的评分机制找到最好的那一组设置。