LibSVM基础知识总结

LibSVM是台湾林智仁(Chih-JenLin)教授2001年开发的一套支持向量机的库，这套库运算速度还是挺快的，可以很方便的对数据做分类或回归。由于libSVM程序小，运用灵活，输入参数少，并且是开源的，易于扩展，因此成为目前国内应用最多的SVM的库。

这套库可以从http://www.csie.ntu.edu.tw/~cjlin/免费获得，目前已经发展到2.89版。下载.zip格式的版本，解压后可以看到，主要有5个文件夹和一些c++源码文件。

Java——主要是应用于java平台；

Python——是用来参数优选的工具，稍后介绍；

svm-toy——一个可视化的工具，用来展示训练数据和分类界面，里面是源码，其编译后的程序在windows文件夹下；

tools——主要包含四个python文件，用来数据集抽样(subset)，参数优选（grid），集成测试(easy),数据检查(checkdata)；

windows——包含libSVM四个exe程序包，我们所用的库就是他们，里面还有个heart_scale，是一个样本文件，可以用记事本打开，用来测试用的。

其他.h和.cpp文件都是程序的源码，可以编译出相应的.exe文件。其中，最重要的是svm.h和svm.cpp文件，svm-predict.c、svm-scale.c和svm-train.c（还有一个svm-toy.c在svm-toy文件夹中）都是调用的这个文件中的接口函数，编译后就是windows下相应的四个exe程序。另外，里面的README 跟 FAQ也是很好的文件，对于初学者如果E文过得去，可以看一下。

下面以svm-train为例，简单的介绍下，怎么编译：（这步很简单，也没必要，对于仅仅使用libsvm库的人来说，windows下的4个exe包已经足够了，之所以加这步，是为了那些做深入研究的人，可以按照自己的思路改变一下svm.cpp，然后编译验证）

我用的是VC 6.0，新建一个控制台（win32 console application）程序，程序名叫svm-train（这个可以随意），点击OK后，选择empty。

进入程序框架后，里面什么都没有，然后找到你的程序目录，把svm-train.c、svm.h和svm.cpp拷贝过去（.c文件是c语言的，要是你习惯了c++，你尽可以改成.cpp），然后把这3个文件添加到工程，编译。。。如果没错误，到debug下面看看，是不是有个svm-train.exe。其实windows下的svm-train.exe就是这样编译出来的。

哈哈，怎么样是不是很简单。但是，这样的程序直接运行没意义，他要在dos下运行，接收参数才行。下面开始我们的libsvm的体验之旅。

 

第一次体验LibSvm

       1.把LibSVM包解压到相应的目录（因为我只需要里面windows文件夹中的东东，我们也可以只把windows文件夹拷到相应的目录），比如D:/libsvm。

       2.在电脑“开始”的“运行”中输入cmd，进入DOS环境。定位到d:/libsvm下，具体命令如下:

             d: (回车)

            cd/libsvm/windows (回车)

             (上面第一行是先定位到盘符d，第二行cd是定位到相应盘符下的目录)

       3.进行libsvm训练，输入命令：(这里要注意文件的名字，2.89以前版本都是svmtrain.exe)

        svm-train heart_scaletrain.model

        heart_scale——是目录下的已经存在的样本文件，要换成自己的文件，只需改成自己的文件名就可以了

       train.model——是创建的结果文件，保存了训练后的结果

可以看到结果：

*

optimizationfinished, #iter = 162

nu =0.431029

obj =-100.877288, rho = 0.424462

nSV = 132,nBSV = 107

     Total nSV = 132

其中，#iter为迭代次数，nu是你选择的核函数类型的参数，obj为SVM文件转换为的二次规划求解得到的最小值，rho为判决函数的偏置项b，nSV为标准支持向量个数(0<a[i]<c)，nBSV为边界上的支持向量个数(a[i]=c)，TotalnSV为支持向量总个数（对于两类来说，因为只有一个分类模型Total nSV = nSV，但是对于多类，这个是各个分类模型的nSV之和）。

  

在目录下，还可以看到产生了一个train.model文件，可以用记事本打开，记录了训练后的结果。

svm_typec_svc//所选择的svm类型，默认为c_svc

      kernel_typerbf//训练采用的核函数类型，此处为RBF核

gamma0.0769231//RBF核的参数γ

      nr_class2//类别数，此处为两分类问题

total_sv132//支持向量总个数

rho0.424462//判决函数的偏置项b

label1 -1//原始文件中的类别标识

nr_sv64 68//每个类的支持向量机的个数

SV//以下为各个类的权系数及相应的支持向量

11:0.166667 2:1 3:-0.333333 … 10:-0.903226 11:-1 12:-1 13:1

0.51048321289851641:0.125 2:1 3:0.333333 … 10:-0.806452 12:-0.333333 13:0.5

………..

-11:-0.375 2:1 3:-0.333333…. 10:-1 11:-1 12:-1 13:1

-11:0.166667 2:1 3:1 …. 10:-0.870968 12:-1 13:0.5

 

到现在，第一次体验libsvm到这就基本结束了，其他的两个(svm-predict、svm-scale)的使用过程类似。怎么样，挺爽的吧。对于个别参数你还不理解，没关系，下面我们会具体讲到。

LibSvm使用规范:

其实，这部分写也是多余，google一下“libsvm使用”，就会N多的资源，但是，为了让你少费点心，在这里就简单的介绍一下，有不清楚的只有动动你的mouse了。需要说明的是，2.89版本以前，都是svmscale、svmtrain和svmpredict，最新的是svm-scale、svm-train和svm-predict，要是用不习惯，只需要把那四个exe文件名去掉中间的短横线，改成svmscale、svmtrain和svmpredict就可以了，我们还是按原来函数名的讲。

1. libSVM的数据格式

Label1:value 2:value ….

Label：是类别的标识，比如上节train.model中提到的1 -1，你可以自己随意定，比如-10，0，15。当然，如果是回归，这是目标值，就要实事求是了。

Value：就是要训练的数据，从分类的角度来说就是特征值，数据之间用空格隔开

比如: -15 1:0.708 2:1056 3:-0.3333

需要注意的是，如果特征值为0，特征冒号前面的(姑且称做序号)可以不连续。如：

-151:0.708 3:-0.3333

表明第2个特征值为0，从编程的角度来说，这样做可以减少内存的使用，并提高做矩阵内积时的运算速度。我们平时在matlab中产生的数据都是没有序号的常规矩阵，所以为了方便最好编一个程序进行转化。

 

2.svmscale的用法

svmscale是用来对原始样本进行缩放的，范围可以自己定，一般是[0,1]或[-1,1]。缩放的目的主要是

1）防止某个特征过大或过小，从而在训练中起的作用不平衡；

2）为了计算速度。因为在核计算中，会用到内积运算或exp运算，不平衡的数据可能造成计算困难。

用法：svmscale [-l lower] [-u upper]

[-y y_lower y_upper]

[-s save_filename]

[-r restore_filename]filename

其中，[]中都是可选项：

      -l：设定数据下限；lower：设定的数据下限值，缺省为-1

     -u：设定数据上限；upper：设定的数据上限值，缺省为 1

     -y：是否对目标值同时进行缩放；y_lower为下限值，y_upper为上限值；

     -ssave_filename：表示将缩放的规则保存为文件save_filename；

     -rrestore_filename：表示将按照已经存在的规则文件restore_filename进行缩放；

     filename：待缩放的数据文件，文件格式按照libsvm格式。

默认情况下，只需要输入要缩放的文件名就可以了：比如(已经存在的文件为test.txt)

svmscaletest.txt

这时，test.txt中的数据已经变成[-1,1]之间的数据了。但是，这样原来的数据就被覆盖了，为了让规划好的数据另存为其他的文件，我们用一个dos的重定向符 > 来另存为(假设为out.txt)：

     svmscale test.txt > out.txt

运行后，我们就可以看到目录下多了一个out.txt文件，那就是规范后的数据。假如，我们想设定数据范围[0,1]，并把规则保存为test.range文件:

svmscale–l 0 –u 1 –s test.range test.txt > out.txt

这时，目录下又多了一个test.range文件，可以用记事本打开，下次就可以用-r test.range来载入了。

3.svmtrain的用法

svmtrain我们在前面已经接触过，他主要实现对训练数据集的训练，并可以获得SVM模型。

用法： svmtrain [options] training_set_file [model_file]

其中，options为操作参数，可用的选项即表示的涵义如下所示:

-s设置svm类型：

0 –C-SVC

1 –v-SVC

2 –one-class-SVM

3 –ε-SVR

4 –n - SVR

-t设置核函数类型，默认值为2

0 --线性核：u'*v

1 --多项式核：(g*u'*v+coef0)^degree

2 -- RBF核：exp(-γ*||u-v||²)

3 --sigmoid核：tanh(γ*u'*v+coef0)

-ddegree:设置多项式核中degree的值，默认为3

-gγ:设置核函数中γ的值，默认为1/k，k为特征（或者说是属性）数；

-rcoef 0:设置核函数中的coef 0，默认值为0；

-ccost：设置C-SVC、ε-SVR、n - SVR中从惩罚系数C，默认值为1；

-nv：设置v-SVC、one-class-SVM与n - SVR中参数n，默认值0.5；

-pε：设置v-SVR的损失函数中的e，默认值为0.1；

-m cachesize：设置cache内存大小，以MB为单位，默认值为40；

-eε：设置终止准则中的可容忍偏差，默认值为0.001；

-hshrinking：是否使用启发式，可选值为0或1，默认值为1；

-b概率估计：是否计算SVC或SVR的概率估计，可选值0或1，默认0；

-wiweight：对各类样本的惩罚系数C加权，默认值为1；

-vn：n折交叉验证模式；

model_file：可选项，为要保存的结果文件，称为模型文件，以便在预测时使用。

默认情况下，只需要给函数提供一个样本文件名就可以了，但为了能保存结果，还是要提供一个结果文件名，比如:test.model,则命令为：

svmtraintest.txt test.model

 

4.svmpredict的用法

svmpredict是根据训练获得的模型，对数据集合进行预测。

用法：svmpredict [options] test_file model_fileoutput_file

其中，options为操作参数，可用的选项即表示的涵义如下所示:

-bprobability_estimates——是否需要进行概率估计预测，可选值为0或者1，默认值为0。

model_file——是由svmtrain产生的模型文件；

test_file——是要进行预测的数据文件，格式也要符合libsvm格式，即使不知道label的值，也要任意填一个，svmpredict会在output_file中给出正确的label结果，如果知道label的值，就会输出正确率；

output_file——是svmpredict的输出文件，表示预测的结果值。

 

Examplesof options: -s 0 -c 10 -t 1 -g 1 -r 1 -d 3

Classify abinary data with polynomial kernel (u'v+1)^3 and C = 10

 

 

options:

-ssvm_type : set type of SVM (default 0)

       0 -- C-SVC

       1 -- nu-SVC

       2 -- one-class SVM

       3 -- epsilon-SVR

       4 -- nu-SVR

-t kernel_type: set type of kernel function (default 2)

       0 -- linear: u'*v

       1 -- polynomial: (gamma*u'*v +coef0)^degree

       2 -- radial basis function:exp(-gamma*|u-v|^2)

       3 -- sigmoid: tanh(gamma*u'*v + coef0)

-d degree: set degree in kernel function (default 3)

-g gamma :set gamma in kernel function (default 1/num_features)

-r coef0 :set coef0 in kernel function (default 0)

-c cost :set the parameter C of C-SVC, epsilon-SVR, and nu-SVR (default 1)

-n nu :set the parameter nu of nu-SVC, one-class SVM, and nu-SVR (default 0.5)

-p epsilon: set the epsilon in loss function of epsilon-SVR (default 0.1)

-mcachesize : set cache memory size in MB (default 100)

-e epsilon: set tolerance of termination criterion (default 0.001)

-hshrinking: whether to use the shrinking heuristics, 0 or 1 (default 1)

-bprobability_estimates: whether to train a SVC or SVR model for probabilityestimates, 0 or 1 (default 0)

-wiweight: set the parameter C of class i to weight*C, for C-SVC (default 1)

 

The k inthe -g option means the number of attributes in the input data.