LIBSVM Introduction

1.首先从主页上下载libsvm、Python2.5.2和gnuplot 三个软件。

http://www.csie.ntu.edu.tw/~cjlin/

2.准备好数据，首先要把数据转换成Libsvm软件包要求的数据格式为：

label index1:value1 index2:value2 ...

其中对于分类来说label为类标识，指定数据的种类；对于回归来说label为目标值。（我主要要用到回归）

Index是从1开始的自然数，value是每一维的特征值。

该过程可以自己使用excel或者编写程序来完成，也可以使用网络上的FormatDataLibsvm.xls来完成。

FormatDataLibsvm.xls使用说明：

先将数据按照下列格式存放（注意label放最后面）：

value1 value2 ?? label

value1 value2 ?? label

??

然后将以上数据粘贴到FormatDataLibsvm.xls中的最左上角单元格，接着工具->宏执行行FormatDataToLibsvm宏。就可以得到libsvm要求的数据格式。将该数据存放到文本文件中进行下一步的处理。

3.对数据进行归一化。

该过程要用到libsvm软件包中的svm-scale.exe

Svm-scale用法：

用法：svmscale [-l lower] [-u upper] [-y y_lower y_upper] [-s save_filename] [-r restore_filename] filename （缺省值： lower = -1，upper = 1，没有对y进行缩放） 其中， -l：数据下限标记；lower：缩放后数据下限； -u：数据上限标记；upper：缩放后数据上限； -y：是否对目标值同时进行缩放；y_lower为下限值，y_upper为上限值；（回归需要对目标进行缩放，因此该参数可以设定为 –y -1 1 ） -s save_filename：表示将缩放的规则保存为文件save_filename； -r restore_filename：表示将缩放规则文件restore_filename载入后按此缩放； filename：待缩放的数据文件（要求满足前面所述的格式）。

缩放规则文件可以用文本浏览器打开，看到其格式为：

y

lower upper min max x

lower upper

index1 min1 max1

index2 min2 max2

?? 其中的lower 与upper 与使用时所设置的lower 与upper 含义相同；index 表 示特征序号；min 转换前该特征的最小值；max 转换前该特征的最大值。数据集的缩放结果在此情况下通过DOS窗口输出，当然也可以通过DOS的文件重定向符号“>”将结果另存为指定的文件。该文 件中的参数可用于最后面对目标值的反归一化。反归一化的公式为：

（Value-lower）*（max-min）/(upper - lower)+lower

其中value为归一化后的值，其他参数与前面介绍的相同。

建议将训练数据集与测试数据集放在同一个文本文件中一起归一化，然后再将归一化结果分成训练集和测试集。

4.训练数据，生成模型。

用法： svmtrain [options] training_set_file [model_file]

其中， options（操作参数）：可用的选项即表示的涵义如下所示 -s svm类型：设置SVM 类型，默认值为0，可选类型有（对于回归只能选3或4）：

0 -- C- SVC 1 -- n - SVC 2 -- one-class-SVM 3 -- e - SVR 4 -- n - SVR -t 核函数类型：设置核函数类型，默认值为2，可选类型有： 0 -- 线性核：u'*v 1 -- 多项式核： (g*u'*v+ coef 0)deg ree 2 -- RBF 核：e( u v 2) g - 3 -- sigmoid 核：tanh(g*u'*v+ coef 0) -d degree：核函数中的degree设置，默认值为3；

-g g ：设置核函数中的g ，默认值为1/ k ； -r coef 0：设置核函数中的coef 0，默认值为0； -c cost：设置C- SVC、e - SVR、n - SVR中从惩罚系数C，默认值为1； -n n ：设置n - SVC、one-class-SVM 与n - SVR 中参数n ，默认值0.5； -p e ：设置n - SVR的损失函数中的e ，默认值为0.1； -m cachesize：设置cache内存大小，以MB为单位，默认值为40； -e e ：设置终止准则中的可容忍偏差，默认值为0.001； -h shrinking：是否使用启发式，可选值为0 或1，默认值为1； -b 概率估计：是否计算SVC或SVR的概率估计，可选值0 或1，默认0； -wi weight：对各类样本的惩罚系数C加权，默认值为1； -v n：n折交叉验证模式。

其中-g选项中的k是指输入数据中的属性数。操作参数 -v 随机地将数据剖分为n 部分并计算交叉检验准确度和均方根误差。以上这些参数设置可以按照SVM 的类型和核函数所支持的参数进行任意组合，如果设置的参数在函数或SVM 类型中没有也不会产生影响，程序不会接受该参数；如果应有的参数设置不正确，参数将采用默认值。training_set_file是要进行训练的数据 集；model_file是训练结束后产生的模型文件，该参数如果不设置将采用默认的文件名，也可以设置成自己惯用的文件名。

本实验中的参数-s取3，-t取2（默认）还需确定的参数是-c，-g，-p

另， 实验中所需调整的重要参数是-c 和 –g，-c和-g的调整除了自己根据经验试之外，还可以使用gridregression.py对这两个参数进行优化。（需要补充）

该优化过程需要用到Python（2.5），Gnuplot（4.2），gridregression.py（该文件需要修改路径）。

然后在命令行下面运行：

python.exe gridregression.py -log2c -10,10,1 -log2g -10,10,1 -log2p -10,10,1 -s 3 –t 2 -v 5 -svmtrain E:\libsvm\libsvm-2.86\windows\svm-train.exe -gnuplot E:\libsvm\libsvm-2.86\gnuplot\bin\pgnuplot.exe E:\libsvm\libsvm-2.86\windows\train.txt > gridregression_feature.parameter

以上三个路径根据实际安装情况进行修改。

-log2c是给出参数c的范围和步长 -log2g是给出参数g的范围和步长 -log2p是给出参数p的范围和步长上面三个参数可以用默认范围和步长 -s选择SVM类型，也是只能选3或者4 -t是选择核函数 -v 10 将训练数据分成10份做交叉验证。默认为5

为了方便将gridregression.py是存放在python.exe安装目录下

trian.txt为训练数据，参数存放在gridregression_feature.parameter中，可以自己命名。

搜索结束后可以在gridregression_feature.parameter中最后一行看到最优参数。

其中，最后一行的第一个参数即为-c，第二个为-g，第三个为-p，最后一个参数为均方误差。前三个参数可以直接用于模型的训练。

然后，根据搜索得到的参数，重新训练，得到模型。

5.测试

用法：svmpredict [options] test_file model_file output_file options（操作参数）： -b probability_estimates：是否需要进行概率估计预测，可选值为0 或者1，默认值为0。 model_file 是由svmtrain 产生的模型文件；

test_file 是要进行预测的数据文件；

output_file 是svmpredict 的输出文件，表示预测的结果值。

输出结果包括均方误差（Mean squared error）和相关系数（Squared correlation coefficient）。

用LIBSVM做回归和预测的步骤（请指点）

用LIBSVM做回归和预测的步骤（请指点）

首先说明，我学习SVM才几天，对基本理论还不了解，只是想利用这一工具做自己想做的事情。摸索着做了几个实验，试着把过程写下来，请大家指点。

<1> 下载Libsvm、Python和Gnuplot。我用的版本分别是：Libsvm（2.8.1），Python（2.4），Gnuplot（3.7.3）。注意：Gnuplot一定要用3.7.3版，3.7.1版的有bug.

<2> 修改训练和测试数据的格式（可以自己用perl编个小程序）：

目标值 第一维特征编号：第一维特征值 第二维特征编号：第二维特征值 …

…

例如：

2.3 1:5.6 2:3.2

表示训练用的特征有两维，第一维是5.6，第二维是3.2，目标值是2.3

注意：训练和测试数据的格式必须相同，都如上所示。测试数据中的目标值是为了计算误差用

<3> 分别使用Libsvm中的Windows版本的工具svmscale.exe进行训练和测试数据的归一化，svmtrain.exe进行模型训练，svmpredict.exe进行预测

（1）svmscale.exe的用法：svmscale.exe feature.txt feature.scaled

默认的归一化范围是[－1，1]，可以用参数-l和-u分别调整上界和下届,feature.txt是输入特征文件名

输出的归一化特征名为feature.scaled

（2）svmtrtrain.exe训练模型

我习惯写个批处理小程序，处理起来比较方便。例如svm_train.bat中训练语句为：

svmtrain.exe -s 3 -p 0.0001 -t 2 -g 32 -c 0.53125 -n 0.99 feature.scaled

训练得到的模型为feature.scaled.model

具体的参数含义可以参考帮助文档。这里-s是选择SVM的类型。对于回归来说，只能选3或者 4，3表示epsilon-support vector regression, 4表示nu-support vector regression。-t是选择核函数，通常选用RBF核函数，原因在“A Practical Guide support vector classification”中已经简单介绍过了。-p尽量选个比较小的数字。需要仔细调整的重要参数是-c和-g。除非用 gridregression.py来搜索最优参数，否则只能自己慢慢试了。

用gridregression.py搜索最优参数的方法如下：

python.exe gridregression.py -svmtrain H:\SVM\libsvm-2.81\windows\svmtrain.exe -gnuplot C:\gp373w32\pgnuplot.exe -log2c -10,10,1 -log2g -10,10,1 -log2p -10,10,1 -v 10 -s 3 -t 2 H:\SVM\libsvm-2.81\windows\feature.scaled > gridregression_feature.parameter

注意：-svmtrain是给出svmtrain.exe所在路径，一定要是完整的全路径

-gnuplot是给出pgnuplot.exe所在路径。这里要用pgnuplot.exe这种命令行形式的，不要用wgnupl32.exe，这个是图形界面的。

-log2c是给出参数c的范围和步长

-log2g是给出参数g的范围和步长

-log2p是给出参数p的范围和步长

上面三个参数可以用默认范围和步长

-s选择SVM类型，也是只能选3或者4

-t是选择核函数

-v 10 将训练数据分成10份做交叉验证。默认为5

最后给出归一化后训练数据的全路径

搜索最优参数的过程写入文件gridregression_feature.parameter（注意别少了这个>符号啊）

根据搜索到的最优参数修改feature.scaled.model中的参数

（3）用svmpredict.exe进行预测

svmpredict.exe feature_test.scaled feature.scaled.model feature_test.predicted

其中feature_test.scaled是归一化后的测试特征文件名，feature.scaled.model是训练好的模型，SVM预测的值在feature_test.predicted中

核函数方法简介

（1）核函数发展历史

早在1964年Aizermann等在势函数方法的研究中就将该技术引入到机器学习领域，但是直到1992年Vapnik等利用该技术成功地将线性 SVMs推广到非线性SVMs时其潜力才得以充分挖掘。而核函数的理论则更为古老，Mercer定理可以追溯到1909年，再生核希尔伯特空间 (ReproducingKernel Hilbert Space, RKHS)研究是在20世纪40年代开始的。

（2）核函数方法原理

根据模式识别理论，低维空间线性不可分的模式通过非线性映射到高维特征空间则可能实现线性可分，但是如果直接采用这种技术在高维空间进行分类或回归，则存 在确定非线性映射函数的形式和参数、特征空间维数等问题，而最大的障碍则是在高维特征空间运算时存在的“维数灾难”。采用核函数技术可以有效地解决这样问 题。

设x,z∈X,X属于R（n）空间,非线性函数Φ实现输入间X到特征空间F的映射,其中F属于R（m）,n<<m。根据核函数技术有：

K(x,z) =<Φ(x),Φ(z) >  (1)

其中：<, >为内积,K(x,z)为核函数。从式(1)可以看出，核函数将m维高维空间的内积运算转化为n维低维输入空间的核函数计算，从而巧妙地解决了在高 维特征空间中计算的“维数灾难”等问题，从而为在高维特征空间解决复杂的分类或回归问题奠定了理论基础。

（3）核函数特点

核函数方法的广泛应用,与其特点是分不开的：

1）核函数的引入避免了“维数灾难”,大大减小了计算量。而输入空间的维数n对核函数矩阵无影响，因此，核函数方法可以有效处理高维输入。

2）无需知道非线性变换函数Φ的形式和参数.

3）核函数的形式和参数的变化会隐式地改变从输入空间到特征空间的映射，进而对特征空间的性质产生影响，最终改变各种核函数方法的性能。

4）核函数方法可以和不同的算法相结合，形成多种不同的基于核函数技术的方法，且这两部分的设计可以单独进行，并可以为不同的应用选择不同的核函数和算法。

（4）常见核函数

核函数的确定并不困难,满足Mercer定理的函数都可以作为核函数。常用的核函数可分为两类，即内积核函数和平移不变核函数，如：

　1）高斯核函数K(x,xi) =exp(-||x-xi||2/2σ2；

2）多项式核函数K(x,xi)=(x·xi+1)^d, d=1,2,…,N； 

3）感知器核函数K(x,xi) =tanh(βxi+b)；

4）样条核函数K(x,xi) = B2n+1(x-xi)。

（5）核函数方法实施步骤

核函数方法是一种模块化(Modularity)方法，它可分为核函数设计和算法设计两个部分，具体为：

1）收集和整理样本,并进行标准化；

2）选择或构造核函数；

3）用核函数将样本变换成为核函数矩阵,这一步相当于将输入数据通过非线性函数映射到高维

特征空间；

4）在特征空间对核函数矩阵实施各种线性算法；

5）得到输入空间中的非线性模型。

显然,将样本数据核化成核函数矩阵是核函数方法中的关键。注意到核函数矩阵是l×l的对称矩阵，其中l为样本数。

（6）核函数在模式识别中的应用

1）新方法。主要用在基于结构风险最小化(Structural Risk Minimization,SRM)的SVM中。

2）传统方法改造。如核主元分析(kernel PCA)、核主元回归(kernel PCR)、核部分最小二乘法(kernel PLS)、核Fisher判别分析(Kernel Fisher Discriminator, KFD)、核独立主元分析(Kernel Independent Component Analysis,KICA)等，这些方法在模式识别等不同领域的应用中都表现了很好的性能。