LibSVM学习1：Libsvm工具箱的下载、安装和使用

关于SVM的那点破事[长期更新整理 by faruto]
http://www.matlabsky.com/forum-viewthread-tid-10966-fromuid-18677.html
所有视频地址：
http://www.youku.com/playlist_show/id_6256088.html

《Learn SVM Step by Step 》系列视频——应用篇：Libsvm的下载、安装和使用
http://player.youku.com/player.php/sid/XMjc2NTY3MzYw/v.swf

安装libsvm-mat是在MATLAB平台下使用libsvm的前提，如果没有安装好也就无法使用，在MATLAB平台下安装libsvm-mat一般有以下几个大步骤：

1. 将libsvm-mat所在工具箱添加到matlab工作搜索目录
   (File ——》
   Set Path… ——》
   Add with Subfolders…)；
2. 选择编译器(mex -setup)；
3. 编译文件(make)。

每一步都很重要【我就不在每一步前面说这一步很重要了~】，下面我将掰饽饽说馅【一句东北俚语i.e.翔实详尽】的给大家详细说明。

1. 将libsvm-mat所在文件夹目录添加到MATLAB工作搜索目录(File ——》 Set Path…——》 Add with Subfolders…)

这第一步很重要，如果没有将libsvm-mat所在文件夹目录正确的添加到MATLAB工作搜索目录，使用的时候就会出现 ??? Undefined function or variable ‘XXX’. 等等报错。

首先明晰一下MATLAB工作搜索目录（路径）和当前目录（路径）这两个概念：
当前目录[Current Folder]是指MATLAB当前所在的路径，MATLAB菜单栏下面有一个Current Folder可以在这里进行当前所在目录的更改。
工作搜索目录（路径）是指当你使用某一个函数的时候，MATLAB可以进行搜索该函数的所有的目录集合。

注：
当你使用某一个函数的时候，MATLAB首先会从当前目录搜索调用该函数，如果当前目录没有该函数，MATLAB就会从工作搜索目录按照从上到下的顺序进行搜索调用该函数，如果工作搜索目录中也没有该函数，就会给出 ??? Undefined function or variable ‘XXX’ 这个报错。所以呀，往后如果出现这个报错，您不妨看一下您想调用的函数所在目录是否添加到MATLAB工作搜索目录中了。

说了这么多，第一步就是将libsvm-mat所在文件夹复制到某一个地方后，在MATLAB菜单栏中选择 File ——》 Set Path…——》 Add with Subfolders… 然后选择之前存放libsvm-mat的文件夹，然后点击保存就可以了。

如果你添加到工作搜索目录这个你还整不明白，可以看看这个帖子：
【原创】Matlab如何安装新的工具箱
http://www.matlabsky.com/forum-v … -fromuid-18677.html

说是第一步其实真正的第一步是打开电脑，囧~然后将libsvm-mat下载下来，下载地址如下：
Libsvm-mat林智仁先生的原始版本下载
libsvm-mat-2.91-1.zip
http://www.matlabsky.com/thread-9328-1-1.html
【说明：最新的版本为libsvm-mat-3.0-1.zip大家可以在这里下载http://www.csie.ntu.edu.tw/~cjlin/libsvm/ 最新版本的改动是将SVM的model structure移动到了svm.h里面，对于常规用户没有影响基本和以前的都一样，只是方便一些高级用户自己进行底层代码的修改】

Libsvm-mat faruto版本下载
libsvm-mat-2.89-3[FarutoUltimate3.0]
http://www.matlabsky.com/thread-9327-1-1.html

GUI版本下载【基于libsvm-mat-2.89-3[FarutoUltimate3.0]】
[原创]SVM_GUI_2.0[mcode][by_faruto]
http://www.matlabsky.com/forum-v … -fromuid-18677.html

1. 选择编译器(mex -setup)

好多工具箱其实在上面那步之后就算是“安装”成功了，有的小朋友可能会问：“为啥安装libsvm-mat会选神马编译器，干嘛！？”，因为libsvm的原始版本是用c++写的，这里为了能在MATLAB平台下使用，需要用编译器编译一下，生成一个类似于.m文件的东东（. mexw32文件）这样就可以在MATLAB平台下使用libsvm了，所以这里需要在编译之前选择一个编译器告诉MATLAB：“你丫就用这个我刚刚选择的编译器给我把 svmtrain.c && svmpredict.c等等一系列放在make.m中的文件名字给我编译一下。”

这第一步也很重要，如果编译器没有选择好的话，下一步进行make编译的时候就会出现如下报错：Unable to complete successfully.这个表示你没有选择好编译器。

下面进行编译器的选择，哎，这里就涉及到一个问题，既然是“选择”，那说明你电脑上需要安装了编译器才行，否则选你妹啊，是吧，哎，这就又涉及到一个问题：“神马是编译器？！”，这里俺就不解释了，学过C语言的应该会懂得，不懂的百度去，这里我推荐使用Microsoft Visual C++ 6.0编译器或者更高版本的visual studio，一般MATLAB会自带一个编译器Lcc-win32 C 但这个在这里无法使用！为啥呢？因为libsvm源代码使用c++写的，而Lcc-win32 C是一个c编译器，无法编译c++源代码！
【日了，我都想吐了，真的这篇关于libsvm-mat在MATLAB平台下的安装的帖子我说的真的不能再详细了，详细的我都想吐了，要是还有人不明了如何安装libsvm-mat那只能说明：1.我表达能力还是不行或者2.你丫真的太**了，我希望是前者~】

下面具体说说如何选择编译器。

首先在MATLAB命令窗【Commond Window】中输入：
mex -setup
复制代码
Remark : 注意 mex 后面要打一个空格然后是-setup。千万别忘记打一个空格，发现好多朋友在mex和-setup之间没有打空格！！

会出现类似如下内容：
Please choose your compiler for building external interface (MEX) files:

Would you like mex to locate installed compilers [y]/n?
复制代码
这里问你是否locate本机安装的编译器，正规的选择y然后指定编译器即可，我们先来看一下选择y（选择n在后面说），好下面我们选择y。
根据你本机安装的编译器，会出现类似如下内容：
Please choose your compiler for building external interface (MEX) files:

Would you like mex to locate installed compilers [y]/n? y
Select a compiler:
[1] Lcc-win32 C 2.4.1 in D:\MATLAB~1\sys\lcc
[2] Microsoft Visual C++ 6.0 in D:\Microsoft Visual Studio

[0] None

Compiler:
复制代码
然后你选择相应的编译器并确认即可：
Compiler: 2

Please verify your choices:

Compiler: Microsoft Visual C++ 6.0
Location: D:\Microsoft Visual Studio

Are these correct [y]/n? y

Trying to update options file: C:\Users\faruto\AppData\Roaming\MathWorks\MATLAB\R2009b\mexopts.bat
From template: D:\MATLAB~1\bin\win32\mexopts\msvc60opts.bat

Done …
复制代码
PS：matlab支持的编译器列表在这里查看：
http://www.mathworks.com/support/compilers/current_release/

这样就表示编译器选择成功了（此步骤中可能会出现warning警告是正常现象，不用管的说~）。

================================================================
如果你输入 mex –setup后在
Please choose your compiler for building external interface (MEX) files:

Would you like mex to locate installed compilers [y]/n?
复制代码
这一步选择y后，可选择的编译器里面有没你已经安装的编译器，表示MATLAB可能没有识别记录你安装的编译器的名字和目录（有时候会发生这种情况），此时你应该重新输入 mex –setup后选择n手动进行编译器的设置：
mex -setup
Please choose your compiler for building external interface (MEX) files:

Would you like mex to locate installed compilers [y]/n? n

Select a compiler:
[1] Intel C++ 9.1 (with Microsoft Visual C++ 2005 SP1 linker)
[2] Intel Visual Fortran 10.1 (with Microsoft Visual C++ 2005 SP1 linker)
[3] Lcc-win32 C 2.4.1
[4] Microsoft Visual C++ 6.0
[5] Microsoft Visual C++ .NET 2003
[6] Microsoft Visual C++ 2005 SP1
[7] Microsoft Visual C++ 2008 Express
[8] Microsoft Visual C++ 2008 SP1
[9] Open WATCOM C++

[0] None

Compiler: 4 %选择的这个编译器一定是你本机安装了的，否则选择了也没有用

Your machine has a Microsoft Visual C++ compiler located at
D:\Microsoft Visual Studio. Do you want to use this compiler [y]/n?
复制代码
这样的话就可以手动选择你想要的编译器了，在
Your machine has a Microsoft Visual C++ compiler located at
D:\Microsoft Visual Studio. Do you want to use this compiler [y]/n?
复制代码
这个确认步骤，如果你的编译器的确是安装在MATLAB给出的这个目录（我这里是D:\Microsoft Visual Studio）那么选择y确认即可，如果不是说明MATLAB没有识别出安装的地方，选择n手动指定目录即可，比如选择n后的结果如下：
Compiler: 4

Your machine has a Microsoft Visual C++ compiler located at
D:\Microsoft Visual Studio. Do you want to use this compiler [y]/n? n
Please enter the location of your compiler: [C:\Program Files\Microsoft Visual Studio]
复制代码
此时输入你安装的编译器的完整目录即可比如：D:\Microsoft Visual Studio

这样编译器的选择就结束了，相应会遇到的问题大概也就是上面这些了。

1. 编译文件(make)

这一步说白了就是运行一下 libsvm-mat工具箱中的make.m文件。

首先需要把MATLAB的当前目录[Current Folder]调整到libsvm-mat所在的文件夹，如果你要问神马是“当前目录”？看第一步中，有关“MATLAB工作搜索目录（路径）和当前目录（路径）这两个概念”的讲解，i.e.

当前目录[Current Folder]是指MATLAB当前所在的路径，MATLAB菜单栏下面有一个Current Folder可以在这里进行当前所在目录的更改。
工作搜索目录（路径）是指当你使用某一个函数的时候，MATLAB可以进行搜索该函数的所有的目录集合。
有人会问：“如何把MATLAB的当前目录[Current Folder]调整到libsvm-mat所在的文件夹？”
答曰：先上个图：
你点击箭头所指的那三个点，就能选择libsvm-mat所在的目录了，事先将libsvm-mat工具箱放在一个你想要放的位置即可~

然后在MATLAB命令窗【Commond Window】输入
make
复制代码
如果成功运行没有报错，到此就说明libsvm-mat工具箱成功安装了。Libsvm-mat工具箱中有自带的heart_scale.mat测试数据集，可以运行以下代码来check一下是否安装成功：
load heart_scale;
model = svmtrain(heart_scale_label,heart_scale_inst);
[predict_label,accuracy] = svmpredict(heart_scale_label,heart_scale_inst,model);
复制代码
如果出现下面这个结果，则说明肯定安装成功了：
Accuracy = 86.6667% (234/270) (classification)
复制代码
注：编译文件(make)这一步为神马要把MATLAB的当前目录[Current Folder]调整到libsvm-mat所在的文件夹呢？
答曰：因为这一步要运行libsvm-mat工具箱中的make.m文件，因为当你使用某一个函数的时候，MATLAB首先会从当前目录搜索调用该函数，为了防止其他位置也有类似名字的make.m函数，所以这一步要把MATLAB的当前目录[Current Folder]调整到libsvm-mat所在的文件夹，优先运行libsvm-mat文件夹下的make.m文件。

=========================================================
一些额外要说明的注意事项：
PS: make.m的文件内容如下：
% This make.m is used under Windows

mex -O -c svm.cpp
mex -O -c svm_model_matlab.c
mex -O svmtrain.c svm.obj svm_model_matlab.obj
mex -O svmpredict.c svm.obj svm_model_matlab.obj
mex -O libsvmread.c
mex -O libsvmwrite.c
复制代码
哦，对了，安装完libsvm-mat工具箱，有的小朋友想要用 help svmtain 和 help svmpredict来查看这两个函数的帮助文件，非常杯具的告诉你：
运行help svmtain 在较新版本下得到的是MATLAB自带的svmtrain函数的帮助文件；
运行help svmpredict 会有如下报错svmpredict not found.
复制代码
因为svmtrain和svmpredict的源代码是svmtrain.c和svmpredict.c即源代码用c++写的，编译后生成的文件是svmtrain.mexw32和svmpredict.mexw3，而.mexw32这个编译后的文件是加密过的，打开是乱码，根本就没有帮助文件解说，想看svmtrain和svmpredict的源代码直接看svmtrain.c和svmpredict.c即可。O(∩_∩)O~

也有的小朋友测试过可以在别人电脑上进行编译然后将编译好的libsvm-mat工具箱复制过来，这样在你的本机上只进行第一步就可以安装成功了~这个是可以的，但我个人还是建议在本机也编译一下才好，因为编译的环境不同（32位或者64位或者XX差异）会导致可能使用别人编译的会出现这样那样的小问题~anyway，就是提一下这个事！

下几个帖子计划 掰饽饽说馅的给大家说说
如何使用libsvm进行分类
如何使用libsvm进行回归
如何优化libsvm的各种参数
使用libsvm进行分类和回归的通常的流程以及注意事项
【
这个最有技术含量了，因为总有朋友说用libsvm做分类或者回归效果不好，我说把数据给我试一下，结果我做的效果一般都会比其要好，为啥捏？这里先简单说一点点：使用libsvm（SVM）不是简简单单的用svmtrain输入几个参数 -c -g 生成model后用svmpredict来分类或者回归，其实更重要的是前期的数据预处理和后期的参数选择（归一化范围的选取，降维算法的选取，以及最佳参数选取的算法）这些才是关键，其实说白了如果这些您都搞得很透彻的话，选择其他分类器也能做好，即这些（前期的数据预处理和后期的参数选择）做好了，选择神马分类器真的并不重要，在libsvm-mat-2.89-3[FarutoUltimate3.0]工具箱中我把常见的数据预处理方法（归一化，降维pca）和参数选择算法（grid search 暴力搜索方法，启发式GA、PSO方法）都封装好了方便大家使用，同样是用这个加强工具箱，但对于同一个测试数据集合，我敢保证肯定会有人用的效果就没有我的好，为啥捏？因为知其然不知其所以然！肯定是其仅仅是了解一些表象的使用，而对于底层到底是怎么回事没有搞清楚，这样在具体的参数调整上肯定是不行的，这也回答之前的“为什么总有朋友说用libsvm做分类或者回归效果不好，我说把数据给我试一下，结果我做的效果一般都会比其要好”的原因。
】
如何可视化libsvm的分类结果【虚幻的浮云~】
如何处理unbalanced label（不平衡数据标签）问题【难点问题】

反正 我SVM 就会这么一点东西，早点说完早拉到~