支持向量机学习笔记:LIBSVM应用(人脸识别)

如果你已经看完并理解了我的上一篇SVM的博客,那么接下来你要面对的是怎么应用SVM这个实际的问题,现在SVM里面应用最广泛的就是LIBSVM这个函数库,OpenCV中也基于LIBSVM推出了CvSVM 的函数。因此下面的内容,我主要是介绍一下LIBSVM的应用方法,主要是参考文献[1,2]。

LIBSVM是国立台湾大学 Chih-Jen Lin开发的一个SVM的函数库,他不但提供了编译好的可在Windows系列系统的执行文件,还提供了源代码,方便改进、修改以及在其它操作系统上应用;该软件对SVM所涉及的参数调节相对比较少,提供了很多的默认参数,利用这些默认参数可以解决很多问题;并提供了交互检验(Cross Validation)的功能。该软件包可在http://www.csie.ntu.edu.tw/~cjlin/免费获得。该软件可以解决C-SVM、ν-SVM、ε-SVR和ν-SVR等问题,包括基于一对一算法的多类模式识别问题。

上一篇博客中谈的内容是从理论出发的东西,但是在实际应用中,我们常常无法找到一个完美无缺的判别超平面,那么为了能够在这样子的不可分的集合中学习支持向量机,需要引入软间隔(soft margin)来进行分类,即是允许一些训练模式停留在判别超平面的“错误”一侧,或者说允许其他类的模式停留在间隔内,则上一篇博客中的公式(3)修改为:


其中为松弛变量,对应数据点偏离对应的间隔面(非分类超平面)的距离(见图1)。因此,最终的结果是margin可以比1小,但是当某些点出现这种margin比1小的情况时(这些点也称离散点),意味着我们放弃啦对这些点的精确分类,而这对分类器来说是一种损失,但是放弃这些点也带来了好处,就是分类面不必向这些点的方向移动,因而可以得到更大的几何margin。显然,我们必须权衡这种损失和好处。好处是明显的,我们得到的分类间隔越大,好处就越多。

支持向量机学习笔记:LIBSVM应用(人脸识别)_第1张图片

图1 松弛变量

支持向量机学习笔记:LIBSVM应用(人脸识别)_第2张图片

下面还有几点需要注意:

  • 并非所有的样本点都有一个松弛变量与其对应。实际上只有“离群点”才有,或者也可以这么看,所有没离群的点松弛变量都等于0(对负类来说,离群点就是在前面图中,跑到H2右侧的那些负样本点,对正类来说,就是跑到H1左侧的那些正样本点)。
  • 松弛变量的值实际上标示出了对应的点到底离群有多远,值越大,点就越远。
  • 惩罚因子C决定了你有多重视离群点带来的损失,显然当所有离群点的松弛变量的和一定时,你定的C越大,对目标函数的损失也越大,此时就暗示着你非常不愿意放弃这些离群点,最极端的情况是你把C定为无限大,这样只要稍有一个点离群,目标函数的值马上变成无限大,马上让问题变成无解,这就退化成了硬间隔问题。
  • 惩罚因子C不是一个变量,整个优化问题在解的时候,C是一个你必须事先指定的值,指定这个值以后,解一下,得到一个分类器,然后用测试数据看看结果怎么样,如果不够好,换一个C的值,再解一次优化问题,得到另一个分类器,再看看效果,如此就是一个参数寻优的过程,但这和优化问题本身决不是一回事,优化问题在解的过程中,C一直是定值,要记住。
  • 尽管加了松弛变量这么一说,但这个优化问题仍然是一个优化问题(汗,这不废话么),解它的过程比起原始的硬间隔问题来说,没有任何更加特殊的地方。

现在,我们来看看在实际应用中的C-SVM:

支持向量机学习笔记:LIBSVM应用(人脸识别)_第3张图片

文献[1]中推荐的SVM使用步骤如下:

  1. 【将数据变换成SVM格式】Transform data to the format of an SVM package
  2. 【数据规范化(scale)】Conduct simple scaling on the data
  3. 【考虑使用RBF核】Consider the RBF Kernel 
  4. 【使用交叉验证获取最优参数C和Gamma】Use Corss-validation to find the best parameter C and Gamma
  5. 【使用最优参数来训练整个训练集】Use the best parameter C and Gamma to train the whole training set
  6. 【新来数据的测试】Test

描述如下:

Data Preprocessing

Categorical Feature

SVM要求数据实例是实数向量,因此,我们必须先把它的类别特征转换成数值特征。这里推荐使用m个值去代表m类的特征。例如,一个三类特征{red,green,blue}可以表示成(0,0,1)(0,1,0)(1,0,0)。经验表明,当类别不是非常大时,这种特征类别编码方式更稳定

Scaling

Scaling在SVM中非常重要,这里推荐使用linearly scaling each attribute to the range [-1,+1] or [0,1]。

Model Selection

RBF Kernel 


一般情况下,RBF Kernel 是一个合理的第一选择,可以首先尝试这个核函数。

Cross-validation and Grid-search

RBF核函数有两个参数:C和Gamma。针对一个给定的问题,需要通过参数搜索方法来获取他们的最优值。一个常用的方法是将训练数据分成2个部分,其中一部分为“未知的”,通过对未知数据的分类效果来反映系统分类性能。该方法的一个提升版本就是Cross-validation交叉验证。在v-fold交叉验证中,我们首先将数据分成v组,将每个子集分别做一次测试集,其余v-1组作为训练集,这样就会得到v个模型,用这v个模型最终的测试集的分类准确率作为v-fold cross-validation分类性能的指标。这里我们推荐使用“grid-search”,即尝试各个参数对(C,gamma),我们发现使用指数增长能更快找到最佳参数值。如

            C = 2^(-5)   2^(-3) .... 2^15

gamma = 2^(-15) 2^(-13) ... 2^3

————————————————————————————————————————————————————————————


下面,我贴一个用SVM进行人脸识别的例子(效果很不好,特征和参数没细调)

支持向量机学习笔记:LIBSVM应用(人脸识别)_第4张图片

close all;
clc;
clear;
num = 25;
M = 112;N = 92;accu = 0;
suma = zeros(28,28);
Gt = zeros(28,28);
for ii = 1:1:num
    for k = 1:9
        name1 = strcat('s',num2str(ii));
        name2 = strcat(name1,'\');
        name3 = strcat(num2str(k),'.bmp');
        name4 = strcat(name2,name3);
        name = strcat('E:\快盘\文献阅读\DATAbase\ORLFACE\',name4);
        I = imread(name);
        if ndims(I)==3
            I = rgb2gray(I);
        end
        I_re = imresize(I,[112 112]);
        temp = double(I_re(1:4:112,1:4:112));
        suma = suma+temp;
    end
end
aver_A = suma/(num*9);

for ii = 1:1:num
   for k =1:9
    name1 = strcat('s',num2str(ii));
    name2 = strcat(name1,'\');
    name3 = strcat(num2str(k),'.bmp');
    name4 = strcat(name2,name3);
    name = strcat('E:\快盘\文献阅读\DATAbase\ORLFACE\',name4);
    I=imread(name);
    if ndims(I)==3
        I = rgb2gray(I);
    end
    I_re = imresize(I,[112 112]);
    temp = double(I_re(1:4:112,1:4:112));
    Gt = Gt+(temp-aver_A)'*(temp-aver_A);
   end
end

Gt = Gt/(num*9);
[v,d] = eigs(Gt,25);
[eigenvalues, index] = sort(diag(d),'descend');

ratio = cumsum(eigenvalues)/sum(eigenvalues);
xnum = find(ratio>.98);
D_num = xnum(1);
index_select = index(1:D_num);
V_select = zeros(size(v,1),D_num);
V_select(:,1:D_num) = v(:,index_select(1:D_num));

i_oo=1;
for ii = 1:1:num
    for k = 1:9
    name1 = strcat('s',num2str(ii));
    name2 = strcat(name1,'\');
    name3 = strcat(num2str(k),'.bmp');
    name4 = strcat(name2,name3);
    name = strcat('E:\快盘\文献阅读\DATAbase\ORLFACE\',name4);
    I = imread(name);
    if ndims(I)==3
        I = rgb2gray(I);
    end
    I_re = imresize(I,[112 112]);
    temp = double(I_re(1:4:112,1:4:112));
    temp2 = temp*V_select;
    Y_matrix(i_oo,:) = reshape(temp2,1,588);
    i_oo=i_oo+1;
    end
end
t_label=[];
for ii = 1:1:num
    for jj = 1:9
        t_label =[t_label,ii];
        Y_label = t_label';
    end
end
%% 现在准备开始建立model,为predict做准备
model = svmtrain(Y_label,Y_matrix);
%% 测试部分
for ii = 1:1:num
    k = 10;
    name1 = strcat('s',num2str(ii));
    name2 = strcat(name1,'\');
    name3 = strcat(num2str(k),'.bmp');
    name4 = strcat(name2,name3);
    name = strcat('E:\快盘\文献阅读\DATAbase\ORLFACE\',name4);
    I = imread(name);
    if ndims(I)==3
        I = rgb2gray(I);
    end
    I_re = imresize(I,[112 112]);
    temp = double(I_re(1:4:112,1:4:112));
    tempY = temp*V_select;
    X_test(ii,:) = reshape(tempY,1,588);
end
label_temp = [1:num];X_label=label_temp';
[predict_label, accuracy, dec_values] = svmpredict(X_label,X_test,model);


参考文献

[1] Hsu C W, Chang C C, Lin C J. A practical guide to support vector classification[J]. 2003.

[2] Chang C C, Lin C J. LIBSVM: a library for support vector machines[J]. ACM Transactions on Intelligent Systems and Technology (TIST), 2011, 2(3): 27.


你可能感兴趣的:(SVM,libsvm)