Opencv中SVM的使用问题

CvSVM svm;// = CvSVM();//新建一个SVM      
CvSVMParams param;//这里是参数  
CvTermCriteria criteria;      
criteria = cvTermCriteria( CV_TERMCRIT_EPS, 1000, FLT_EPSILON );      
param = CvSVMParams( CvSVM::C_SVC, CvSVM::RBF, 10.0, 0.09, 1.0, 10.0, 0.5, 1.0, NULL, criteria );      
/*     
    SVM种类：CvSVM::C_SVC     
    Kernel的种类：CvSVM::RBF     
    degree：10.0（此次不使用）     
    gamma：8.0     
    coef0：1.0（此次不使用）     
    C：10.0     
    nu：0.5（此次不使用）     
    p：0.1（此次不使用）     
    然后对训练数据正规化处理，并放在CvMat型的数组里。     
                                                        */         
    //☆☆☆☆☆☆☆☆☆(5)SVM学习☆☆☆☆☆☆☆☆☆☆☆☆           
    svm.train( data_mat, res_mat, NULL, NULL, param );//训练啦      
    //☆☆利用训练数据和确定的学习参数,进行SVM学习☆☆☆☆       
    svm.save( "SVM_DATA.xml" ); 

1.首先声明一个CvSVM类

2.OpenCV学习–cvTermCriteria介绍

CvTermCriteria
迭代算法的终止准则
#define CV_TERMCRIT_ITER    1
#define CV_TERMCRIT_NUMBER  CV_TERMCRIT_ITER
#define CV_TERMCRIT_EPS     2

typedef struct CvTermCriteria
 {
  int    type;  /* CV_TERMCRIT_ITER 和CV_TERMCRIT_EPS二值之一，或者二者的组合 */
  int    max_iter; /* 最大迭代次数 */
  double epsilon; /* 结果的精确性 */
 }
 CvTermCriteria;
/* 构造函数 */
inline  CvTermCriteria  cvTermCriteria( int type, int max_iter, double epsilon );
/* 在满足max_iter和epsilon的条件下检查终止准则并将其转换使得type=CV_TERMCRIT_ITER+CV_TERMCRIT_EPS */
CvTermCriteria cvCheckTermCriteria( CvTermCriteria criteria,
                                    double default_eps,
                                    int default_max_iters );
 
  
 
  
 
  
 
  3.Opencv中的CvSVMParams介绍 
  
 
  
 
  
 
   
 C++: CvSVMParams:: CvSVMParams (int  svm_type , 
 
   
 int kernel_type , 
 
  
 
  
 
  
 double degree , 
 
  
 double gamma , 
 
  
 double coef0 , 
 
  
 double Cvalue , 
 
  
 double nu ,                   
 
  
 double p , 
 
  
 CvMat* class_weights ,
 
  
 CvTermCriteria term_crit
 
  
 )
 
  
 
    
  
 
  
 
  
 
  
4.样本train
 
  
 
  
 设置参数后就可以用CvSVM.train()进行训练了，下面是train的原型
 
  
 
   
 
    
 C++: bool CvSVM:: train (const Mat&  trainData , 
 
    
 const Mat& responses , 
 
   
 
   
 const Mat& varIdx=Mat() , 
 
   
 const Mat& sampleIdx=Mat() , 
 
   
 CvSVMParams params=CvSVMParams()
 
   
 )
 
  
 
  
       我在用 train完成 训练预测时出现了过拟合的情况，即对于训练集的数据有很好的预测结果，但对不在训练集的测试集预测值都一样（我在网上看到很多网友也遇到这个问题）。于是我开始调整参数，调了半天也没个好结果
 
  
      后面我发现其实opencv中SVM类是提供了优化参数值功能的，瞬间感觉世界美好了。下面讲讲具体的做法。
 
  
      要让svm自动优化参数，那么训练时就不能再用train函数了，而应该用train_auto函数。下面是train_auto的函数原型
 
  
 
   
 
    
 C++: bool CvSVM:: train_auto (const Mat & trainData ,
 
    
 const Mat & responses , 
 
   
 
   
 const Mat & varIdx , 
 
   
 const Mat & sampleIdx , 
 
   
 CvSVMParams params ,
 
   
 int k_fold=10 , 
 
   
 CvParamGrid Cgrid=CvSVM::get_default_grid(CvSVM::C) , 
 
   
 CvParamGrid gammaGrid=CvSVM::get_default_grid(CvSVM::GAMMA) , 
 
   
 CvParamGrid pGrid=CvSVM::get_default_grid(CvSVM::P) , 
 
   
 CvParamGrid nuGrid=CvSVM::get_default_grid(CvSVM::NU) , 
 
   
 CvParamGrid coeffGrid=CvSVM::get_default_grid(CvSVM::COEF) , 
 
   
 CvParamGrid degreeGrid=CvSVM::get_default_grid(CvSVM::DEGREE) , 
 
   
 bool balanced=false
 
   
 )
 
   
 自动训练函数的参数注释(13个)
 
   
 
    
 
     
前5个参数参考构造函数的参数注释。
 
     
k_fold:  交叉验证参数。训练集被分成k_fold的自子集。其中一个子集是用来测试模型，其他子集则成为训练集。所以，SVM算法复杂度是执行k_fold的次数。
 
     
*Grid:  (6个)对应的SVM迭代网格参数。
 
     
balanced:  如果是true则这是一个2类分类问题。这将会创建更多的平衡交叉验证子集。
 
    
 
    
     自动训练函数的使用说明
 
   
 
   
 
    
这个方法根据CvSVMParams中的最佳参数C, gamma, p, nu, coef0, degree自动训练SVM模型。
 
    
参数被认为是最佳的交叉验证，其测试集预估错误最小。
 
    
如果没有需要优化的参数，相应的网格步骤应该被设置为小于或等于1的值。例如，为了避免gamma的优化，设置gamma_grid.step = 0，gamma_grid.min_val， gamma_grid.max_val 为任意数值。所以params.gamma 由gamma得出。
 
    
最后，如果参数优化是必需的，但是相应的网格却不确定，你可能需要调用函数CvSVM::get_default_grid()，创建一个网格。例如，对于gamma，调用CvSVM::get_default_grid(CvSVM::GAMMA)。
 
    
该函数为分类运行 (params.svm_type=CvSVM::C_SVC 或者 params.svm_type=CvSVM::NU_SVC) 和为回归运行 (params.svm_type=CvSVM::EPS_SVR 或者 params.svm_type=CvSVM::NU_SVR)效果一样好。如果params.svm_type=CvSVM::ONE_CLASS，没有优化，并指定执行一般的SVM。
 
   
 
  
 
     这里需要注意的是，对于需要的优化的参数虽然train_auto可以自动选择最优值，但在代码中也要先赋初始值，要不然编译能通过，但运行时会报错。 
   下面是示例代码 
  
 
  
CvSVMParams param;  
  param.svm_type = CvSVM::EPS_SVR;  
  param.kernel_type = CvSVM::RBF;  
  param.C = 1;  //给参数赋初始值
  param.p = 5e-3;  //给参数赋初始值
  param.gamma = 0.01;  //给参数赋初始值
  param.term_crit = cvTermCriteria(CV_TERMCRIT_EPS, 100, 5e-3); 
  //对不用的参数step设为0
  CvParamGrid nuGrid = CvParamGrid(1,1,0.0);
  CvParamGrid coeffGrid = CvParamGrid(1,1,0.0);
  CvParamGrid degreeGrid = CvParamGrid(1,1,0.0);

  CvSVM regressor;
  regressor.train_auto(PCA_training,tr_label,NULL,NULL,param,
    10,
    regressor.get_default_grid(CvSVM::C),
    regressor.get_default_grid(CvSVM::GAMMA),
    regressor.get_default_grid(CvSVM::P),
    nuGrid,
    coeffGrid,
    degreeGrid);
 
  
 
  用上面的代码的就可以自动训练优化出参数了，最后想查看优化后的参数值可以使用CvSVMParams params_re = regressor.get_params()函数来获得各优化后的参数值 
  
 
  
 
  
 
  
CvSVMParams params_re = regressor.get_params();
  regressor.save("training_srv.xml");
  float C = params_re.C;
  float P = params_re.p;
  float gamma = params_re.gamma;
  printf("\nParms: C = %f, P = %f,gamma = %f \n",C,P,gamma);
 
  
 
  
======================================================
 
  
 
  
 用OpenCV使用SVM算法的大概流程是 
 1）设置训练样本集
 
  
 需要两组数据，一组是数据的类别，一组是数据的向量信息。
 
  
 
 2）设置SVM参数
 
  
 利用CvSVMParams类实现类中的成员变量svm_type表示SVM类型：
 
  
 CvSVM：：C_SVC C-SVC
 
  
 CvSVM：：NU_SVC v-SVC
 
  
 CvSVM：：ONE_CLASS 一类SVM
 
  
 CvSVM：：EPS_SVR e-SVR
 
  
 CvSVM：：NU_SVR v-SVR
 
  
 成员变量kernel_type表示核函数的类型：
 
  
 CvSVM：：LINEAR 线性：u‘v
 
  
 CvSVM：：POLY 多项式：(r*u'v + coef0)^degree
 
  
 CvSVM：：RBF RBF函数：exp(-r|u-v|^2)
 
  
 CvSVM：：SIGMOID sigmoid函数：tanh(r*u'v + coef0)
 
  
 成员变量degree针对多项式核函数degree的设置
 
  
 gamma针对多项式/rbf/sigmoid核函数的设置
 
  
 coef0针对多项式/sigmoid核函数的设置
 
  
 Cvalue为损失函数
 
  
 在C-SVC、e-SVR、v-SVR中有效，nu设置v-SVC、一类SVM和v-SVR参数
 
  
 p为设置e-SVR中损失函数的值
 
  
 class_weightsC_SVC的权重
 
  
 term_crit为SVM训练过程的终止条件。
 
  
 其中默认值degree = 0，gamma = 1，coef0 = 0，Cvalue = 1，nu = 0，p = 0，class_weights = 0
 
  
 
 3）训练SVM
 
  
 调用CvSVM::train函数建立SVM模型，第一个参数为训练数据，第二个参数为分类结果，最后一个参数即CvSVMParams
 
  
 
 4）用这个SVM进行分类
 
  
 调用函数CvSVM::predict实现分类
 
  
         CvSVM::predict用来预测一个新样本的响应值，在分类器问题中，这个函数返回类别编号，在回归问题中，返回函数值。
 
  
 另外：
 
  
 
 
  
对输入图片进行行人检测时由于图片的大小不一样，所以要用到多尺度检测。这里是用hog类的方法detectMultiScale。参数解释如下：
 
  
 HOGDescriptor::detectMultiScale(const GpuMat& img, vector& found_locations, doublehit_threshold=0, Size win_stride=Size(), Size padding=Size(), double scale0=1.05, int group_threshold=2)
 
  
 
 
  
 
    
   
myHOG.detectMultiScale(src, found, 0, Size(8,8), Size(32,32), 1.05, 2);//对图片进行多尺度行人检测
 
   该函数表示对输入的图片img进行多尺度行人检测 img为输入待检测的图片；found_locations为检测到目标区域列表；参数3为程序内部计算为行人目标的阈值，也就是检测到的特征到SVM分类超平面的距离;参数4为滑动窗口每次移动的距离。它必须是块移动的整数倍；参数5为图像扩充的大小；参数6为比例系数，即滑动窗口每次增加的比例；参数7为组阈值，即校正系数，当一个目标被多个窗口检测出来时，该参数此时就起了调节作用，为0时表示不起调节作用。 
   
 
   
 
  
 
  5）获得支持向量 
  
 
  
 除了分类，也可以得到SVM的支持向量，调用函数CvSVM::get_support_vector_count获得支持向量的个数，
 
  
 CvSVM::get_support_vector获得对应的索引编号的支持向量。
 
  6)获取决策函数中的alpha向量 
  
        CvSVM::get_alpha_vector()
 
  
7）获取偏移量
 
  
    CvSVM::get_rho
 
  
——结论——
 
  
▪决策函数为【rho-w*x】，大于0表示正样本，小于0表示负样本
 
  
其中w=alpha*sv; 
 
  
alpha中存放每个支持向量的权重，sv表示每个支持向量
 
  
w为加权后的支持向量