ML—SVM高级应用总结

华电北风吹
日期：2015/12/3

SVM近期研究结果总结，不定期更新。。。
一、SVM提升算法
基于单个SVM分类器构建强分类器。核函数采用RBF核 K(xi,xj)=e−γ||xi−xj||2 的时候会发现，采用较小的 γ 容易欠拟合，而较大的 γ 又会造成过拟合，这在使用单个分类器的时候在配合Adaboost的样本权重更新机制，就可以达到boosting的效果。
(http://download.csdn.net/detail/zhangzhengyi03539/9267641)

二、SVM的多核学习
SVM里面引入核技巧是一个成功。而多核学习则是将这个成功更大大的往前推进了一步。SVM里面的多核分为两种情况：
1、通过一些简单的核构造新的核
假设有m个样本 (xi,yi),xi∈Rn,yi∈R,i=1,2,...,m ，分别建立p个不同的核函数 Kk(xi,xj),i,j∈1,2,...,m,k∈1,2,...,p ，模型自动选择各个核下的权重，训练分类器，模型表述如下
K(xi,xj)=w1K1(xi,xj)+w2K2(xi,xj)+...+wpKp(xi,xj)
参考：(http://blog.csdn.net/zhangzhengyi03539/article/details/50062057)

2、对样本特征的不同子集使用不同的核函数
假设有m个样本 (xi,yi),xi∈Rn×p,yi∈R,i=1,2,...,m ，其中 xi=[xi1,xi2,...,xip] 表示p个模态或者p个任务下采集到的数据，因此可以对每个模态下的特征分别建立核函数，也就是建立p个核函数 Kk(xik,xjk),i,j∈1,2,...,m,k∈1,2,...,p ，然后给每个核函数分配合适的权重，训练分类器，模型表述如下
K(xi,xj)=w1K1(xi1,xj1)+w2K2(xi2,xj2)+...+wpKp(xip,xjp)
这种类型可以通过libsvm里面的自定义核函数方便求解。

三、SVM级联
SVM级联操作就是把SVM输出值不进行符号函数运算，而是在打上标签训练下一级的SVM。这方面应用我所见的应用最好的就是程明明2014年发表在cvpr上的关于一般物体检测的文章，文章数据集代码均可以下载运行。
参考：
(http://www.cvchina.info/2014/02/25/14cvprbing/)