Large-scale Learning with SVM and Convolutional Nets(经典文献阅读)

一.文献名字和作者

    Large-scale Learning with SVM and Convolutional Nets for Generic Object Categorization

   

二.阅读时间

    2014年10月23日

三.文献的贡献点

    将能够学习到不变性特征的CNN和能够学习到较好分界面的SVM进行融合，从而提高识别的正确率。

四.作者提出的方法

   作者先使用训练集训练一个只有一个全连接层的CNN，然后将全连接层去掉，将前面的层数当做一个不变性特征提取器，然后将提到的特征放入到高斯核SVM中，然后训练SVM，最后输出结果。

    在CNN的设计中，作者在第二个卷积层的时候，对于S1层的特征图的连接是有选择性的，而不是全部连接的，是的C2层每一个特征图对于S1层的特征图的连接都是不一样的，这个和后来的文献中的结构设计也是有些差别的。

    这个方法在实验中能够获得比CNN更好的结果，当然，也远远比单独使用SVM的效果要好。

    作者在最好也提到了，使用SVM替代最后一个全连接层能够取得比较好的结果，是因为整个CNN其实还没有训练充分，如果训练充分的话，使用SVM替代最后一个全连接层获得的效果应该差别不大的。

五.使用的数据库

    文章中使用的数据库为NORB数据库，该数据库包含有五大类数据，每一个大类中又包含了10个小类，保证了大类的类内差异性大。

六.实验结果

    

七.评价

    这是一篇经典的文章，将CNN作为一个特征提取，然后用SVM进行分类，这个为后面的许多文章提供了想法，很多将CNN用于其他图像处理问题的文章都是用了CNN作为特征提取器，然后加入一些其他的结构，从而提升效果。

    同时，这篇文章也提出了一个改进的方法，就是使用根据复杂的结构来做物体识别，这也为后面ImageNet比赛奠定了一个基调，大家一起来拼谁的网络层次多，但是，并没有出现研究对于不同情况时，什么样的结构才是最合适的结构。

版权所有，欢迎转载，转载请注明出处，谢谢