Atrainable feature extractor for handwritten digit recognition(经典文章阅读)

一.文献名字和作者

    Atrainable feature extractor for handwritten digit recognition，Fabien Lauer, ChingY. Suen, Gérard Bloch

   

二.阅读时间

    2014年10月28日

三.文献的贡献点

    这篇文章主要介绍了使用改进的CNN结构作为可训练特征提取器，然后使用SVM作为分类器来对手写字体进行分类。

    在特征提取器的部分，作者将传统的LeNet-5的CNN结构最后两个全连接层换成了一个普通10个输出的全连接层，这样，就可以利用CNN的训练算法来训练这个特征提取器。

   在分类器方面，采用了核SVM，在进行了特征提取之后，后面的问题就是一个普通的分类问题。

   最后为了解决训练样本过少可能引起的问题，作者又对原来已经有的样本进行放射变换之类的操作，扩充训练样本，作者也分析分类错误的样本，发现样本中本来就存在一些人眼都无法分辨的样本，因此，MNIST手写字体的分类错误率是有一个极限的。

    这篇文章和《Large-scale Learning with SVM and Convolutional Nets for Generic Object Categorization》的区别主要在于作为特征提取器的CNN的结构问题，本文中是将传统的LeNet-5的最后面的两个全连接层(包括输出层)替换为一个10个输出的全连接层，而在《Large-scale Learning with SVM and Convolutional Nets for Generic Object Categorization》中，在训练作为特征提取器的CNN的时候，还是使用了整个LeNet-5来训练，在训练结束后，都是直接将C5层的输出作为特征，输入到SVM中。

    这篇文章改进显得有些少，不过，目前看来，将CNN作为特征提取的手段，已经是一个很普遍的观点了。

                                   图1 CNN作为特征提取器的结构

版权所有，欢迎转载，转载请注明出处，谢谢