HD-CNN: HIERARCHICAL DEEP CONVOLUTIONAL NEURAL NETWORK FOR IMAGE CLASSIFICATION(泛读)

一.文献名字和作者

   HD-CNN: HIERARCHICAL DEEP CONVOLUTIONAL NEURAL NETWORK FOR IMAGE CLASSIFICATION, 2014

   

二.阅读时间

    2015年1月30日

三.文献的贡献点

    本文主要基于在分类问题中，并不是所有类别的区分程度都是相同的的观点，对于分类器而言，有些类别是比较难以区分的。基于上面的原理，作者提出了一种先进行粗分类，然后再进行细分类的方法，网络的架构如下：

    前面的过程都是普通的卷积过程，在最后的Probabilistic averageing layer，对所有的分支fine-category使用coarse category得到的结果进行组合，组合方法如下：

    在最后进行整个结构fine-tuning的时候，最后还引入一个称为“temporal sparsity”的约束项，添加了约束项之后，cost function定义如下：

    训练过程如下：

    

四.实验结果

   作者使用的数据集为CIFAR-100数据集，获得了state-of-the-art的效果。

五.感悟

    这种通过粗分类然后进行细分类的想法其实挺容易想到的，但是，如何划分粗类别、如何增加细类别的正确率以及如何整合细类别分类器得到的结果，这些都是比较难的地方，作者对于上面的问题都给出了自己的解决方法。对于划分粗类别的问题，作者根据CNN得到的特征进行了降维，然后使用聚类算法进行聚类，从而得到了粗类别；对于增加细类别的正确率，作者采用使用想要增加的类别的样本对原始的CNN后面的卷积层和全连接层进行了再训练；对于细类别结果整合问题，作者使用一个Probabilistic averageing layer将细类别结果使用粗分类得到的概率进行了整合。这些想法都比较实用，可以在以后的实验中进行使用。