细粒度论文笔记《The application of two-level attention models in deep convolutional neural network for FGVC》

这篇文章是2015年的，作者使用提出了两级注意力的方法，来进行细粒度分类。

以鸟类分类为例。作者在object-level和part-level两个级别分别对鸟进行分类，将得到的分数相加综合后得到最后的分类结果。

上图是鸟分类在object-level的一个流程图，先用selective search从原始图片中提取大量的patch,然后使用ImageNetI 的LSVRC竞赛使用的Alexlet对所有的patch进行挑选(将这个模型称为FilterNet)，将含有鸟的patch挑选出来，这其中是把分类为鸟的分数相加得到一个最终分类结果。然后，将这些FilterNet挑出来的patchs，用来训练一个新的CNN网络（称为DomainNet），并用来进行细粒度分类，得到相应的分数。

以上是part-level的流程，作者受其他论文启发（这些论文证明DomainNet的隐藏层显示出聚类模式），使用谱聚类的方法，对DomainNet的中间层进行聚类，发现这些不同层的神经元对鸟的不同部位（头，身子，翅膀等）反应程度不一样（也就是权重具有聚类模式）。因此将层分为了三类，也就是三个part detector。然后将这三个part detector分别用来对FilterNet挑出来的patchs进行细粒度分类，得到一个分数。最后，作者将每幅图片的object-level和part-level的分数分数相加，得到最终的分数，即分类结果。下面是整个分类过程的示意图。

参考文献：

Xiao T J, Xu Y C, Yang K Y, Zhang J X, Peng Y X, Zhang Z. The application of two-level attention models in deep convolutional neural network for fine-grained image classification. In: Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Boston, USA: IEEE, 2015. 842−850