Multi-label Image Recognition by Recurrently Discovering Attentional Regions（阅读笔记简略）

论文摘要

这部分从博客文章Multi-label Image Recognition by Recurrently Discovering Attentional Regions中摘抄而来

1. 论文拟解决问题：使用一种新的深度神经网络结构实现多标签的图像识别任务；

2. 传统方法及其缺陷：传统多标签分类器往往需要预测候选区域（region proposal），这种方法往往会造成额外开销，性能也难以达到最好；

3. 本文的主要工作：本文中实现了一个具有可解释性且能获得图像语义信息的多标签图像分类器，该分类器的主要模块由两部分组成：一个空间转换器（spatial transformer layer）在特征层中定位感兴趣区域（这里用attentional regions表示）；一个LSTM层用于计算这些regions之间的依赖关系，并且按顺序输出各个regions标签预测分数，同时LSTM还可以输出用于计算空间转换器的相关参数。

4. 实验结果：在多标签的大型数据集（MS-COCO和PASCAL VOC 2007）上，本文提出的网络结构在准确率和运行效率都优于现有的其他先进分类器。

模型结构

文献整理

1. 主要参考博客文章：Multi-label Image Recognition by Recurrently Discovering Attentional Regions

2. 论文原文：《Multi-label Image Recognition by Recurrently Discovering Attentional Regions》

3. 文章的核心是使用了两个模块：(1)空间转换网络；(2)LSTM.
   这两部分的参考文献分别为：
   (1) 空间转换网络——Spatial Transformer Networks（论文笔记）
   (2) 知乎—《RNN - LSTM - GRU》

问题记录

1. ST模块中的变换矩阵M只能够对特征图进行缩放、平移等仿射变换，如何得到图像中的注意力区域并裁剪提取出来？

2. 文中提到，LSTM有两个输出，一个是注意力区域的分类分布，一个是用于更新变换矩阵M的参数。这两个输出和LSTM结构如何对应?
   

3. 根据文中图示，每次迭代都对待分类图片中每一目标进行分类，如何做到迭代次数刚好等于途中待分类目标的个数呢？