2014-nips-Recurrent Models of Visual Attention论文笔记

1. 任务

进行图像识别

2. 网络

 

图A

3. 网络中的细节

3.1 名词解释

为location。

gt为glimpse vector。

ht-1是internal state。

at是action，有两个作用：通过感知控制下一时刻lt来决定如何布置感知器；一个可能会影响环境状态的环境的作at。

3.2 glimpse vector

         图一

  图二

3.2.1 图一：glimpse sensor

是从image 的location 周围提取出了.

在l附近分辨率高，离l 很远的地方分辨率低，所以比原始图像的维度更低。

3.2.2 图二： glimpse network——

输入为image和location，进入glimpse sensor，得到。然后进入一个linear layer（）。

 直接输入一个linear layer（）；将和一起输入进linear layer ，得到.

4.网络训练：

如图A所示，首先将location和image输入进，得到，输入进linear layer 和 rectifier nonlinearity得到

ht-1为hidden layer。

和ht-1一起输入进，在输入到linear layer得到ht。

ht输入到得到at。

ht输入到得到。

5. loss function

其中，，policy是选择at。

6. result