Spatial Attention model

    这个方法来自于论文:《Context Aware Query Image Representation for Particular Object Retrieval》

  

    在描述待查询图像时,很多方法都利用到了region或者proposal的概念,旨在提高图中object的显著性。

    在此文中,作者提出了一种Spatial Attention model,即空间注意力模型,来提高对图中object的注意力。

    

    1. saliency map

    假设卷积网络结构中,提取特征的layer产生的feature map大小为W*H*K。

    其中所有K层相同位置的激活值进行相加求和,形成W*H大小。

    之后进行归一化,使所有值介于[0,1]。

    此时的W*H大小的map即为saliency map。


    2. spatial attention model

   实例检索任务中,输入待查询图像,其中真正检索的目标称为ROI (Region of Interest)。

   将ROI的位置映射到feature map上,记为ROI’。映射方法可见之前的博客。

    将属于ROI’的激活值置为1,其他激活值不动,依然为saliency map求出的值。

    公式表示为:

                      

    对于W*H*K中的每一个W*H大小的feature map,最后的图像表示为:

                   

    其中, X表示第l卷积层的feature map 中第k个通道的像素p的值。

              

    论文中langmeda1=0.5,langmeda2=0.4,a的指数为4。所以g(a)一定是一个小于1的值。


    最后的结论实际上就是,卷积层的结果中,如果某个点位于region之内,其值不变。如果位于background,其值乘以一个小于1的值,以此提高region的显著性。


    整个过程的示意图如图所示:

    Spatial Attention model_第1张图片

   


你可能感兴趣的:(实例检索)