第六十三周学习笔记

第六十三周学习笔记

论文阅读概述

• DEEP GAZE I: BOOSTING SALIENCY PREDICTION WITH FEATURE MAPS TRAINED ON IMAGENET: This article introduces a deep saliency map prediction model which use ImageNet pretrained model to get different layer’s feature and feed to decoder to predict fixations.
• Understanding Low- and High-Level Contributions to Fixation Predictio: This articles introduces a new SoTA model DeepGaze II which use better encoder than DeepGaze I and compare it with low-level based model, finding that high-level and low level image feature focuses on different aspects of an image and lead to better performance when they are consistent with human fixation.

实验记录

topdown attention 模型的一些结果

reversed attention

在一个训练好的topdown attention模型中，颠倒区域的attention权值，具体的做法是在softmax前对结果取负值，最后模型的生成结果如下

其中红、蓝、绿分别表示原始模型attention权值的最低的三个区域，在reverse之后，变成最高的，图片标题是当前生成的word，右边的数字是权值reverse之后三个区域的累计权值



由结果可以发现

• caption变得奇怪，有大量词的重复，比如第一幅"a man standing in a man and a man and a woman"
• 将attention权值倒置了之后，关于object的视觉信息仍然与图片高度相关，比如图一中的man和woman，图二中的desk和computer，图三中的cars，这可能是因为即便颠倒了权值，这些信息还是能从fc特征和最后加权的att特征中发掘出来
• 颠倒后attention值较高（未颠倒时较低）的区域在多个time step中一致保持较高
• 颠倒后attention值较高（未颠倒时较低）的区域也是对生成caption来说重要的视觉信息

随机fc特征

将top-down模型中的图像全局特征（即fc特征）变成随机数，这一步的主要动机是想看看，caption的质量对fc特征的依赖性，得到的结果如下

由结果可以发现

• caption与原模型相比无变化
• attention区域与原模型相比几乎无变化，top3的顺序可能会变

为了探究这个“无变化”的程度，用这个方法重新跑了karparthy测试集得到的结果与原来模型相比如下

结果表明，

• 从caption的不变结果来看，caption对于fc特征几乎没有依赖性，所有重要的信息均位于attention特征中
• 从attention top3几乎不变的结果来看，fc特征即便在公式上是参与attention权值计算，但实际上attention权值被各个region的特征所主导，而不同的time step对其的影响相对较小，这也解释了为什么图像的top3 和bottom3总是会attend到重复区域的问题

随机att特征

既然做了随机fc特征，不做个随机att特征总感觉实验还没做完，注意此时框框的区域不再有任何意义，因为att特征已经换成随机数了



结果表明

• captioner能够生成结构合理的句子，相比与之前的reversed attention
• 生成的句子与图片毫不相关，像是数据集中的一些广泛存在的句子
• 结合上一个实验结果，进一步证明了caption对attention信息的依赖性

本周小结

上周任务完成情况

• 论文阅读>5，未完成
• 倒排attention的研究，完成
• 融合saliency模型，未完成

下周目标

• 在Salicon上训练出好的saliency检测模型
• 模仿CVPR2019 CapSal搞一个简单的版本出来
• 论文阅读>5篇