【文章阅读visual granding】GuessWhat?! Visual object discovery through multi-modal dialogue

一、文章主要有两个贡献点

      1、建立了基于对话的visual granding数据集

      2、给出了基于深度学习的baseline model

二、数据集

这是数据集中的两个例子，可以发现每一张图有一个instance级别的标注，并且对应若干个问答形式的描述！任务的目的在于通过这些问答形式的描述，自动的确定所描述的目标物体是谁！

三、基础模型

从图中可以发现，模型的结构还是比较简单的，有5类不通的输入内容：1、context也就是全局上下文，也就是整张图像；2、crop，也就是object的ROI图像；3、spatial information，也就是坐标文中采用了[左上角，右下角，中心点，尺寸];4、类别是one-hot向量，用了一个embed层转换成dense category embedding；5、语义向量；

MLP：是只有一个隐层，最后用softmax接交叉熵；

CNN：用于提取视觉特征的是预训练的VGG，图像resize到224，从fc8提取向量；

上图只是针对一个object，对于图中存在这一系列object，需要如下图所示的做法，然后用softmax选一个最大的概率：

四、实验对比

这个表中给出了各种信息不同组合方式，给结果带来的影响！