Baby Talk and Neural Baby Talk

两篇关于用类似完形填空方式做image captioning的文章。

• 1.Baby Talk: Understanding and Generating Image Descriptions[CVPR2011]。
• 2.Neural Baby Talk[CVPR2018]。code

文章列出了传统baby talk， neural baby talk和主流encoder-decoder三种生成图像描述方法的示意图。

这个方法主要的思路是有现有的基于attention的方法生成一个sentence，这个sentence叫做template，然后利用Stanford lemmatization toolbox去判断生成sentence中的visual word，最后再通过计算生成这个visual word过程中的attention map多对应bounding box与faster RCNN中所对应的bounding box之间的IOU，IOU大于0.5就选择faster RCNN检测对应的class即为visual word，否则选择原LSTM生成的visual word，得到visual word后，再判断visual word的单复数和细粒度的类别，文章的framework如下所示。