Bottom-Up and Top-Down Attention for Image Captioning and Visual Question Answering

这是CVPR2018 Oral的一篇关于 Image Captioning和Visual Question Answering的文章,paper链接https://arxiv.org/abs/1707.07998,作者的homepage http://www.panderson.me/,code已经被released出来了https://github.com/peteanderson80/bottom-up-attention。
文章要做的事情:
image caption + visual question answer
文章中show出来的关于image caption和visual question answer的实验结果。
Bottom-Up and Top-Down Attention for Image Captioning and Visual Question Answering_第1张图片
Bottom-Up and Top-Down Attention for Image Captioning and Visual Question Answering_第2张图片

这篇文章的实验结果很好, 2017 VQA Challenge第一名,image caption方面也与很多最新的方法进行了比较,文章列出了很多trick,但framework没有讲清楚,没看明白,以后再看看。

你可能感兴趣的:(跨媒体,image,caption,visual,question,answer)