image caption问题为什么需要spatial attention

参考论文: SCA-CNN: Spatial and Channel-wise Attention in Convolutional Networks for Image Captioning

image caption是一个image to text的问题,例如图一中需要生成的下一个词我们通过观察可以知道是cake,大概来讲我们人类是如何知道的呢?首先根据文本上下文确定我们要观察的区域,然后只需要观察cake的那块区域即可,识别出来这个区域的东西对应的英文单词是什么。讲这段话的主要意思就是:生成某个词的时候也许不需要观察所有图像,某块图像才是关键点,所以需要把注意力放在这个地方。

image caption问题为什么需要spatial attention_第1张图片

图一  image caption问题的例子以及整体框架 

你可能感兴趣的:(AI)