深度学习框架PyTorch入门与实践：第十章 Image Caption：让神经网络看图讲故事

Image Caption，通常被翻译为图像描述，也有人称之为图像标注，本章统一译为图像描述。图像描述直观地解释就是从给定的图像生成一段描述文字。下图所示就是几个图像描述的例子，上面是图像，下面是神经网络生成的相应的描述。图像描述是深度学习中十分有趣的一个研究方向，也是计算机视觉的一个关键目标。对于图像描述的任务，神经网络不仅要了解图像中有哪些对象，对象之间的关系，还要使用自然的语言来描述这些对象的关系，因此图像描述比其他深度学习任务更有趣，也更有挑战性。

image.png

图像描述用到的数据集通常是MS COCO，COCO数据集使用的是英文语料库，而在本章中，我们将使用2017年9月~12月举办的AI Challenger比赛中的“图像中文描述”子任务的数据，带读者实现一个能够看图说话的神经网络。关于图像中文描述比赛的更多信息，读者可以访问AI Challenger官网。

10.1 图像描述介绍

对人来说，Image Caption是简单而自然的一件事，但对机器来说，这项任务充满了挑战性。原因在于机器不仅要能检测出图像中的物体，还要理解物体之间的相关关系，最后还要利用合理的语言表达出来。图像描述吸引了许多研究人员的关注，除了它的趣味性外，还因为它具有广阔的应用前景，例如它可以帮助盲人“看到”真实世界发生的事情。

利用深度学习完成图像描述的工作可以追溯到2014年百度研究院发表的《Explain Images with Multimodal Recurrent Neural Networks》论文。作者创造性地将深度卷积神经网络和深度循环网络结合，用于解决图像标注与图像和语句检索等问题。现在关于图像描述更为人所熟知的是另一篇论文：《Show and Tell: A Neural Image Caption Generator》。这篇论文提出的Caption模型如下图所示。

image.png

Image是原始图片，左边是GoogleLeNet，实际使用中可以用任意的深度学习网络结构代替（如VGG或ResNet等），，，，……，是人工对图片进行描述的语句，例如“A dog is playing with a ball”，那么~就是这7个单词。就是这几个单词对应的词向量。

论文中训练的方法如下：

• 图片经过神经网络提取到图片高层次的语义信息
• 将输入到LSTM中，并希望LSTM的输出是
• 将输入到LSTM中，并希望LSTM的输出是
• 将输入到LSTM中，并希望LSTM的输出是
• 将输入到LSTM中，并希望LSTM的输出是
• 以此类推，将输入到LSTM中，并希望LSTM的输出是

可以看出这个做法和第9章所讲的利用CharRNN写唐诗的原理很相似。如果读者还没有阅读第9章的内容，笔者强烈建议先阅读它，了解关于词向量、RNN和CharRNN的相关知识。图像描述的实现方法可以认为和生成唐诗一样，只不过这个的第一个词用图像的信息来表示。通过神经网络高层的输出，我们可以获得关于图像的高层语义信息。在论文中，作者使用了预训练好的GoogleLeNet获取图片在全连接分类层之前的输出，作为图像语义。训练的目标就是输出的词尽量和预期的词相符，所以图像描述问题最终也变成了一个分类问题，利用LSTM不断预测下一个最有可能出现的词。

10.2 数据

10.2.1 数据介绍

AI Challenger图像中文描述比赛的数据分为两部分，第一个部分是图片，总共20万张，第二部分是一个caption_train_annotations_20170902.json文件，它以json的格式保存每张图片的描述，每个样本的格式如下，总共有20万条这样的样本。

• url：图片的下载地址（没用，因为已经提供了下载好的图片）。
• image_id：图片的文件名。
• caption：图片对应的五句描述。

10.2.2 图像数据处理

10.2.3 数据加载

10.2.4 实验结果分析