一. Image Caption任务简介
1.传统的计算机视觉任务
深度学习在图像领域取得了爆炸式的发展，这些任务的正确率直逼人类水平，可是：
2.计算机已经理解图像了吗？
这是faster-rcnn的一个目标检测结果，看似结果非常好，可是当我们把这张照片输入到一个计算机里时，它能告诉我们的只是：“这是马，这是人，这是狗”，这远远没有达到计算机已经理解图像这一个判断。我们希望的是，当输入这一张照片时，计算机能够告诉我们：“一个人骑在一匹马上，他的狗坐在马前面”。我们甚至希望计算机在看到这幅图片后能够说出下面这段话：“在一个阳光明媚的下午，一个穿着蓝色衣服的年轻小伙坐在一匹健壮的马上，他的爱犬坐在马的前面，他们相互对望着，看起来非常开心”。这样才能勉强说计算机已经理解了图像。
3.Image Caption涵义
（图像标注 图像字幕 看图说话）
本质是视觉到语言（Visual-to-Language，即V2L）的问题
这张照片是一年级看图说话的作业，上面的描述：”图上是什么时候？都有谁？在哪里？在干什么？在说什么？“ 正好对应了image caption任务的要求：根据图像给出能够描述图像内容的自然语言语句。这对人类来说实在是一个小儿科的任务，但是在计算机视觉领域却不能不说是一个挑战。因为这需要在两种不同形式的信息（图像信息到文本信息）之间进行“翻译”。
4.Image Caption 当前水平
和人类水平描述差距仍然明显！
关于image caption这个topic阶段性文章
• Explain Images with Multi modal Recurrent Neural Networks, Mao et al.
•Deep Visual-Semantic Alignments for Generating Image Descriptions,Karpathy and Fei-Fei
•Show and Tell: A Neural Image Caption Generator,Vinyalset al.
•Long-term Recurrent Convolutional Networks for Visual Recognition and Description,Donahue et al.
•Learning a Recurrent Visual Representation for Image Caption Generation, Chen and Zitnick
5.Image Caption 实际应用
图像标注问题如果能够得到很好的解决，那么价值是显而易见的
图像检索（更细粒度的搜索）
视力受损人士的生活辅助（计算机成为另一双眼睛）
6.Image Caption数据集
1. Microsoft COCO Caption数据集
• 原COCO数据集中约330,000张图像，人工地为每张图像都生成了至少5句标注，标注语句总共超过了约150万句
• MS COCO C5/C40
2. Flickr8K和30K
• 图像数据来源是雅虎的相册网站Flickr
• 数据集中图像的数量分别是8,000张和30,000张
3. PASCAL 1K
• 大名鼎鼎的PASCAL VOC challenge图像数据集的一个子集
• 20个分类，随机选出了50张图像，共1,000张图像
7.Image Caption评价标准
BLEU
• 图像标注结果评价中使用最广泛，设计初衷并不是针对图像标注问题，而是针对机器翻译问题
• 分析待评价的翻译语句和参考翻译语句之间n元组的相关性
二.Show and Tell: A Neural Image Caption Generator
1.摘要
• 对图像内容的自动描述是一个CV + NLP的AI问题
• 采用基于深度循环（recurrent）结构的生成模型，融合了近期在计算机视觉和机器翻译的前沿研究
• 模型学习的目标：给定训练图像，最大化其对应的目标描述语句的似然概率
• 结果：
BLEU-1 score指标
Pascal数据集：state-of-art:25分，该文59分，对比人类69分左右
Flicker30k: 56分提高到66分
SBU 19分提高到28分
2.introduction
• 这个任务比计算机视觉领域通常关注的图像分类、物体识别任务难很多
• 任务的目的：object detection+ object relation+ object attributes+object activity
• 同时expressed in natural language
• 除了视觉理解模型外，还需要一个语言模型
• 输入是图片I，训练的目标是最大化似然概率P(S|I)，S是目标word序列S={S1,S2,…},Si来源固定词典
• 机器翻译：Encoder（RNN）+Decoder（RNN）
• 贡献：
end-to-end系统
state-of-art的sub-network的组合
NIC的效果超出state-of-art
3.model
• NIC类似于将image “翻译”成语言。最大化获得正确描述的条件概率（条件是给定input image）
• 是模型的参数，I是image，S是它对应的翻译结果
• S表示句子，所以长度没有限制，比较普遍的做法是使用chain rule计算联合概率
• 用RNN来model
4.LSTM
• 函数f的选择需要考虑它应对梯度消失和爆炸的能力
• LSTM的核心是memory cell c，对每个时刻的knowledge进行编码
• cell的行为是被门“gates”控制的
• 是否forget当前cell的值（forget gate f），
• 是否读取当前的输入（input gate i）
• 是否输出新cell的值（output gate o）
5.training
• Input: image I
• ground truth sentence:S=（S0 ,…, Sn）
• St是每个word的one-hot表示，维度等于词典的大小.
• 图片和words被映射到相同的空间，image通过CNN映射，words通过一个Word embedding We映射
• Loss是各个时刻上正确word的负log似然之和
• loss在全部参数（包含LSTM、CNN、We的全部参数）上寻求最小化
6.result
三.neuraltalk2测试
1.torch安装
$ curl -s https://raw.githubusercontent.com/torch/ezinstall/master/install-deps | bash
$ git clone https://github.com/torch/distro.git~/torch --recursive
$ cd ~/torch;$ ./install.sh# and enter "yes" at the end to modify your bashrc
$ source ~/.bashrc
安装成功
2.依赖下载
sudo ~/torch/install/bin/luarocks install nn
sudo ~/torch/install/bin/luarocks install nngraph
sudo ~/torch/install/bin/luarocks install image
sudo ~/torch/install/bin/luarocks install hdf5
sudo ~/torch/install/bin/luarocks install loadcaffe
sudo ~/torch/install/bin/luarocks install cutorch
sudo ~/torch/install/bin/luarocks install cunn
（luarocks list命令查看是否安装所有需要的依赖）
3.代码模型
git clone https://github.com/karpathy/neuraltalk2（代码）
http://cs.stanford.edu/people/karpathy/neuraltalk2/checkpoint_v1.zip（模型）
th eval.lua -model model_id1-501-1448236541.t7_cpu.t7 -image_folder ./images/ -gpuid 1
4.结果
四.densecap 测试
1.依赖下载
luarocks install torch
luarocks install nn
luarocks install image
luarocks install lua-cjson
luarocks install https://raw.githubusercontent.com/qassemoquab/stnbhwd/master/stnbhwd-scm-1.rockspec
luarocks install https://raw.githubusercontent.com/jcjohnson/torch-rnn/master/torch-rnn-scm-1.rockspec
luarocks install cutorch
luarocks install cunn
luarocks install cudnn
2.代码模型
git clone https://github.com/jcjohnson/densecap（代码）
sh scripts/download_pretrained_model.sh（模型，可能下载很慢）
th run_model.lua -input_image imgs/elephant.jpg
3.结果
