[ML]NeuralTalk2(图像标注)的入门填坑指南

1. 背景

准备参加一个challenger的比赛，需要实现图像标注（Visual-to-Language）功能----就是给你个图片，让你实现看图说话。
然后意外发现了一个库NeuralTalk2，这个是斯坦福李飞飞的课程:CS231n: Convolutional Neural Networks for Visual Recognition的讲师Andrej Karpathy团队实现的。
于是兴致勃勃的clone代码准备学习下，结果折腾了一下午才弄好，安装各种依赖包期间遇到了不少的坑--想想就是心累。为了避免其他同学也遇到类似的情况，这里简单整理下。

关于图像标注的技术细节和相关推导公式，我这里就不展开了，我这篇Blog只是记录NeuralTalk2的安装使用过程中遇到的几个小坑，仅作记录，方便以后回溯。

2. 基本信息

2.1 NeuralTalk2官网

http://cs.stanford.edu/people/karpathy/deepimagesent/

2.2 NeuralTalk2论文

Deep Visual-Semantic Alignments for Generating Image Descriptions

2.3 Github地址

https://github.com/karpathy/neuraltalk2

neuraltalk2是早期neuraltalk版本的升级版本，neuraltalk作为第一个版本已经不维护了，但是代码还在，本文介绍的都是基于neuraltalk2的。请知。

3. 安装步骤

说明：以下步骤是基于mac环境的

3.1 下载neuraltalk2源码

git clone https://github.com/karpathy/neuraltalk2

3.2 安装Torch

Torch官网在这里

git clone https://github.com/torch/distro.git ~/torch --recursive
cd ~/torch; bash install-deps;
./install.sh

# On Linux with bash
source ~/.bashrc
# On Linux with zsh
source ~/.zshrc
# On OSX or in Linux with none of the above.
source ~/.profile

3.3 安装lua相关一些依赖包

对，没错，这个库是python+lua实现的。lua的包管理器是luarocks.

luarocks install nn
luarocks install nngraph 
luarocks install image 

3.4 安装CJson

3.4.1 下载CJson :

https://www.kyne.com.au/~mark/software/lua-cjson.php

3.4.2 解压 + 编译

tar -xzvf  lua-cjson-2.1.0.tar.gz
cd lua-cjson-2.1.0
luarocks make

3.5 安装loadcaffe

brew install protobuf  
sudo ~/torch/install/bin/luarocks install loadcaffe 

3.6 安装hdf5

这个步骤，当时忘记了，是应该luarocks安装还是pip安装，还是brew安装。反正我自己是3个都安装了，所以忘记真正需要的是哪个，简单点就都安装。或者我有空再研究下。

luarocks install hdf5
sudo pip install h5py
brew install hdf5

4 运行

当你一切安装好之后，大功告成，就可以运行这个库了，代码很简单，一句话：

th eval.lua -model model_id1-501-1448236541.t7_cpu.t7 -image_folder ./images/ -gpuid -1

./images/ 是我自己建立的本地需要测试的图片路径

5 遇到的问题

5.1 unable to locate HDF5 header file at hdf5.h

/home/dmt/torch/install/share/lua/5.1/trepl/init.lua:384: /home/dmt/torch/install/share/lua/5.1/trepl/init.lua:384: /home/dmt/torch/install/share/lua/5.1/hdf5/ffi.lua:42: Error: unable to locate HDF5 header file at hdf5.h
stack traceback:
    [C]: in function 'error'
    /home/dmt/torch/install/share/lua/5.1/trepl/init.lua:384: in function 'require'
    eval.lua:8: in main chunk
    [C]: in function 'dofile'
    .../dmt/torch/install/lib/luarocks/rocks/trepl/scm-1/bin/th:145: in main chunk
    [C]: at 0x00406670

原因：

hdf5安装之后，路径没有找到。

解决方案：

既然找不到，那么需要我们将hdf5的path写清楚。
那这个东西在哪里呢？路径如下:

/Users/你的电脑的用户名/torch/install/share/lua/5.1/hdf5/config.lua 

点进去编辑内容：

hdf5._config = {
    HDF5_INCLUDE_PATH = "/usr/local/Cellar/hdf5/你自己的hdf5版本号/include",
    HDF5_LIBRARIES = "/usr/local/lib/libhdf5.dylib;/usr/lib/libpthread.dylib;/usr/lib/libz.dylib;/usr/lib/libdl.dylib;/usr/lib/libm.dylib"
}

方案来源：

https://github.com/karpathy/neuraltalk2/issues/123

5.2 unknown Torch class

/home/.../torch/install/bin/luajit: /home/.../torch/install/share/lua/5.1/torch/File.lua:343: unknown Torch class 
stack traceback:
[C]: in function 'error'
/home/ptcuser/torch/install/share/lua/5.1/torch/File.lua:343: in function 'readObject'
/home/ptcuser/torch/install/share/lua/5.1/torch/File.lua:369: in function 'readObject'
/home/ptcuser/torch/install/share/lua/5.1/nn/Module.lua:158: in function 'read'
/home/ptcuser/torch/install/share/lua/5.1/torch/File.lua:351: in function 'readObject'
/home/ptcuser/torch/install/share/lua/5.1/torch/File.lua:369: in function 'readObject'
/home/ptcuser/torch/install/share/lua/5.1/torch/File.lua:369: in function 'readObject'
/home/ptcuser/torch/install/share/lua/5.1/torch/File.lua:409: in function 'load'
videocaptioning.lua:74: in main chunk
[C]: in function 'dofile'
...user/torch/install/lib/luarocks/rocks/trepl/scm-1/bin/th:145: in main chunk
[C]: at 0x00406670

原因：

NeuralTalk2这个库可以跑在GPU上，也可以跑在CPU上，因为目前仅以学习为主，且仅在本地的电脑上运行，所以需要跑CPU。
NeuralTalk2有现成的已经训练过的model，但需要下载对正确的model。
出现这个问题是因为在本地CPU上跑了GPU所需要的model

解决方案：

安装真正的需求下载CPU版本的model.
http://cs.stanford.edu/people/karpathy/neuraltalk2/checkpoint_v1.zip #带gpu的模型
http://cs.stanford.edu/people/karpathy/neuraltalk2/checkpoint_v1_cpu.zip 非gpu模型

方案来源：

https://github.com/karpathy/neuraltalk2/issues/129

5.3 cannot open eval.lua: No such file or directory

/Users/username/torch/install/bin/luajit: cannot open eval.lua: No such file or directory
stack traceback:
    [C]: in function 'dofile'
    ...username/torch/install/lib/luarocks/rocks/trepl/scm-1/bin/th:145: in main chunk
    [C]: at 0x010a015f1

原因：

这个是犯了个很基本的错误，因为前面各种包，各种安装之后，一会修改这个，一会修改那个，导致当前路径不对了。
就是当我们第四点运行提到的代码，跑的时候

th eval.lua -model ...

需要在neuraltalk2的代码路径下。

5.4 libjpeg package not found, please install libjpeg

warning:  could not be loaded (is it installed?)   
/Users/xxx/torch/install/bin/luajit: ...xxx/torch/install/share/lua/5.1/dok/inline.lua:738:  libjpeg package not found, please install libjpeg
stack traceback:
    [C]: in function 'error'
    ...xxx/torch/install/share/lua/5.1/dok/inline.lua:738: in function 'error'
    ...xxx/torch/install/share/lua/5.1/image/init.lua:232: in function 'loader'
    ...xxx/torch/install/share/lua/5.1/image/init.lua:388: in function 'load'
    ./misc/DataLoaderRaw.lua:82: in function 'getBatch'
    eval.lua:116: in function 'eval_split'
    eval.lua:173: in main chunk
    [C]: in function 'dofile'
    ...ness/torch/install/lib/luarocks/rocks/trepl/scm-1/bin/th:150: in main chunk
    [C]: at 0x010e5fe9f0

同类问题：

libpng package not found, please install libpng

原因：

1. 这个出现看起来很简单，没有安装libjpeg，然后看上去我们安装一下jpeg就好了。

brew install jpeg

2. 然后再尝试一下？
3. 叮！！！d=====(￣▽￣*)b ： 发现还是报同样的错误。
4. 然后stackoverflow上查了一下，有人告诉我luarocks需要重新install一下image，且必须按照顺序。
   于是执行：

brew install jpeg
luarocks install image

5. 然后再尝试一下？
6. 叮！！！d=====(￣▽￣*)b ： 发现还是报同样的错误。
7. 于是继续google，终于找到了如下的思路: 就是我们在第四步执行了luarocks install image
   
   

   luarocks install image

就是这里已经提醒我了，我们可以看到有警告：

ld: warning: ignoring file /Library/Frameworks//libjpeg.framework/libjpeg

告诉我们libjpeg路径冲突了，/Library/Frameworks/路径下的libjpeg和homebrew下的有冲突

解决方案：

删除/Library/Frameworks//libjpeg.framework/libjpeg
同理libpng也一并删除掉就好了。

这个问题，很多人可能在执行到第四步：luarocks install image重新安装的时候，就可以解决了。
但我自己遇到的更为复杂，所以一步步直到走到删除/Library/Frameworks/下的文件这条方案才彻底解决。

5.5 expected near '_close' at line 1436

/Users/chengpoleness/torch/install/bin/luajit: ...xxx/torch/install/share/lua/5.1/trepl/init.lua:389: ...xxx/torch/install/share/lua/5.1/trepl/init.lua:389: ...s/xxx/torch/install/share/lua/5.1/hdf5/ffi.lua:56: ')' expected near '_close' at line 1436
stack traceback:
    [C]: in function 'error'
    ...xxx/torch/install/share/lua/5.1/trepl/init.lua:389: in function 'require'
    eval.lua:8: in main chunk
    [C]: in function 'dofile'
    ...ness/torch/install/lib/luarocks/rocks/trepl/scm-1/bin/th:150: in main chunk
    [C]: at 0x010d15a9f0

解决方案：

进入：/Users/你的用户名/torch/install/share/lua/5.1/hdf5/ffi.lua
修改代码local process = io.popen("gcc -E " .. headerPath):

 -- https://github.com/deepmind/torch-hdf5/issues/83#issuecomment-254427843
 -- local process = io.popen("gcc -E " .. headerPath) -- TODO pass -I
 local process = io.popen("gcc -D '_Nullable=' -E " .. headerPath) -- TODO pass -I.

解决来源：

https://github.com/deepmind/torch-hdf5/issues/83#issuecomment-254427843

6 总结

平时使用或者学习库的时候，基本是看下作者的readMe.md, 然后明确接口和运行方式，基本是分分钟就可以搞定的事情。
但是今天想玩一下NeuralTalk2， 万万没想到，一路上遇到了这么多波折，而且关键的关键是，这里面的很多问题，我都不是第一次遇到，都是别人已经在几年前遇到过的。
所以很感慨：
为什么很多问题，需要大家不断的填坑，填坑，填坑呢？
开源作者是不是可以开发一些脚本避免大家在启动阶段遇到这么多坑呢？
是不是有更好的方式可以让开发者使用起来更优雅一些呢？