标签：深度学习 Linux
Platform：ubuntu 16.04 LTS + CUDA 8.0 + OPENCV 2.4.13 + Python 2.7
四月份就要开始做毕业设计的相关工作了。跑起来rcnn这是实现毕业设计的第一步，大概分为一下三个方面：

caffe的编译
OPENCV的编译
RCNN的编译
注意，编译的时间根据机器不同可能非常长，因此请做好玩手机或做其他事情的准备。从今天开始，小论文写完，等面试结果，以及做毕业设计，要不然无法毕业啊！！！

caffe的编译

这一章入的坑不多，如果你是第一次装Ubuntu，先得自己动手解决Nvidia开源显卡驱动Xorg的问题。建议先通过系统设置的附加驱动先干掉Xorg提供的驱动，然后装CUDA，记住一定要重新装一遍显卡驱动啊，反正至少在Windows下如果不装一遍CUDA里的显卡驱动那么获取Compute Capability时会出问题，还得重装一遍CUDA多麻烦。~~这时候装不装CUDA包里的驱动都无所谓了。~~这里编译的caffe不是RCNN用到的caffe，作者略微修改了，但通过这个步骤可以验证caffe的依赖是否都已经满足。

下载caffe源码

从BLVC caffe下载caffe的源码，建议先从Ubuntu环境搞起，原生支持，遇到问题查的资料比较多。在Ubuntu下折腾久了自然就对Windows下caffe编译驾轻就熟。然后解压至用户目录，好找。

安装依赖

sudo apt-get install libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-dev libhdf5-serial-dev protobuf-compiler
sudo apt-get install --no-install-recommends libboost-all-dev
sudo apt-get install libatlas-base-dev
sudo apt-get install libgflags-dev libgoogle-glog-dev liblmdb-dev

修改Makefile.config

这一步很重要，不修改根本没法编译。重要的点有：

USE_CUDNN := 1,这里笔者暂时没有取消注释，具体原因见后。
WITH_PYTHON_LAYER := 1,Python接口选项，一定要选
include和lib目录：

INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include /usr/include/hdf5/serial/
LIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib /usr/lib/x86_64-linux-gnu/hdf5/serial/

编译

从这就正式编译了，下面命令的X是多线程参数，跟CPU核数一致即可，你会看到所有CPU的使用率都是100%。一般X取2，4，8，16。第三条命令是对所有编译的测试，从这可以看出编译是否成功。

sudo make all -jX
sudo make test -jX
sudo make runtest -jX
sudo make pycaffe -jX

总结

Hardware Platform	Time Cost(min)
Xeon E5530	22
GT 620(CUDA Compute Capability:2.1)	14
GTX 960M(CUDA Compute Capability:5.0)	1

上面的编译工作完成后，我们可以初步试水caffe。这里跑了下mnist的训练，不同平台训练时间如下：

Hardware Platform	Time Cost(min)
Xeon E5530	22
GT 620(CUDA Compute Capability:2.1)	14
GTX 960M(CUDA Compute Capability:5.0)	1

OPENCV的安装

笔者一开始准备偷懒采用其他人写的OPENCV一键下载编译脚本的，后来发现略有问题，因此还是按照官方文档手工编译。
下载源码opencv2.4.13,这里由于caffe写配置文件的时候默认就是opencv2，如果使用opencv3请修改配置文件。

进入源码，创建release目录

cd opencv-2.4.9
mkdir release

安装opencv依赖

sudo apt-get install build-essential cmake libgtk2.0-dev pkg-config python-dev python-numpy libavcodec-dev libavformat-dev libswscale-dev

进入release目录，编译

cd release
cmake -D CMAKE_BUILD_TYPE=RELEASE -D CMAKE_INSTALL_PREFIX=/usr/local ..
sudo make install

RCNN的编译

这一章可就厉害了，不光是要重新编译caffe框架（RCNN也是基于框架写的，从作者github上git），而且编译的时候会遇到各种各样的问题，大家最好有心理准备。总之，这一章集成度比较高，一句话：缺什么补什么。

两个依赖的安装

sudo pip install cython
sudo pip install easydict

下载&编译caffe

注意哦，这里的caffe应当是从py-faster-rcnn on Github上down下来的，为了区分暂且称这个叫rcnn-caffe，第一章写的叫caffe。如果看到py-faster-rcnn目录下的caffe是空的就对了，不知道GitHub是什么原理，rcnn那个caffe 如果通过下载zip文件的方式是不会下载下来的。这一点之前并不知道，因此看其他人的教程的时候云里雾里的，这啥都没有啊！！！
将下载的文件解压到py-faster-rcnn下相应目录，然后这时候就可以拷贝caffe的配置文件啦，上面那个caffe之所以没有打开cuDNN选项就是因为这里作者改过的rcnn-caffe不支持cuDNN5.0，编译的时候容易出问题。然后，就和caffe一样的方法编译以及测试，一般不会出问题啦，上面都编译过了嘛~

测试RCNN

编译到这就完成了，其实也就是caffe再编译一遍。接下来就是测试RCNN的流程。
下载Faster RCNN检测器

cd py-faster-rcnn
./data/scripts/fetch_faster_rcnn_models.sh

运行demo,不带任何参数的是VGG16 net，需要大约11G显存，估计大多数显卡都跑不动吧，所以可以加运行参数选择较小的zf net，但记住哦，显存还需3G左右，如果提示类似于：
Check failed: error == cudaSuccess (2 vs. 0) out of memory
这就是显存不够了，试着改网络参数也好，换CPU模式跑也好，跟本教程无关

./tools/demo.py
./tools/demo.py --net zf

Q&A：

编译rcnn-caffe出现

Error parsing text-format caffe.NetParameter: 244:21: Message type "caffe.LayerParameter" has no field named "roi_pooling_param".

那是你自己没看清楚教程，安装的是caffe官方的版本吧，请从py-fast-rcnn的github主页上git。

2.出现

Makefile:563: recipe for target '.build_release/src/caffe/layers/hdf5_data_layer.o' failed

解决方案：一定修改Makefile.config,将include和lib改为：

INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include /usr/include/hdf5/serial/
LIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib /usr/lib/x86_64-linux-gnu/hdf5/serial/

3.出现

Makefile:563: recipe for target '.build_release/src/caffe/layers/bnll_layer.o' failed
make: *** [.build_release/src/caffe/layers/bnll_layer.o] Error 1

解决方案：将Makefile.config中cudnn注释掉，不知为何官方的caffe可以打开cudnn选项，而这版caffe不行。据说是不支持cudnn5.0，亟待解决
4.make test时出现：

Makefile:563: recipe for target '.build_release/src/caffe/test/test_smooth_L1_loss_layer.o' failed

解决方案：~~修改src/caffe/test/test_smooth_L1_loss_layer.cpp,为test_smooth_L1_loss_layer.cpp.orig，~~打开这个文件删掉第11？行报错的头文件#include "caffe/vision_layers.hpp"
5.编译 pycaffe时报错：fatal error: numpy/arrayobject.h没有那个文件或目录
其实已经装好了numpy，但还要执行以下命令重新装一遍numpy：

sudo apt-get install python-numpy

反之在上面命令已经输入的情况下，如果还报错就在根目录下：

sudo pip install numpy

5.make runtest时出现：

.build_release/tools/caffe: error while loading shared libraries: libcudart.so.8.0: cannot open shared object file: No such file or directory
Makefile:526: recipe for target 'runtest' failed
make: *** [runtest] Error 127

解决方案：
32-bit: sudo ldconfig /usr/local/cuda/lib

64-bit: sudo ldconfig /usr/local/cuda/lib64

折腾faster-rcnn（一）--配置篇