[Jetson TK1]caffe工具环境搭建

Caffe在不同的环境中进行移植的时候需要重新编译，所以在TK1板上安装caffe时需要在此armv7（uname -a查询）和cuda及cudnn环境下进行。可搜索到的教程最好的为发明Caffe工具的Yangqing Jia所写的Jetson TK1教程贾扬清写的TK1上安装caffe的教程。根据教程我们可以一步步的来配置Caffe开发环境。
（1）run Nvidia’s installer

sudo NVIDIA-INSTALLER/installer.sh
sudo shutdown -r now

当Reboot成功之后就可以开始安装一些Caffe环境所需要的软件包：

sudo add-apt-repository universe
sudo apt-get update
sudo apt-get install libprotobuf-dev protobuf-compiler gfortran \
libboost-dev cmake libleveldb-dev libsnappy-dev \
libboost-thread-dev libboost-system-dev \
libatlas-base-dev libhdf5-serial-dev libgflags-dev \
libgoogle-glog-dev liblmdb-dev gcc-4.7 g++-4.7

(2)Cuda和Cudnn工具安装
此处有官方的安装教程Jetson/Installing CUDA可以参考，然后下载Cuda6.0 for Arm。
cuda6.0工具包
cuda6.5工具包
下载deb包成功之后，我们需要接着安装此deb包，并配置环境变量：

sudo dpkg -i cuda-repo-l4t-r19.2_6.0-42_armhf.deb
sudo apt-get update
sudo apt-get install cuda-toolkit-6-0
sudo usermod -a -G video $USER
echo "# Add CUDA bin & library paths:" >> ~/.bashrc
echo "export PATH=/usr/local/cuda/bin:$PATH" >> ~/.bashrc
echo "export LD_LIBRARY_PATH=/usr/local/cuda/lib:$LD_LIBRARY_PATH" >> ~/.bashrc
source ~/.bashrc

Cudnn的版本也和Caffe的版本有对应的关系，所以需要小心的选择和配置。可以根据caffe版本和cudnn版本的对应关系下载
caffe versions
cudnn下载
cudnn安装教程
此处Cuda和Cudnn工具就都配置好了，可以使用命令nvcc -V查询安装的cuda版本。
(3)opencv安装
接着要配置Tegra版本的opencv工具，在上面的cuda6.0工具包和cuda6.5工具包中都有对应的opencv的工具包，可以根据需要安装。此处由于我们安装的是cuda6.0工具，所以下载两个opencv工具包 libopencv4tegra_2.4.8.2_armhf.deb和libopencv4tegra-dev_2.4.8.2_armhf.deb,然后安装这两个软件包,这样opencv工具就配置好了。

sudo dpkg -i libopencv4tegra_2.4.8.2_armhf.deb
sudo dpkg -i libopencv4tegra-dev_2.4.8.2_armhf.deb

(4)caffe工具安装
最便捷的方法就是利用git直接下载最新的caffe工具包，如下所示：

sudo apt-get install -y git
git clone https://github.com/BVLC/caffe.git

但是这样存在一个问题，就是上面提到的cudnn和caffe工具存在一定的对应关系，如果直接下载最新的caffe工具包，有些编译的软件包不能向下兼容或者有可能函数缺失，这样在安装和编译的过程中会带来不少的问题。因此还是在上面提到的对应关系处手工下载caffe工具包。当下载好之后进入caffe主目录：

cd caffe && git checkout dev
cp Makefile.config.example Makefile.config
sed -i "s/# CUSTOM_CXX := g++/CUSTOM_CXX := g++-4.7/" Makefile.config

然后使用命令进行编译(-j 4表示采用的cpu核数为4)

make clean  //每一次make失败之后重新make都需要该命令进行清除
make -j 4 all
make -j 4 runtest

当编译成功之后会出现一串的RUN OK 和 PASSED，即为编译成功。
(5)安装过程中遇到的一些问题及解决方法

Cudnn报错，这是因为caffe采用的是最新的版本而cudnn采用的是旧版本里面有些核函数有变动所以不能编译成功，所以需要安装适合arm核的最新版的cudnn工具，可以参考NVIDIA Jetson TK1学习与开发——安装cudnn与caffe，更换cudnn工具以及其相对应的lib库后（注意backup）就可以成功执行make all命令了。
在编译过程中遇到了unsupported gpu architecture compute_60这个问题，这是由于安装的cuda版本的计算能力不能达到要求(在新版本的caffe中可能会出现)。此时可以编辑Makefile.config文件，在CUDA_ARCH选项中，注释掉

CUDA_ARCH = ...
            ...
#  -gencode arch=compute_60,code=sm_60 \
#  -gencode arch=compute_61,code=sm_61 \
#  -gencode arch=compute_61,code=sm_61

此时重新执行make all -j2就可以重新编译了。可参考Error when Building GPU docker image for caffe: Unsupported gpu architecture 'compute_60'

如果在执行make runtest时出现undefined symbol: _ZN6google16SetVersionStringERKSs的错误，如下所示:

ubuntu@tegra-ubuntu:~/work/caffe$ make -j 4 runtest
.build_release/tools/caffe
.build_release/tools/caffe: symbol lookup error: .build_release/tools/caffe: undefined symbol: _ZN6google14FlagRegistererC1IiEEPKcS3_S3_PT_S5_
make: *** [runtest] Error 127

证明gflags还是没有安装正确，可以参考caffe安装指南,在schuhschuh/gflags处下载gflags的包进行编译(此处我根据建议下载和编译的是gflags-2.0版本)，然后再次运行make runtest。如果不通过make runtest则在执行examples库中的例子时就会出现上面同样的错误而不能够再执行下去。如果安装了gflags-2.0版本的还是出现这个问题，则安装gflags-1.4版本的，重新编译，然后在make runtest时不会再报这个错误。如果安装了gflags-1.4版后make runtest虽然通过但是在转换数据类型以及训练时遇到了如下所示flag缺失的问题，再更新成gflags-2.0版本的即可（这是gflag版本太低此时又安装gflag2.0版本，然后重新编译，passed。）。

//
Creating lmdb...
ERROR: unknown command line flag 'backend'
ERROR: unknown command line flag 'backend'
Done.

安装新版本的protobuf时首先要执行make clean清除掉以前的编译信息重新编译。可以参考深度学习工具caffe详细安装指南中的protobuf安装方法。
安装了新的protobuf后出现error while loading shared libraries: libprotoc.so.9: cannot open shared object file: No such file or directory的错误，证明是lib路径的缺失，可以参考Ubuntu14.04编译caffe问题记录。注意在autogen.sh文件中需要从google下载一个文件gtest-1.5.0.tar.bz2,注释掉curl行，并可能需要修改压缩文件内的文件名以保证正确的解压和拷贝。
重新编译make all时又遇到了新的问题error while loading shared libraries: libcudart.so.6.5: cannot open shared object file: No such file，这是lib库中某些lib文件缺失，此时可以参考error while loading shared libraries: libcudart.so.6.5: cannot open shared object file: No such file。一共遇到了四个lib文件缺失libcudart.so.6.5，libcublas.so.6.5，libcurand.so.6.5，libcudnn.so.4只需要copy到对应的lib文件夹下并执行ldconfig即可。
在执行make runtest时又出现新的问题Check failed: status == CUDNN_STATUS_SUCCESS (6 vs. 0) CUDNN_STATUS_NOT_INITIALIZED 此问题可能是cudnn和caffe的版本不对应，参考：Digits Error (code 11) #223以及CUDNN_STATUS_NOT_INITIALIZED when using Caffe with cuDNN暂时修改Makefile.config文件，将USE_CUDNN:=1注释掉，不采用CUDNN加速。此时再重新make一次。
当出现warning:clock skew detected. Your build may be incomplete时，可按照lock skew detected. Your build may be incomplete的方法解决。

find . -type f | xargs -n 5 touch
make clean
make all -j4

当出现has modification time in xxxs the future时表示系统时间被修改过了过去修改时的系统时间和现在的系统时间不统一所以会报出warning。此问题的出现是由于TK1板没有接入wifi信号，此时的系统时钟和上一次编译时记录的系统时钟发生冲突而形成的。
当出现caffe: libgflags.so.0 missing (error while loading shared libraries)的错误时,通过搜索(whereis libgflags.so.0)可以看到该文件其实是存在的，所以只需要将其所在目录添加到所需的环境变量即可。

export LD_LIBRARY_PATH=/usr/local/lib

当出现error while loading shared libraries: libcudart.so.6.0: cannot open shared object file: No such file的问题以及其他三个lib文件也找不到的问题时，按照上面的方法copy或者添加到环境变量即可。
当出现F0202 10:28:31.158313 14086 db_lmdb.hpp:13] Check failed: mdb_status == 0 (-30792 vs. 0) MDB_MAP_FULL: Environment mapsize limit reached时，这是因为caffe中db.cpp中设置的MDB_MAP_FULL变量的值为1TB远大于TK1上可接受的范围。因此需要修改该文件，可参考这篇文章。其他的参考：
Environment mapsize limit reached
LMDB map size - double when full
Provide a Caffe package in Debian
Remove all references to LevelDB
mdb_mapp_full error when installing caffe on jetson tk1
caffe+ubuntu 32位+atlas最少配置方法
NVIDIA Jetson TK1 – Caffe Deep Learning Framework
在creat_mnist.sh执行的时候又遇到了新的问题F0413 15:08:19.918817 9137 convert_mnist_data.cpp:132] Check failed: mdb_put(mdb_txn, mdb_dbi, &mdb_key, &mdb_data, 0) == 0 (-30792 vs. 0) mdb_put failed,该问题和上面MDB_MAP_FULL的问题一样超出了边界。解决方法：

I am also using Ubuntu 32 bit and got this error. Changing the 1099511627776 to 1073741824 in examples/mnist/convert_mnist_data.cpp fixed it.

可以参考这篇文章Problems with MDB in the mnist example然后需要reboot,重新执行一篇编译，记得之前要make clean。
最后再重新走一遍编译流程：

make clean
make -j 4 all
make -j 4 runtest
//出现一串RUN OK以及最后的PASSED即为成功！

此时如果出现一串RUN OK以及最后的PASSED即为成功！通过以下命令可以测试cpu训练和开启cudnn加速的gpu训练所用时长对比,可以从Average时间看出gpu训练比使用cpu训练缩短了很多时间！

CPU-only test 
terminal:./build/tools/caffe time --model=models/bvlc_alexnet/deploy.prototxt
I0413 16:40:36.283255  3707 caffe.cpp:271] Average Forward pass: 6130.44 ms.
I0413 16:40:36.283291  3707 caffe.cpp:273] Average Backward pass: 5817.8 ms.
I0413 16:40:36.283329  3707 caffe.cpp:275] Average Forward-Backward: 11948.8 ms.
I0413 16:40:36.283367  3707 caffe.cpp:277] Total Time: 597442 ms.
I0413 16:40:36.283406  3707 caffe.cpp:278] *** Benchmark ends ***

GPU-only test
terminal:./build/tools/caffe time --model=models/bvlc_alexnet/deploy.prototxt --gpu=0
I0413 16:44:23.592217  6929 caffe.cpp:271] Average Forward pass: 262.872 ms.
I0413 16:44:23.592285  6929 caffe.cpp:273] Average Backward pass: 244.351 ms.
I0413 16:44:23.592348  6929 caffe.cpp:275] Average Forward-Backward: 508.663 ms.
I0413 16:44:23.592429  6929 caffe.cpp:277] Total Time: 25433.1 ms.
I0413 16:44:23.592506  6929 caffe.cpp:278] *** Benchmark ends ***

[Jetson TK1]caffe工具环境搭建

你可能感兴趣的:([Jetson TK1]caffe工具环境搭建)