吐血记录:Jetson Tx2 开发板配置caffe深度学习环境
Jetson Tx2 开发板是英伟达公司在2017年3月发布的一款全新嵌入式计算平台，TX2中拥有 4 核 ARM A57 CPU、Pascal 架构 GPU(16 纳米工艺)、 8G 内存、32G 固态存储器。标准功耗为 7.5W。另外，TX2 也可以将功率提高到 15W，从而提升计算能力。
由于项目开发需求,本人拿到一块tx2 .如图:
东西到手以后. 开始在TX2上配置caffe，下面是记录的一些caffe的配置过程。
在配置caffe之前,需要把Jetson Tx2 刷机,也就是进行JetPack3.0的安装，这一步由我会在下一篇博文中写出过程。JetPack3.0中包含了cuda8.0，是caffe运行必不可少的组件.
假设你应该做好了JetPack3.0的刷机工作.接下来就跟着我开始caffe的安装:
首先我们先查询一下Jetpack3.0刷机时配置的环境是否正常:
1.先打开终端运行:
nvcc -V
查看一下cuda版本
再查看一下其他安装或者自带组件的版本:
pkg-config --modversion opencv
g++ --version
cmake --version
以上如果你测试的跟我的有差异,那可能版本不同但是没有关系,只要出现相应的版本信息即可.
2.接下来开始配置caffe:
首先安装一般依赖项
sudo apt-get install libprotobuf-dev libleveldb-dev libsnappy-devlibopencv-dev libhdf5-serial-dev protobuf-compiler
sudo apt-get install --no-install-recommends libboost-all-dev
再安装BLAS依赖项
sudo apt-get install libatlas-base-dev
然后是python和其余依赖项,安装python及其头文件
sudo apt-get install python
sudo apt-get install python-dev
安装python的其他依赖
sudo apt-get install python-numpy
sudo apt-get install ipython
sudo apt-get install ipython-notebook
sudo apt-get install python-sklearn
sudo apt-get install python-skimage
sudo apt-get install python-protobuf
然后是谷歌glog和gflags和lmdb依赖项
sudo apt-get install libgflags-dev libgoogle-glog-dev liblmdb-dev
接着安装git，并且下载caffe源代码:
sudo apt-get install git
git clone https://github.com/BVLC/caffe.git
注意：如果你没有安装Git，需要先安装Git：
sudo apt-get install git
这样就下载好了caffe的源码.
3.然后进入到源码目录
cd caffe
(1)重命名配置文件：
因为make指令只能makeMakefile.config文件，而Makefile.config.example是caffe给出的makefile例子，因此，首先将Makefile.config.example的内容复制到Makefile.config：
执行如下操作:(在caffe根目录下)
sudo cp Makefile.config.example Makefile.config
(2)打开配置文件：
#打开Makefile.config文件；
sudo gedit Makefile.config
(3)修改配置文件:
重要的一项:在打开的配置文件下
将#Whatever else you find you need goes here.下面的
INCLUDE_DIRS:= $(PYTHON_INCLUDE) /usr/local/include
LIBRARY_DIRS:= $(PYTHON_LIB) /usr/local/lib /usr/lib
修改为：
INCLUDE_DIRS:= $(PYTHON_INCLUDE) /usr/local/include /usr/include/hdf5/serial
LIBRARY_DIRS:= $(PYTHON_LIB) /usr/local/lib /usr/lib /usr/lib/x86_64-linux-gnu/usr/lib/x86_64-linux-gnu/hdf5/serial
如图:
这是因为ubuntu16.04的文件包含位置发生了变化，尤其是需要用到的hdf5的位置，所以需要更改这一路径.
注意:
如果你需要使用cuDNN,那么可以将Makefile.config中USE_CUDNN:= 1这一行之前的#号注释去掉.
在本人用的这个本开发板上我没有修改.
(4)接上步,为了匹配cuda8.0的计算能力，把Makefile.config中CUDA_ARCH中的前两行去掉，
如下图所示:
(5)修改makefile文件
打开makefile文件，做如下修改：
将：
NVCCFLAGS+=-ccbin=$(CXX) -Xcompiler-fPIC $(COMMON_FLAGS)
替换为：
NVCCFLAGS+= -D_FORCE_INLINES -ccbin=$(CXX) -Xcompiler -fPIC $(COMMON_FLAGS)
注意有的博文里面写了这里要改:
LIBRARIES+= glog gflags protobuf boost_system boost_filesystem m hdf5_hl hdf5
这里在我测试以后,根本不可行.至少在我的开发板jetson tx2上.
这也是引导我错误耽误好几天的地方.不要修改这里.修改我上面的图示处即可.
(6)修改了以上以后,就编译caffe:
make all -j8
如果报错如下:
那么你去修改makefile.config文件下的38行.把其中的空隙移除以后,再编译.
出现如下界面:那么就是编译成功:
测试caffe是否完整编译:
运行自带的mnist手写体识别来测试:
mnist的具体运行过程
[1]下载Mnist的训练和测试数据集
1.-- ./data/mnist/get_mnist.sh (提前切换到caffe的根目录下)
2.--运行成功后.在./caffe/data/mnist/目录下有四个文件:
1--train-images-idx-ubyte-----训练样本集合
2--train-labels-idx1-ubyte----训练样本对应的标注的集合
3--t10k-images-idx3-ubyte-----测试图片集
4—t10k-labels-idx1-ubyte-----测试样本对应的标注的集合
如图:
这些下载下来的这些数据不能在caffe中直接使用,需要转换成LMDB数据库的数据的形式才可以在caffe中使用.
[2]转换成LMDB数据:
./examples/mnist/create_mnist.sh
如果这条命令执行成功,即数据格式转换成,那么就会在caffe/examples/mnist
文件夹下生成两个文件夹,分别是:
1---mnist_test_lmdb
2---mnist_train_lmdb
如图:
*注意:
*此块需要说明的是:
*如果你的电脑是有GPU,则不需要修改配置文件;
如果没有GPU则需要修改lenet_solver.prototxt的文件
执行如下操作 :
1---sudo vim ./examples/mnist/lenet_solver.prototxt
2---将这个文件的最后一行:
solver_mode:GPU------→solver_mode:CPU
我这里没有修改.
[4]训练网络模型:
./examples/mnist/train_lenet.sh
成功运行的话,没有GPU的电脑,训练时间大搞12分钟左右;
GPU的话,大概就3分钟左右.
训练过程如下图所示:
可以看到最终训练精度是0.9897;到此,mnist手写体测试运行完成.
当然,我要使用python接口来继续深度学习,顺便测试一下pytho接口:
没有报错证明编译成功.
这样也就证明整个caffe安装成功.
题外:在编译caffe过程过程中出现很多小问题,各种百度谷歌,最后发现一个治本方法,不要学什么复制build到桌面,拷贝什么,修改什么配置文件,直接重新编译caffe就是了.
执行:
make clean
再执行:
make all -j8
编译中的各种报错问题,基本上解决.
==========================================================================================
深度学习之旅正式开始.
2018/1/20
zoutao