虽说MXNet安装过程相对简单,但是实际在操作的时候也遇到了不少坑,在这里简单记录一下。
我用的显卡型号是GeForce GTX 1060。显卡的驱动安装和CUDA以及CUDNN的配置因为之前已经搞定了,这里就不赘述(整个过程也是踩遍了各种坑坑洼洼,有空再另写一篇)。CUDA版本查询方式如下图所示,CUDNN版本为V5.0.5。
现在可以开始入坑了
1安装OpenCV
参考:手把手教你,在Ubuntu上安装OpenCV 3.0 和 Python 2.7+
电脑里的python有两个版本,2.7和3.5,这里安装的OpenCV的版本的3.1.0,注意对应的opencv_contrib也要装3.1.0版本。
打开终端窗口,更新apt-get包管理器,升级所有预安装包:
$ sudo apt-get update
$ sudo apt-get upgrade
安装我们的开发工具和包:
$ sudo apt-get install build-essential cmake git pkg-config
OpenCV 需要从磁盘中加载不同格式的图片,如JPEG,TIFF, PNG等等.所以我们需要安装我们的图像I/O工具包:
$ sudo apt-get install libjpeg8-dev libtiff4-dev libjasper-dev libpng12-dev
另外,OpenCV是用GTK开发包来显示GUI, 即用户图形界面,所以我们要安装这个开发包:
$ sudo apt-get install libgtk2.0-dev
OpenCV还必须处理视频流和单个帧,下面就是我们需要的安装包:
$ sudo apt-get install libavcodec-dev libavformat-dev libswscale-dev libv4l-dev
OpenCV还包含一些内部优化工具:
$ sudo apt-get install libatlas-base-dev gfortran
安装python包管理器pip:
$ wget https://bootstrap.pypa.io/get-pip.py
$ sudo python get-pip.py
安装virtualenv和virtualenvwrapper. 用来分割python虚拟环境. 这不是必须的, 很多教程强烈推荐,但我嫌麻烦暂时没装,也没问题:
$ sudo pip install virtualenv virtualenvwrapper
$ sudo rm -rf ~/.cache/pip
现在我们有了virtualenv和virtualenvwrapper, 我们要更新我们的~/.bashrc 文件:
# virtualenv and virtualenvwrapper
$ export WORKON_HOME=$HOME/.virtualenvs
$ source /usr/local/bin/virtualenvwrapper.sh
为了使~/.bashrc 文件生效 , 你可以用以下这些方法的其中之一(1) 注销后重新登录, (2)关闭终端开一个新终端, (3)直接使得~/.bashrc文件在当前生效:
$ source ~/.bashrc
最后我们生成名字叫cv的虚拟开发环境:
$ mkvirtualenv cv
安装python开发工具(一般都会装好python,这里以2.7版本为例,事实上我的电脑有两个版本2.7和3.5):
$ sudo apt-get install python2.7-dev
安装numpy:
$ pip install numpy
预备环境终于都搞定啦, 我们进入正题, 按照OpenCV 3.1.0:
$ cd ~
$ git clone https://github.com/Itseez/opencv.git
$ cd opencv
$ git checkout 3.1.0
有一些牛叉的算法如SIFT, SURF, 等等 在opencv_contrib里面, 所以我们要安装它来支持OpenCV:
$ cd ~
$ git clone https://github.com/Itseez/opencv_contrib.git
$ cd opencv_contrib
$ git checkout 3.1.0
注意: opencv_contrib和OpenCV版本要一致
是时候build OpenCV(坑来了):
$ cd ~/opencv
$ mkdir build
$ cd build
$ cmake -D CMAKE_BUILD_TYPE=RELEASE -D CMAKE_INSTALL_PREFIX=/usr/local -D WITH_TBB=ON -D WITH_V4L=ON -D WITH_QT=ON D BUILD_EXAMPLES=OFF -D WITH_OPENGL=ON -D WITH_CUDA=OFF -D OPENCV_EXTRA_MODULES_PATH=../../opencv_contrib/modules ..
这里有几个关键的地方要注意,WITH_CUDA=OFF(不太明白为什么要把CUDA编译关了,但是试过如果不关,我这里opencv编译会出现error...可以先不关试试,如果出现问题再关掉重新编译。BUILD_EXAMPLES=OFF,这个是要关掉的,不关好像3.1.0的版本编译不通过)
最后, 编译! :
$ make -j8
编译没问题的话, 就可以安装了:
$ sudo make install
$ sudo ldconfig
如果安装无误, OpenCV现在已经安装在/usr/local/lib/python2.7/site–packages中了. 但是考虑到我们的虚拟环境cv还没有OpenCV, 我们需要建立一个软链(我没做这步):
$ cd ~/.virtualenvs/cv/lib/python2.7/site-packages/
$ ln -s /usr/local/lib/python2.7/site-packages/cv2.so cv2.so
恭喜 ! 你完成了在Ubuntu上安装OpenCV 3.1:
所有剩下的就是验证一下啦:
$ workon cv
$ python
>>> import cv2
>>> cv2.__version__
'3.1.0'
OK,可以进入下一阶段了
2安装MXNet
MXNet 的安装基本上是官方的标准流程.
$ sudo apt-get install -y build-essential git libatlas-base-dev
$ git clone --recursive https://github.com/dmlc/mxnet
$ cd mxnet
在编译之前, 可以修改 MXNet 的 config.mk 文件, 来满足个性化的需求.
$ cd mxnet
$ cp make/config.mk .
$ vi -nw config.mk # 或者使用其它顺手的编辑器
我改了四个地方:
USE_CUDA = 1
USE_CUDA_PATH = /usr/local/cuda
USE_CUDNN = 1
USE_BLAS = atlas
保存后就可以编译了
$ make -j8
之前因为没有装opencv,所以编译一直出错。opencv装完后,编译到最后出现一个问题:
g++ example.cpp -o example `pkg-config --libs --cflags opencv`
/usr/bin/ld: 找不到 -lippicv
collect2: error: ld returned 1 exit status
大概是这个错, /usr/bin/ld: 找不到 -lippicv(ubuntu 16.04 LTS 安装opencv-3.1.0,含完整安装步骤) 这里有三个解决方案,我用第三个方案解决了这个问题,感谢作者。
从opencv.pc中可以看出,pkg-config加载库的路径是/usr/local/lib,我们去这这个路径下看看,发现没有-lippicv对应的库,别的选项都有对应的库,然后我们把-lippicv对应的库(libippicv.a)放到这个路径下就好啦了。
我的liboppicv.a在~/opencv/3rdparty/ippicv/unpack/ippicv_lnx/lib/intel64这个路径下。你的也在你自己opencv文件夹的对应路径下。
先cd 到上面这个路径下,然后cp liboppicv.a /usr/local/lib 将这个库文件复制到/usr/local/lib下就好了。
再试试,发现“/usr/bin/ld: 找不到 -lippicv
collect2: error: ld returned 1 exit status”这个错误已经解决。
为了加速 GPU 计算, 我们忽略显卡的兼容, 只支持当前的显卡(其他教程建议的,以后重新编译可以试试)
首先要查询当前的显卡的 compute capacity, 然后修改 mshadow 的编译选项, 例如, 1080 的编译选项如下:
# mxnet/mshadow/make/mshadow.mk
MSHADOW_NVCCFLAGS = -gencode arch=compute_61,code=sm_61
编译成功后,安装python支持:
$ cd ~/mxnet/python
$ python setup.py install
可以运行它的样例程序试试效果:
cd mxnet/example/image-classification
python train_mnist.py
如果要实现GPU加速
python train_mnist.py --gpus 0 --network lenet
好了,简要介绍完了~