Ubuntu14.04.5+CUDA8.0+Caffe+Theano+TensorFlow+Keras安装记录

温馨提醒：安装过程请善待你的电脑，请勿乱砸鼠标键盘

机器配置

• CPU：I7 4790K
• GPU：Nvidia GTX1080
• 内存：DDR3 32G
• 主板：ASUS Z97
• 系统：Ubuntu 14.04.5

一、GTX1080驱动安装

1.1准备工作

先进主板BIOS把显卡选项切换到集成显卡（如果在安装操作系统的时候找不到U盘之类的考虑关闭安全启动）
先用集成显卡来显示，桌上桌下来回窜，还好我不算太胖。

1.2驱动版本选择

如果你下了个最新版（我当时下的是375.20），恭喜，你掉坑里了。经过尝试发现367.44和367.27是在14.04里是比较好用的,CUDA（8.0.44）和CuDNN（v5.1）下最新版，性能好。

1.3安装驱动

1.3.1禁用ubuntu自带的驱动

开源的并不是都好，有的也是渣，nouveau就是其中之一，搞掉它
新建文件
sudo vim /etc/modprobe.d/blacklist-nouveau.conf
输入内容
blacklist nouveau
重启

1.3.2用run文件安装驱动

按ctrl+alt+F1进入命令行模式

sudo service lightdm stop 
sudo ./NVIDIA-Linux-x86_64-367.44.run 

安装完成用通过nvidia -smi测试是否安装成功，然后重启

1.3.3切换显示

进BIOS把显示切回到PCIE显示，把显示器连到GTX1080上

补充：使用集显显示独显运算的配置方法

为了支持最新的1080，下最新版的驱动和CUDA，这次安装时用的是驱动是378.13，CUDA是8.0.61，同以上禁用nouvea，关闭图形界面，安装驱动和CUDA，注意一定不要安装opengl库，也不要让安装程序配置图形界面。

sudo ./NVIDIA-Linux-x86_64-378.13.run --no-opengl-files
sudo ./cuda_8.0.61_375.26_linux.run --no-opengl-libs 

二、CUDA8.0+CuDNN安装

2.1打开Terminal运行CUDA安装脚本

sudo sh cuda_8.0.44_linux.run

ctrl+c跳过说明，选择Accept同协议
然后高能预警：一定不要装这里面自带的驱动，如下
Install NVIDIA Accelerated Graphics Driver for Linux-x86_64 361.62?
(y)es/(n)o/(q)uit: n //是否覆盖驱动？这是关键，要填n

接下来用默认选项安装就好。
安装完成后会提醒有些库缺少，不用管，反正是做加速的不绘图。

2.2添加路径

export PATH=/usr/local/cuda-8.0/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda-8.0/lib64:$LD_LIBRARY_PATH

2.3测试CUDA是否安装成功

通过nvcc -V测试cuda是否安装成功。
当然也可以进入HOME中把Nvidia提供的例子编译一下

make all -j8

然后在bin里面好多层里找到.deviceQuery，如果能正常读出GPU型号就ok。

Caffe推荐使用7+以上的CUDA版本，不再兼容6以下的版本。
TensorFLow如果使用已经编译好的包，与CUDA和CuDNN的与官方的说明对应。

2.4安装CuDNN

tar xvzf cudnn-8.0-linux-x64-v5.tgz
sudo cp cuda/include/cudnn.h /usr/local/cuda/include
sudo cp cuda/lib64/libcudnn* /usr/local/cuda/lib64
sudo chmod a+r /usr/local/cuda/include/cudnn.h /usr/local/cuda/lib64/libcudnn*

三、Caffe安装

caffe的安装主要是按[官网]（http://caffe.berkeleyvision.org ）的步骤做的
网上有很多把G++版本搞到4.9或者5.0以上来编译，感觉还是比较麻烦的，直接用这个版本默认的G++ 4.8.4编译了，就不切G++的版本了

3.1依赖库安装

sudo apt-get install libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-dev libhdf5-serial-dev protobuf-compiler
sudo apt-get install --no-install-recommends libboost-all-dev
sudo apt-get install libatlas-base-dev
sudo apt-get install python-dev
sudo apt-get install libgflags-dev libgoogle-glog-dev liblmdb-dev

3.2安装Anaconda2

Anaconda2集成了科学计算等常用的包，用起来很方便，而且用Anaconda2安装Theano和TensorFlow都很方便，所以就使用Anacoda2作caffe的python支持了，如果不需要用caffe的python接口，pycaffe可以不编译。习惯了python 2.7，所以使用python 2.7 version的64位Linux安装包，下载好以后安装
bash Anaconda2-4.2.0-Linux-x86_64.sh
安装过程中会问要不要把 Anaconda2添加到.bashrc中，果断选择添加，就算以后不需要了注释掉就好了，总比自己写要方便。

3.3编译caffe

3.3.1下载caffe

cd ~
git clone https://github.com/BVLC/caffe.git

3.3.2修改编译设置

cd ~/caffe
cp Makefile.config.example Makefile.config

然后修改Makefile.config
使用CuDNN，取消注释
USE_CUDNN := 1
python接口的配置，改成用Anaconda的

# We need to be able to find Python.h and numpy/arrayobject.h.
# PYTHON_INCLUDE := /usr/include/python2.7 \
        /usr/lib/python2.7/dist-packages/numpy/core/include
# Anaconda Python distribution is quite popular. Include path:
# Verify anaconda location, sometimes it's in root.
ANACONDA_HOME := $(HOME)/anaconda2  #改成自己安装Anaconda的地址
PYTHON_INCLUDE := $(ANACONDA_HOME)/include \
          $(ANACONDA_HOME)/include/python2.7 \
          $(ANACONDA_HOME)/lib/python2.7/site-packages/numpy/core/include \

python依赖库

# We need to be able to find libpythonX.X.so or .dylib.
# PYTHON_LIB := /usr/lib
PYTHON_LIB := $(ANACONDA_HOME)/lib

python层

# Uncomment to support layers written in Python (will link against Python libs)
WITH_PYTHON_LAYER := 1

3.3.3make caffe

保存后make一下，然后测试

make all -j8
make test -j8
make runtest -j8

有时会报错，好像是用得线程太多有搞不清楚的错误，可以适当减少线程数
没有问题看到passed

3.3.4测试Caffe

用mnist数据集测试一下，caffe给了mnist的demo

cd ~/caffe
./data/mnist/get_mnist.sh
./examples/mnist/create_mnist.sh
./examples/mnist/train_lenet.sh

10s多一点就完成了10000次迭代，精度达到了99.17%
可见老黄家的CUDA和CuDNN优化得确实是越来越强了，感觉比之前用的快了不少

3.3.5编译pycaffe

最后make一下caffe在python中的模块
make pycaffe -j8
在环境变量中添加自己的路径
export PYTHONPATH=/path/to/caffe/python:$PYTHONPATH
然后试一下

python
import caffe

能正常导入就没有问题了。

四、Theano安装

安装了anaconda2后安装theano非常方便，安装完以后再配置一下就可以用了

4.1安装Theano

conda install theano

4.2配置Theano

建立Theano配置文件

cd ~
vim ./bashrc

内容如下

[global] 
floatX=float32
device=gpu 
optimizer_including=cudnn
[cuda]
root=/usr/lib/nvidia-cuda-toolkit
[nvcc]
flags=-D_FORCE_INLINES

3.3Theano GPU测试

测试代码：

from theano import function, config, shared, sandbox
import theano.tensor as T
import numpy
import time
vlen = 10 * 30 * 768  # 10 x #cores x # threads per core
iters = 1000
rng = numpy.random.RandomState(22)
x = shared(numpy.asarray(rng.rand(vlen), config.floatX))
f = function([], T.exp(x))
print(f.maker.fgraph.toposort())
t0 = time.time()
for i in range(iters):
    r = f()
t1 = time.time()
print("Looping %d times took %f seconds" % (iters, t1 - t0))
print("Result is %s" % (r,))
if numpy.any([isinstance(x.op, T.Elemwise) for x in f.maker.fgraph.toposort()]):
    print('Used the cpu')
else:
    print('Used the gpu')

有提醒CuDNN的版本太新，Theano版本没有跟上，不过好像也没有什么问题,强症受不了就换成CuDNN v5
更多说明参见here

Theano+Keras不同配置对比

有人对三种配置的Theano做了对比

• Theano+CPU
• Theano+GPU
• Theano+GPU+CuDNN
  配置文件按自己的需要可以修改，这个很方便，Theano用起来确实很灵活
  有空的时候看看使用Theano做后端的Keras

TensorFlow安装

待更新

Keras

待看

Trouble shooting

安装过程中遇到的坑，慢慢填，记住的是找了一下才能搞定的坑，安装过程中还会遇到大大小小各种各样的坑，配环境就是一步步走过月球表面，随手能改好的就没记了

坑1

/usr/include/boost/python/detail/wrap_python.hpp:50:23: fatal error: pyconfig.h: No such file or directory  # include 

查看Makefile.config文件，发现是有两行代码没有取消注释

#Anaconda Python distribution is quite popular. Include path:
#erify anaconda location, sometimes it's in root.
ANACONDA_HOME := $(HOME)/anaconda
PYTHON_INCLUDE :=  $(ANACONDA_HOME)/include \
               $(ANACONDA_HOME)/include/python2.7 \
               $(ANACONDA_HOME)/lib/python2.7/site-packages/numpy/core/include \

坑2

.build_release/tools/caffe: error while loading shared libraries: libhdf5_hl.so.10: cannot open shared object file: No such file or directory

anaconda2里面是有libhdf5_hl.so.10的，看了一下是库的路径没有设置好，
在.bashrc中设置路径
export LD_LIBRARY_PATH="$LD_LIBRARY_PATH:$HOME/anaconda2/lib"

坑3

编译完pycaffe后import失败

>>> import caffe 
Traceback (most recent call last): 
  File "", line 1, in  
ImportError: No module named caffe 
>>> exit() 

这是没有添加pycaffe所在的路径，增加路径如3.3.5所述

坑4

import theano时提示没有protobuf
ImportError: No module named google.protobuf.internal
安装protobuf
conda install -c https://conda.anaconda.org/anaconda protobuf

参考博文和Nivida、Caffe官方网站
[1]http://blog.csdn.net/i_better/article/details/52812825
[2]http://blog.csdn.net/hjimce/article/details/51999566
[3]http://blog.csdn.net/tangwenbo124/article/details/52298194
[4]http://www.cnblogs.com/zklidd/p/5020915.html