（转）深度学习主机环境配置: Ubuntu16.04 + GeForce GTX 1070 + CUDA8.0 + cuDNN5.1 + TensorFlow

原文：https://blog.csdn.net/toormi/article/details/52904551 

最近在公司做深度学习相关的学习和实验，原来一直在自己的电脑上安装虚拟机跑，速度实在太慢，主机本身性能太弱，独显都没有，物理安装Ubuntu也没多大意义，所以考虑用公司性能最强悍的游戏主机(i7 6700+GTX 1070) 做实验，这台主机平时是用来跑HTC VIVE的，现在归我用了o(*≧▽≦)ツ。

原本以为整个一套安装下来会很顺利，一路火花带闪电的就完成了，没想到刚开始就掉坑了，然而这仅仅是悲剧的开始，路上坑还很多，刚从这个坑里爬出来，没走两步又掉另一个坑里了，下面慢慢絮叨一下爬坑过程。

一. 安装Ubuntu16.04
1.1 下载Ubuntu ISO 镜像
从Ubuntu官网下载ISO镜像，选择Ubuntu 16.04.1 Desktop (64-bit) ，LTS表示这是一个长期支持版（Long Term Support），一定要选64位的版本，因为很多深度学习框架都只支持64位。

1.2 制作U盘
找一个空的U盘，把刚下载到的ISO镜像写入到U盘中。注意，这里并不是把ISO文件解压到U盘中，而是使用工具把ISO文件刻录到U盘中，区别是后者可以引导系统启动，前者不能。

我使用的是UltraISO软碟通，使用方法网上教程很多，这里不再赘述。完成后就得到了一个可以引导启动的Ubuntu USB安装盘。

1.3 硬盘分区
主机原来的Window 10系统还是需要保留的，毕竟不能妨碍了小伙伴们平时最大的兴趣爱好。所以考虑安装双系统，在硬盘上找了一个比较空的分区，把资料复制到其他盘后，删除这个分区，空闲出来的空间留给Ubuntu用。

双系统安装时可能会遇到分区个数的问题，MBR类型的分区最多只能有4个主分区，而Ubuntu安装会占用两个主分区（一个挂载swap，一个挂载根），所以要保证原有主分区不超过2个，GPT类型分区的主分区没有个数限制。

1.4 安装系统
设置BIOS从U盘启动后安装Ubuntu，现在的系统安装都很傻瓜，看提示很快安装完成。

注意：系统安装完成，登录用户后只能看到桌面壁纸，右键菜单不停闪烁，且tty1-6均黑屏，接着看下面如何解决。

二. 安装GTX1070驱动
第一次安装驱动是在NVIDIA官网下载的，地址在这里，但是安装后第一次安装显卡驱动后登录，只能看到桌面壁纸。

其实有更简单的安装方法：

$ sudo add-apt-repository ppa:xorg-edgers/ppa -y
$ sudo apt-get update
# install the latest version
$ sudo apt-get install nvidia-current
1
2
3
4
查了一下说登录后只能看到桌面壁纸这种现象出现的原因：是由于显卡驱动没有合适安装、设定、启用造成的。

解决办法：

重启电脑，在开机启动项（GRUB菜单选择处）画面按e进入启动项编辑模式，在Linux那一行最后面空一格然后加入“acpi_osi=linux nomodeset”，然后按F10使用编辑好的启动项启动（nomodest参数是告诉内核不要加载显卡驱动而用BIOS模式，直到图形界面运行，详细介绍看这里）。
再次开机后发现还是在不停的闪，但是这次tty1-6可以用了
按Ctrl+Alt+F1切换到控制台界面，输入用户名密码登录
安装NVIDIA显卡驱动，步骤：
sudo add-apt-repository ppa:graphics-drivers/ppa
sudo apt-get update
sudo apt-get install nvidia-367
sudo apt-get install mesa-common-dev
sudo apt-get install freeglut3-dev
1
2
3
4
5
之后重启主机
登录后桌面不闪了但仍然只有桌面和鼠标，这时候需要重新安装一下Unity桌面，步骤：

sudo apt-get update
sudo apt-get install --reinstall ubuntu-desktop
sudo apt-get install unity
1
2
3
安装完成后重启，一切正常。

三. 下载和安装CUDA
这里是CUDA 8的下载地址：https://developer.nvidia.com/cuda-release-candidate-download。我选择了Ubuntu16.04 runfile安装类型，大小在1.4G左右。

下载完成后，直接运行这个文件：

sudo sh cuda_8.0.27_linux.run --tmpdir=/opt/temp/
1
运行这个文件后，会遇到几个问题，让你选择yes或者no。其中一个是询问是否安装NVIDIA驱动程序的，这个要选择no，不然前面安装的驱动就白装了。

安装完成后，家目录下会生成一个NVIDIA_CUDA-8.0_Samples的文件夹，这里可以测试一下CUDA 8。

cd ~/NVIDIA_CUDA-8.0_Samples/1_Utilities/deviceQuery
make && ./deviceQuery

./deviceQuery Starting...

 CUDA Device Query (Runtime API) version (CUDART static linking)

Detected 1 CUDA Capable device(s)

Device 0: "GeForce GTX 1070"
  CUDA Driver Version / Runtime Version          8.0 / 8.0
  CUDA Capability Major/Minor version number:    6.1
  Total amount of global memory:                 8105 MBytes (8499167232 bytes)
  (15) Multiprocessors, (128) CUDA Cores/MP:     1920 CUDA Cores
  GPU Max Clock rate:                            1759 MHz (1.76 GHz)
  Memory Clock rate:                             4004 Mhz
  Memory Bus Width:                              256-bit
  L2 Cache Size:                                 2097152 bytes
  Maximum Texture Dimension Size (x,y,z)         1D=(131072), 2D=(131072, 65536), 3D=(16384, 16384, 16384)
  Maximum Layered 1D Texture Size, (num) layers  1D=(32768), 2048 layers
  Maximum Layered 2D Texture Size, (num) layers  2D=(32768, 32768), 2048 layers
  Total amount of constant memory:               65536 bytes
  Total amount of shared memory per block:       49152 bytes
  Total number of registers available per block: 65536
  Warp size:                                     32
  Maximum number of threads per multiprocessor:  2048
  Maximum number of threads per block:           1024
  Max dimension size of a thread block (x,y,z): (1024, 1024, 64)
  Max dimension size of a grid size    (x,y,z): (2147483647, 65535, 65535)
  Maximum memory pitch:                          2147483647 bytes
  Texture alignment:                             512 bytes
  Concurrent copy and kernel execution:          Yes with 2 copy engine(s)
  Run time limit on kernels:                     Yes
  Integrated GPU sharing Host Memory:            No
  Support host page-locked memory mapping:       Yes
  Alignment requirement for Surfaces:            Yes
  Device has ECC support:                        Disabled
  Device supports Unified Addressing (UVA):      Yes
  Device PCI Domain ID / Bus ID / location ID:   0 / 1 / 0
  Compute Mode:
     < Default (multiple host threads can use ::cudaSetDevice() with device simultaneously) >

deviceQuery, CUDA Driver = CUDART, CUDA Driver Version = 8.0, CUDA Runtime Version = 8.0, NumDevs = 1, Device0 = GeForce GTX 1070
Result = PASS
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
四. 下载和安装cuDNN
cuDNN是The NVIDIA CUDA® Deep Neural Network library的简称，它是一个使用GPU加速的深度神经网络库。下载地址：点这里，需要登录一个Nvidia开发者账号，简单注册一个就行，我选择了cuDNN v5.1。

安装cuDNN非常简单：

tar -zxvf cudnn-8.0-linux-x64-v5.0-ga.tgz
1
得到一个cuda文件夹，把其中的文件拷贝到系统相应目录

sudo cp -a cuda/include/cudnn.h /usr/local/cuda/include/
sudo cp -a cuda/lib64/libcudnn* /usr/local/cuda/lib64/
1
2
五. 安装TensorFlow
TensorFlow官方给出的文档中详细的介绍了各种安装方式：https://github.com/jikexueyuanwiki/tensorflow-zh/blob/master/SOURCE/get_started/os_setup.md 。 
最方便、快速的方式当然是直接安装已经编译好的包，其中也提供了开启GPU加速的版本，只不过只能在CUDA 7.5 和cuDNN v4环境下使用。既然环境不符合，不能省事儿，那就只好从源码安装。

5.1 安装Bazel
Bazel是一个项目构建工具，类似于Make的工具。Bazel原本是Google为其内部软件开发的特点量身定制的工具，想来TensorFlow原本就是Google内部的一个项目，使用Bazel再正常不过。

首先，安装一下后面会用到的几个依赖包

sudo apt-get update
sudo apt-get install python-pip python-numpy swig python-dev python-wheel
sudo apt-get install pkg-config zip g++ zlib1g-dev unzip
1
2
3
安装 Java JDK

sudo apt-get install default-jdk
1
在https://github.com/bazelbuild/bazel/releases中下载适合的最新稳定版。 
然后运行下面的命令

./bazel-0.3.2-installer-linux-x86_64.sh --user
1
将执行路径output/bazel 添加到$PATH环境变量后bazel工具就可以使用了。

5.2 编译TensorFlow
克隆TensorFlow仓库

git clone --recurse-submodules https://github.com/tensorflow/tensorflow
1
配置TensorFlow的CUDA选项

$ ./configure
Do you wish to bulid TensorFlow with GPU support? [y/n] y
GPU support will be enabled for TensorFlow
1
2
3
configure会下载很多依赖的包，这些包也不是太大，但是网络不给力，几十K的包下载时经常中断，后果就是需要再次运行configure，从头下载，每次不是因为这个包断了就是那个包，最终试了可能有十几遍吧才全部成功，强烈谴责这种不做缓存的行为。

编译目标程序，开启GPU支持 
从源码树的根路径执行:

$ bazel build -c opt --config=cuda //tensorflow/cc:tutorials_example_trainer

$ bazel-bin/tensorflow/cc/tutorials_example_trainer --use_gpu
# 大量的输出信息. 这个例子用 GPU 迭代计算一个 2x2 矩阵的主特征值 (major eigenvalue).
# 最后几行输出和下面的信息类似.
000009/000005 lambda = 2.000000 x = [0.894427 -0.447214] y = [1.788854 -0.894427]
000006/000001 lambda = 2.000000 x = [0.894427 -0.447214] y = [1.788854 -0.894427]
000009/000009 lambda = 2.000000 x = [0.894427 -0.447214] y = [1.788854 -0.894427]
1
2
3
4
5
6
7
8
注意, GPU 支持需通过编译选项 “–config=cuda” 开启.

创建 pip 包并安装

$ bazel build -c opt //tensorflow/tools/pip_package:build_pip_package
1
这条命令运行时出现一个错误

~/download/tensorflow$ bazel build -c opt --config=cuda //tensorflow/tools/pip_package:build_pip_package
ERROR: /home/fct/download/tensorflow/tensorflow/python/BUILD:1777:1: in cc_library rule //tensorflow/python:tf_session_helper: non-test target '//tensorflow/python:tf_session_helper' depends on testonly target '//tensorflow/python:construction_fails_op' and doesn't have testonly attribute set.
ERROR: Analysis of target '//tensorflow/tools/pip_package:build_pip_package' failed; build aborted.
INFO: Elapsed time: 0.134s
1
2
3
4
在tensorflow/python/BUILD 中找到tf_cuda_library，注释掉testonly = 1, 这一行解决

$ bazel-bin/tensorflow/tools/pip_package/build_pip_package /tmp/tensorflow_pkg

# .whl 文件的实际名字与你所使用的平台有关
$ pip install /tmp/tensorflow_pkg/tensorflow-0.5.0-cp27-none-linux_x86_64.whl
1
2
3
4
测试TensorFlow
训练一个神经网络模型用来做测试，从源代码树根路径执行：

$ cd tensorflow/models/image/mnist
$ python convolutional.py
Succesfully downloaded train-images-idx3-ubyte.gz 9912422 bytes.
Succesfully downloaded train-labels-idx1-ubyte.gz 28881 bytes.
Succesfully downloaded t10k-images-idx3-ubyte.gz 1648877 bytes.
Succesfully downloaded t10k-labels-idx1-ubyte.gz 4542 bytes.
Extracting data/train-images-idx3-ubyte.gz
Extracting data/train-labels-idx1-ubyte.gz
Extracting data/t10k-images-idx3-ubyte.gz
Extracting data/t10k-labels-idx1-ubyte.gz
Initialized!
Epoch 0.00
Minibatch loss: 12.054, learning rate: 0.010000
Minibatch error: 90.6%
Validation error: 84.6%
Epoch 0.12
Minibatch loss: 3.285, learning rate: 0.010000
Minibatch error: 6.2%
Validation error: 7.0%
...
...
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
常见问题
如果在尝试运行一个TensorFlow程序时出现一下错误：

ImportError: libcudart.so.8.0: cannot open shared object file: No such file or directory
1
这个错是程序所依赖的动态库找不到导致的，只需要在环境变量LD_LIBRARY_PATH中添加 
/usr/local/cuda/lib64即可。我的做法是在~/.bashrc最后添加

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/cuda/lib64
---------------------