GPU版本的Syntaxtnet环境搭建

打算记录两部分，一部分是关于编译gpu版本的syntaxnet的内容，另一部分是关于中文句法依存模型训练方面的内容。本文是GPU版本Syntaxnet环境搭建部分。

关键字

Syntaxnet; GPU; Ubuntu16.04; TITANX (Pascal）; CUDA8.0

环境

操作系统： Ubuntu 16.04
显卡：TITANX (PASCAL)
CUDA版本： 8.0
cuDNN版本：5.1

动机

由于CPU版本下的Syntaxnet训练数据太过于缓慢，所以考虑利用GPU进行训练（ps: 在syntaxnet中GPU还是有较明显的加速效果）

目标

目前通用的句法依存工具，比如哈工大的语言云效果也不错了，但是在使用中还是发现了一些问题。利用syntaxnet工具训练中文句法依存模型，通过人工加入领域相关的标注预料，期望提高在特定领域下中文句法分析的效果。

操作要点

安装TITAN X的驱动
安装CUDA8.0
cuDNN 5.1
安装syntaxnet需要依赖
编译gpu版的syntaxnet
测试安装结果

以下针对上述的步骤展开描述

1. 安装TITAN X(PASCAL)驱动

去nvidia网站上下载驱动，选择对应版本信息。（http://www.nvidia.cn/Download/index.aspx?lang=cn）

TITAN X驱动下载

安装驱动时，需要关闭ubuntu中的开源驱动 nouveau（可以百度如何在ubuntu中禁用nouveau），关闭x server(不要问我为啥，因为安装成功的这次是关闭的），同时也不安装OpenGL。对于这三个操作，除了禁用nouveau，其他两个操作都是可以在安装驱动时候的选择的。网上，提供了一种更加简便的方法，即在运行驱动文件时指定参数。

# 参考：http://blog.csdn.net/chaihuimin/article/details/71006654?locationNum=2&fps=1
sudo ./NVIDIA_xxxx.run -no-x-check -no-nouveau-check -no-opengl-files

2. 安装CUDA8.0

下载指定版本的cuda 8.0，然后按照图中的Installation instructions进行安装。建议选择*.run版本的，.deb版本总感觉有些问题。如果已经安装了TITAN X驱动，那么在安装的时候不要再次安装驱动。（下载地址：https://developer.nvidia.com/cuda-downloads）

cuda8.0下载

cuda8.0默认安装在/usr/local/cuda-8.0, 注意/usr/local/cuda时它的symbolic link，注意在cuda安装完成以后需要配置环境变量（其实，在cuda安装完成以后，打印的消息也有提示需要配置环境变量）

# 执行如下命令
 vim  ~/.bashrc
# 在~/.bashrc文件中添加如下环境变量
export CUDA_HOME=/usr/local/cuda-8.0
export PATH=/usr/local/cuda-8.0/bin${PATH:+:${PATH}}
export LD_LIBRARY_PATH=/usr/local/cuda-8

3. 安装cuDNN

此处我选择的是cuDNN5.1 for CUDA 8.0的版本, 下载cuDNN的时候需要注册NVIDIA的账号，注册完成以后既可以下载(https://developer.nvidia.com/rdp/cudnn-download)，在下载时既可以下载.deb版本，也可以下载.tgz版本。此处的安装方法，可以参考官方文档。不过5.1的文档写的比较复杂，我当时参考了7.0的安装方法，进行安装以及测试，此处感觉坑少。驱动和cuDNN安装都可以参考官方文档，在cuDNN下载选项，可以选择cuDNN-Installation-Guide。

cuDNN7.0linux .tgz安装方法

如果选择了*.deb的方法安装, 选择安装样例，安装完成以后可以进行测试，如下。

cuDNN7.0linux .deb安装方法.png

4. 安装syntaxnet依赖

参考syntaxnet的github网站https://github.com/tensorflow/models/tree/master/syntaxnet

syntaxnet依赖安装

5. 编译gpu版的syntaxnet

安装完syntaxnet运行可能需要的依赖以后，接着执行syntaxnet的编译过程，参考https://github.com/tensorflow/models/issues/248中的utkrist的答案，如下图

image.png

注意，在./configure的执行过程中，如果出现了找不到cuDNN相应的文件，那么使我们在输入cuDNN的版本号时输入有问题，比如输入7和7.0是不一样的。严格安装utkrist的方法来即可。
ps: 我在安装的过程中，没有报错，但是在进行测试的试试，有一些test无法通过，比如train_parser，有提示显示数据数据太大的之类的原因，我忽略了。

6. 测试安装结果

编译完全通过以后，可以运行syntaxnet自带的例子，不过我选了手上有的中文预料，进行测试。测试脚本大量参考了这个项目https://github.com/dsindex/syntaxnet(是一个利用syntaxnet训练韩语句法依存模型的项目）。运行测试脚本后，输出如下，表面已经使用上了TITAN X显卡。

训练句法依存模型-测试

此时，在查看nvidia-smi，发现所有显存都已经被占满, 但是只有一个GPU在工作。