配置hovorod

hovorod是一个分布式深度学习框架，可以集成在tensorflow、keras、pytorch中。
参考：https://github.com/horovod/horovod#install

0. 安装环境

• ubuntu 18.04
• cuda10.1

1. 安装openmpi

https://www.open-mpi.org/software/ompi/v4.0/
在上面地址中下载openmpi-4.0.3.tar.gz，然后按照下面命令安装

gunzip -c openmpi-4.0.3.tar.gz | tar xf -
cd openmpi-4.0.3
./configure --prefix=/usr/local
<...lots of output...>
make all install
<...lots of output...>
sudo ldconfig

2. 安装nccl

https://developer.nvidia.com/nccl/nccl-download
首先需要注册nvidia账户，做一个问卷，然后根据自己的系统以及cuda版本选择对应的local安装包，我选择的是nccl v2.5.6 for cuda10.1 for Ubuntu 18.04

sudo dpkg -i nccl-repo-ubuntu1804-2.5.6-ga-cuda10.1_1-1_amd64.deb

3. 安装horovod

安装命令：

OROVOD_GPU_ALLREDUCE=NCCL HOROVOD_GPU_BROADCAST=NCCL pip install horovod