在CentOS7下配置docker深度学习环境

在CentOS7下配置docker深度学习环境

写在开始

由于实验室配了一台有7块V100的GPU服务器,然后需要整个开放给整个实验室使用。因此不能直接把系统环境拿出来用(谁知道有没有小白乱搞系统环境呢?)。然后调研了两种技术方案:1)LXC系统容器;2)docker应用容器。 好了,坑来了。使用方案一有性能损耗,原因大家自己想吧,反正使用方案一,V100的表现有时候还不如GTX1060。因此转而使用方案(2).这里记录一下具体搭建过程。

开始教程

  • 首先安装docker,这里需要安装>=19.03的版本,因为在这个版本后,docker直接就支持访问宿主机的GPU设备了。(如果你装了其他的版本,我建议你升级到19.03极其更新的版本)
# 安装docker>=19.03的版本
## 查看docker-ce 版本
>>> yum list docker-ce --showduplicates | sort -r
## 安装docker-ce19.03
>>> yum install docker-ce-19.03
## 允许docker开机自启以及现在运行docker
>>> systemctl enable docker.service
>>> systemctl start docker
## 检测docker是否安装成功,如果正常显示版本就算是正常了
>>> docker --version
  • 配置docker镜像加速,您可以通过修改daemon配置文件/etc/docker/daemon.json来使用加速器,这里去注册获取加速链接
>>> sudo mkdir -p /etc/docker
>>> sudo tee /etc/docker/daemon.json <<-'EOF'
{
  "registry-mirrors": ["your aliyun docker accleration url"]
}
EOF
>>> sudo systemctl daemon-reload
>>> sudo systemctl restart docker
  • 安装GPU驱动,配置cuda. (吐槽一下,别去看csdn上的教程,坑多的很,直接看NVIDIA官方安装教程)
# 首先去NVIDIA官网下载cuda10.0以及配套的cudnn7
# 然后安装cuda10.0,默认安装目录在/usr/local/cuda
>>> sh cuda10.0.run
# 配置cudnn
## 需要先把下载cudnn文件后缀名改为.tgz,然后解压
>>> tar -zxvf cudnn10.tgz
## 把动态库拷贝到/usr/local/cuda 对应的文件夹中
>>> cp cuda/include/* /usr/local/cuda/include/
>>> cp cuda/lib64/* /usr/local/cuda/lib64/
## 然和给执行权限
>>> chmod u+x /usr/local/cuda/include/cudnn*
>>> chmod u+x /usr/local/cuda/lib64/libcudnn*
## 检测环境是否安装成功,如果输出相关信息则表明成功.
>>> nvidia-smi
  • 安装nvidia-docker,官方教程传送门
>>> distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
>>> curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.repo | sudo tee /etc/yum.repos.d/nvidia-docker.repo

>>> sudo yum install -y nvidia-container-toolkit
>>> sudo systemctl restart docker
## 测试nvidia-smi是否可用了,如果有输出显卡相关信息,那就是成功了
>>> docker run --gpus all nvidia/cuda:10.0-base nvidia-smi
  • 然后去拉一个自己想要的深度学习环境,可以去nvidia的仓库拉一个对应的cuda10.0+cudnn7的镜像,然后自己在里面装conda等,这里不详细展开,大概讲一下去拉一个tensorflow-gpu2.0+py3的镜像。
# 首先打开网站 https://hub.docker.com/ 然后搜索tensorflow,然后找到自己喜欢的镜像拉下来就好了,我这里拉了一个 tensorflow-gpu2.0+py3
>>> docker pull tensorflow/tensorflow:2.0.0-gpu-py3
  • 然后启动一个容器,并为该容器分配显卡
# 这里device=0表示分配第一张显卡给这个容器,并挂载了我的工作目录到容器的home目录下
>>> docker run -itd --gpus '"device=0"' -v /home/lch/for_test:/home  container_id  bash
# 如果你想指定多个显卡到一个容器里面,你可以通过device指定多个设备号来实现
>>> docker run -itd --gpus '"device=0,1,2"' -v /home/lch/for_test:/home  container_id  bash
# 如果你想挂几个显卡到一个容器里面,这里是系统自动指定两张卡到该容器
>>> docker run -itd --gpus 2 -v /home/lch/for_test:/home  container_id  bash
# 如果你想把全部显卡都挂到一个容器里面,你可以通过device指定多个设备号来实现
>>> docker run -itd --gpus all -v /home/lch/for_test:/home  container_id  bash
  • 最后进入容器,测试深度学习环境是否可用
# 进入容器
>>> docker exec -it container_id bash
# 启动python,运行tensorflow
>>> python
$$ import tensorflow as tf
$$ tf.test.tf.test.is_gpu_available() 
$$ gpus=tf.config.experimental.list_physical_devices(device_type='GPU')
$$ for gpu in gpus:
$$     print(gpu)

如果输出结果为true,并且还输出了设备列表,那就是成功了。如果没有,再找找其他教程看看咯~

你可能感兴趣的:(在CentOS7下配置docker深度学习环境)