【Tensorflow2.0】基于Docker的Tensorflow2.x安装教程
文章目录
- 1、Docker Engine安装
-
- 1.1 填加docker ce安装源到系统
- 1.2 docker ce 安装
- 1.3 国内安装环境设置
-
- 1.3.1 docker 国内源设置
- 1.3.2 docker hub国内源设置
- 1.3.3 Apt-get国内源设置
- 2 、Nvidia Container Toolkit安装
- 3、Tensorflow安装
-
- 3.1 版本选择
- 3.2 容器启动
本文将讲一下如何基于docker来安装Tensorflow2.x，包括CPU版和GPU版,以Ubuntu系统为例。docker容器技术越来越普及，也成为算法部署的一种主流，可以实现一次构建多次部署。
1、Docker Engine安装
打开docker官网https://docs.docker.com/engine/install/ubuntu/#install-using-the-repository，选择合适的平台，我们是ubuntu。按照官方指导进行安装
1.1 填加docker ce安装源到系统
sudo apt-get update
#安装依赖
sudo apt-get install apt-transport-https ca-certificates curl gnupg-agent software-properties-common
#填加官方gpg,执行完会输出OK
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -
#填加仓库
sudo add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable"
1.2 docker ce 安装
sudo apt-get update
#后两个不写也可以会自动安装
sudo apt-get install docker-ce docker-ce-cli containerd.io
如果要验证安装：
sudo docker run hello-world
#或者
sudo docker version
hello-world会看到：
到此，docker安装成功。docker 的升级，版本选择，删除等查看本文提供的链接。
安装完成后，进行如下配置，避免每次都输入sudo。本文此后内容要依本操作是否执行来自行选择是否要加sudo。
sudo groupadd docker
sudo usermod -aG docker $USER #最后是获取用户名
#重启docker服务
sudo service docker restart
newgrp - docker
1.3 国内安装环境设置
1.3.1 docker 国内源设置
因为网络原因，步骤1.1和1.2有时并不能成功执行，这时，需要使用国内镜像来安装，如中科大、清华、阿里云的源。
安装 Docker CE，请按照 官方安装文档 ，选择你对应的系统，按命令进行执行，步骤1.1和1.2是以 Ubuntu 为例，参考 官方 Ubuntu 安装 Docker CE 手册 进行安装的，如果使用国内源如清华的要参考https://mirror.tuna.tsinghua.edu.cn/help/docker-ce/，使用中科大的源参考http://mirrors.ustc.edu.cn/help/docker-ce.html，国内源只是把 download.docker.com地址换成 mirrors.ustc.edu.cn/docker-ce或mirrors.tuna.tsinghua.edu.cn/docker-ce 即可。如下为改后内容：
sudo apt-get update
#安装依赖
sudo apt-get install apt-transport-https ca-certificates curl gnupg-agent software-properties-common
#填加官方gpg,执行完会输出OK
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -
#填加仓库
sudo add-apt-repository "deb [arch=amd64] https://mirrors.ustc.edu.cn/docker-ce/linux/ubuntu $(lsb_release -cs) stable"
sudo apt-get update
#后两个不写也可以会自动安装
sudo apt-get install docker-ce docker-ce-cli containerd.io
1.3.2 docker hub国内源设置
同样使用docker hub要用国内源才可以使用，对于使用 systemd 的系统（Ubuntu 16.04+、Debian 8+、CentOS 7）， 在配置文件 /etc/docker/daemon.json 中加入：
{
"registry-mirrors": ["https://docker.mirrors.ustc.edu.cn/"]
}
接着重启docker:
sudo systemctl daemon-reload
sudo systemctl restart docker
验证docker hub 是否生效：
sudo docker info
#在结果中查看是否有如下结果：
Registry Mirrors:
https://docker.mirrors.ustc.edu.cn/
也可以在阿里云申请自己的加速镜像 ，打开阿里云首页,点击弹性计算,再点击容器镜像服务,可能随着网页的改变，位置会发生改变，请自行查找。
在新打开的页面点击管理控制台:
接着进行登陆，如没有帐号，先注册再登陆：
选择如图中选项，获得个人的阿里云加速镜像。接着可以完成其它配置
1.3.3 Apt-get国内源设置
另外，进入docker 容器中，因为要使用apt-get update,所以同样要更新apt的国内源，两种方法图形界面依次打开：系统设置，软件和更新。在 下载自 中选择 其他站点 ，然后在中国的条目 下选择 mirrors.ustc.edu.cn 。
另一种是，直接手动更改配置文件：
#选备份
sudo cp /etc/apt/sources.list /etc/apt/sources.list.bak
#将 /etc/apt/sources.list 文件中 Ubuntu 默认的源地址 http://archive.ubuntu.com/ 替换为 http://mirrors.ustc.edu.cn 即可,命令是：
sudo sed -i 's/archive.ubuntu.com/mirrors.ustc.edu.cn/g' /etc/apt/sources.list
也可以直接改/etc/apt/sources.list
sudo vim /etc/apt/sources.list
#以ubuntu16.04为例，内容换为
deb https://mirrors.ustc.edu.cn/ubuntu/ xenial main restricted universe multiverse
deb https://mirrors.ustc.edu.cn/ubuntu/ xenial-updates main restricted universe multiverse
deb https://mirrors.ustc.edu.cn/ubuntu/ xenial-backports main restricted universe multiverse
deb https://mirrors.ustc.edu.cn/ubuntu/ xenial-security main restricted universe multiverse
#源码仓库
deb-src https://mirrors.ustc.edu.cn/ubuntu/ xenial main restricted universe multiverse
deb-src https://mirrors.ustc.edu.cn/ubuntu/ xenial-updates main restricted universe multiverse
deb-src https://mirrors.ustc.edu.cn/ubuntu/ xenial-backports main restricted universe multiverse
deb-src https://mirrors.ustc.edu.cn/ubuntu/ xenial-security main restricted universe multiverse
更改完 sources.list文件后请运行 sudo apt-get update 更新索引以生效。
如要用于其他版本，把 xenial换成其他版本代号即可:20.04:focal;18.04：bionic；17.10：artful；16.04：xenial；14.04：trusty,也可以到https://mirrors.ustc.edu.cn/repogen/下载对应系统的sources.list。
2 、Nvidia Container Toolkit安装
首先，要保证Nvidia 显卡的驱动已经安装，请参见我的博客,里边有两种方法，推荐用第一种方法， 当然，也可以用第二种，从第二种也可以进入到nvidia官网，按照官网说明来安装（官网的不一定会安装成功，可能不适配系统）。
安装成功后，接着安装Nvidia Container Toolkit,该工具使Docker 的容器能与主机的Nvidia显卡进行interact.更多信息可以访问Nvidia Container Toolkit的官方网站,目前（2020年8月1日），安装前要求nvidia的驱动已安装，但不要求安装CUDA,同时，docker 版本是19.03(以后这个肯定要更新）
nvidia-smi #确认显卡驱动
docker -v #确认版本
接着开始安装：
# Add the package repositories
distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add -
上条命令如果输出：gpg: no valid OpenPGP data found.，可以多试几次，或者那么把命令分开执行：
curl -s -L -O https://nvidia.github.io/nvidia-docker/gpgkey #大写欧，会在本地保存一个gpgkey文件
sudo apt-key add gpgkey#会输出OK
curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list
该命令成功后可以查看cat /etc/apt/sources.list.d/nvidia-docker.list，文个中会有如下内容：
deb https://nvidia.github.io/libnvidia-container/stable/ubuntu16.04/$(ARCH) /
#deb https://nvidia.github.io/libnvidia-container/experimental/ubuntu16.04/$(ARCH) /
deb https://nvidia.github.io/nvidia-container-runtime/stable/ubuntu16.04/$(ARCH) /
#deb https://nvidia.github.io/nvidia-container-runtime/experimental/ubuntu16.04/$(ARCH) /
deb https://nvidia.github.io/nvidia-docker/ubuntu16.04/$(ARCH) /
sudo apt-get update && sudo apt-get install -y nvidia-container-toolkit
#####################或者分开执行#########################
sudo apt-get update
sudo apt-get install -y nvidia-container-toolkit
########################################################
sudo systemctl restart docker
sudo docker run --gpus all --rm nvidia/cuda:10.0-base nvidia-smi
如果有nvidia-smi信息输出成功，那么，表示安装成功。
3、Tensorflow安装
按照Tensorflow官方docker安装说明,在docker hub有多个不同版本的Tensorflow可供选择，具体可以查看docker hub.
3.1 版本选择
版本选择主要通过镜像标签来指定，可以选择Tensorflow的版本号以及GPU版或CPU版本。
标签有：
| 标记 | 说明 |
|---|---|
| latest | tensorsorflow cpu二进制镜像最新版本 |
| nightly | Tensorflow的每夜版本(不稳定) |
| version | 指定Tensorflow二进制版本，如2.1.0 |
| devel | TensorFlow master 开发环境的每夜版。包含 TensorFlow 源代码 |
| custom-op | 用于开发 TF 自定义操作的特殊实验性映像 |
以上标签中我们主要用到version来选择是用TF1.x还是TF2.x。
另外还有增加功能的标签：
| 标记变体 | 版本 |
|---|---|
| tag-gpu | 支持 GPU 的指定标记版本 |
| tag-jupyter | 针对 Jupyter 的指定标记版本（包含 TensorFlow 教程笔记本） |
可以一次使用多个变体，示例如下：
docker pull tensorflow/tensorflow # latest stable release
docker pull tensorflow/tensorflow:devel-gpu # nightly dev release w/ GPU support
docker pull tensorflow/tensorflow:latest-gpu-jupyter # latest release w/ GPU support and Jupyter
docker pull tensorflow/tensorflow:2.4.0rc1-gpu-jupyter #Tensorflow2.4 GPU版本，支持jupyter
docker pull tensorflow/tensorflow:2.1.2-gpu #仅支持GPU
3.2 容器启动
与使用其它容器相同：
docker run [-it] [--rm] [-p hostPort:containerPort] tensorflow/tensorflow[:tag] [command]
启动交互方式：
docker run -it tensorflow/tensorflow /bin/bash
GPU的支持：
docker run --gpus all -it --rm tensorflow/tensorflow:2.1.2-gpu /bin/bash
对于GPU的指定，有以下两种方式:
--gpus all #全部GPU
--gpus 1,2 #指定的GPU
--gpus none #不用GPU,但驱动能力可获得
-e NVIDIA_VISIBLE_DEVICES=all #全部GPU
-e NVIDIA_VISIBLE_DEVICES=1,2 #指定GPU
更多nvidia docker使用说明参见使用文档.
如需在容器内运行在主机上开发的 TensorFlow 程序，请装载主机目录并更改容器的工作目录 (-v hostDir:containerDir -w workDir)
比如：
docker run -it --gpus all -v /home/username/myproject:/workspace -w /workspace tensorflow/tensorflow:2.1.2-gpu /bin/bash
-v可以将host目录与docker目录共享，-w指定workspace,进入docker后的默认路径就是由-w指定。
对于要使用jupyter的可以执行如下命令：
docker run -it -p 8887:8888 tensorflow/tensorflow:nightly-jupyter
然后在主机浏览器中输入http://127.0.0.1:8887/?token=… 即可使用。
以上所有内容亲测，所有参考文档已经在文档中包含。