机器学习系统往往会做多机分布式处理，而依赖又比较多。使用docker部署会大大减少横向扩展的工作量。
下面以 Ubuntu 16.04 x64系统为例。
安装dockerCE
可以参照官方说明。
（可选）安装nvdia-docker v2
这一步是使用nvida/cuda 10.0镜像的前置。
可以参照README。
使用Dockerfile创建image
如果使用GPU，可以以nvida/cuda为基础构建。
如果使用CPU，可以以buildpack-deps或debian为基础构建。
nvida/cuda：内置了CUDA Toolkit和cuDNN，是利用CUDA GPU计算平台的必备组件。基于ubuntu。
buildpack-deps：基于debian。安装了很多工具必备的组件库。体积较大。
debian：基本debian镜像。比较纯净，体积小。安装一些工具需要预先安装组件库，作为基础构建较慢。
Dockerfile书写可以参照python官方的Dockerfile。
Dockerfile使用
- 要创建一个空目录，将Python Source Code安装包和requirement.txt和Dockerfile放在里面。
- 执行命令，创建镜像
docker build -t ml:v1 .
使用CPU的Dockerfile
Dockerfile示例（约1GB）：
FROM buildpack-deps:xenial
ENV LANG C.UTF-8
ENV PYTHON_VERSION 3.6.7
ENV PYTHON_PIP_VERSION 18.1
# remove default python
RUN apt-get purge -y python.*
# copy python install tar (file must exists)
COPY Python-${PYTHON_VERSION}.tar.xz /root
# copy requirements.txt (file must exists)
COPY requirements.txt /root
# Install Python
RUN cd /root \
# && wget https://www.python.org/ftp/python/${PYTHON_VERSION}/Python-${PYTHON_VERSION}.tar.xz \
&& tar -Jxf Python-${PYTHON_VERSION}.tar.xz \
&& rm Python-${PYTHON_VERSION}.tar.xz \
&& cd Python-${PYTHON_VERSION} \
&& ./configure --enable-shared --enable-unicode=ucs4 \
&& make -j$(nproc) \
&& make install \
&& ldconfig \
&& pip3 install --no-cache-dir --upgrade --ignore-installed pip==$PYTHON_PIP_VERSION \
&& find /usr/local -depth \
\( \
\( -type d -a -name test -o -name tests \) \
-o \
\( -type f -a -name '*.pyc' -o -name '*.pyo' \) \
\) -exec rm -rf '{}' + \
&& rm -rf /usr/src/python ~/.cache
# make some useful symlinks that are expected to exist
RUN cd /usr/local/bin \
&& ln -s idle3 idle \
&& ln -s pydoc3 pydoc \
&& ln -s python3 python \
&& ln -s python3-config python-config
# Install requirements by requirements.txt
RUN cd /root \
&& pip install -r requirements.txt
CMD ["/bin/bash"]
基于纯净debian的版本（约300MB）：
# Edit from python:3.6.7-slim-jessie
# + use local Python-version.tar.xz
# + install modules from requirements.txt
FROM debian:jessie-slim
# ensure local python is preferred over distribution python
ENV PATH /usr/local/bin:$PATH
# http://bugs.python.org/issue19846
# > At the moment, setting "LANG=C" on a Linux system *fundamentally breaks Python 3*, and that's not OK.
ENV LANG C.UTF-8
# runtime dependencies
RUN apt-get update && apt-get install -y --no-install-recommends \
ca-certificates \
netbase \
&& rm -rf /var/lib/apt/lists/*
ENV GPG_KEY 0D96DF4D4110E5C43FBFB17F2D347EA6AA65421D
ENV PYTHON_VERSION 3.6.7
# copy requirements.txt (file must exists)
COPY requirements.txt /root
RUN set -ex \
\
&& savedAptMark="$(apt-mark showmanual)" \
&& apt-get update && apt-get install -y --no-install-recommends \
dpkg-dev \
gcc \
libbz2-dev \
libc6-dev \
libexpat1-dev \
libffi-dev \
libgdbm-dev \
liblzma-dev \
libncursesw5-dev \
libreadline-dev \
libsqlite3-dev \
libssl-dev \
make \
tk-dev \
wget \
xz-utils \
zlib1g-dev \
# as of Stretch, "gpg" is no longer included by default
$(command -v gpg > /dev/null || echo 'gnupg dirmngr') \
\
&& wget -O python.tar.xz "https://www.python.org/ftp/python/${PYTHON_VERSION%%[a-z]*}/Python-$PYTHON_VERSION.tar.xz" \
&& wget -O python.tar.xz.asc "https://www.python.org/ftp/python/${PYTHON_VERSION%%[a-z]*}/Python-$PYTHON_VERSION.tar.xz.asc" \
&& export GNUPGHOME="$(mktemp -d)" \
&& gpg --batch --keyserver ha.pool.sks-keyservers.net --recv-keys "$GPG_KEY" \
&& gpg --batch --verify python.tar.xz.asc python.tar.xz \
&& { command -v gpgconf > /dev/null && gpgconf --kill all || :; } \
&& rm -rf "$GNUPGHOME" python.tar.xz.asc \
&& mkdir -p /usr/src/python \
&& tar -xJC /usr/src/python --strip-components=1 -f python.tar.xz \
&& rm python.tar.xz \
\
&& cd /usr/src/python \
&& gnuArch="$(dpkg-architecture --query DEB_BUILD_GNU_TYPE)" \
&& ./configure \
--build="$gnuArch" \
--enable-loadable-sqlite-extensions \
--enable-shared \
--with-system-expat \
--with-system-ffi \
--without-ensurepip \
&& make -j "$(nproc)" \
&& make install \
&& ldconfig \
\
&& apt-mark auto '.*' > /dev/null \
&& apt-mark manual $savedAptMark \
&& find /usr/local -type f -executable -not \( -name '*tkinter*' \) -exec ldd '{}' ';' \
| awk '/=>/ { print $(NF-1) }' \
| sort -u \
| xargs -r dpkg-query --search \
| cut -d: -f1 \
| sort -u \
| xargs -r apt-mark manual \
&& apt-get purge -y --auto-remove -o APT::AutoRemove::RecommendsImportant=false \
&& rm -rf /var/lib/apt/lists/* \
\
&& find /usr/local -depth \
\( \
\( -type d -a \( -name test -o -name tests \) \) \
-o \
\( -type f -a \( -name '*.pyc' -o -name '*.pyo' \) \) \
\) -exec rm -rf '{}' + \
&& rm -rf /usr/src/python \
\
&& python3 --version
# make some useful symlinks that are expected to exist
RUN cd /usr/local/bin \
&& ln -s idle3 idle \
&& ln -s pydoc3 pydoc \
&& ln -s python3 python \
&& ln -s python3-config python-config
# if this is called "PIP_VERSION", pip explodes with "ValueError: invalid truth value ''"
ENV PYTHON_PIP_VERSION 18.1
RUN set -ex; \
\
savedAptMark="$(apt-mark showmanual)"; \
apt-get update; \
apt-get install -y --no-install-recommends wget; \
\
wget -O get-pip.py 'https://bootstrap.pypa.io/get-pip.py'; \
\
apt-mark auto '.*' > /dev/null; \
[ -z "$savedAptMark" ] || apt-mark manual $savedAptMark; \
apt-get purge -y --auto-remove -o APT::AutoRemove::RecommendsImportant=false; \
rm -rf /var/lib/apt/lists/*; \
\
python get-pip.py \
--disable-pip-version-check \
--no-cache-dir \
"pip==$PYTHON_PIP_VERSION" \
; \
pip --version; \
\
find /usr/local -depth \
\( \
\( -type d -a \( -name test -o -name tests \) \) \
-o \
\( -type f -a \( -name '*.pyc' -o -name '*.pyo' \) \) \
\) -exec rm -rf '{}' +; \
rm -f get-pip.py
# Install requirements by requirements.txt
RUN cd /root \
&& pip install -r requirements.txt
CMD ["/bin/bash"]
使用image
使用镜像运行代码：
docker run -d --name test ml:v1 python test.py
传播image
可以利用dockerHub提供的服务来分发镜像。
- 注册一个dockerHub的账号，并创建一个仓库，命名为
。 - 登录：
docker login -u - 为本地image打标签：
docker tag/ : - 提交image：
docker push/ : - 这时可以在仓库中搜索到自己发布的镜像：
docker search/
另一种方式是，编写好Dockerfile，交由DockerHub来自动创建镜像。