JupyterHub容器镜像自定义方法与步骤

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

IPython、JupyterHub、JupyterLab是用于大数据分析和机器学习的流行的环境,JupyterHub可以运行于Kubernetes集群环境中,从而供多人同时使用,支持动态伸缩。

虽然登录后可以通过pip和conda安装软件包,但是服务重启或者pod漂移后将会被重新初始化,所安装的软件和配置参数、使用状态都会丢失。

按照Kubernetes的原则,pod在运行过程中应该是固定的,以便于复制、伸缩和迁移,所有的动态数据应该保留到网络中的共享存储之中。因此,我们可以将所有的软件预先安装在容器中,然后部署镜像到集群中即可。

下面介绍JupyterHub容器镜像的自定义方法与步骤。

1、准备文件

创建Dockerfile

创建一个目录(或首先创建一个git项目)。然后编辑一个 Dockerfile 文件用于后续的Docker容器镜像构建。

# Copyright (c) Jupyter Development Team.
# Distributed under the terms of the Modified BSD License.
FROM jupyter/all-spark-notebook:5811dcb711ba

LABEL maintainer="Databook Project,https://github.com/databooks"

USER root

# ====================================================================
# Add proxy, using --build-arg "HTTP_PROXY=http://192.168.199.99:9999"

ENV HTTP_PROXY ${HTTP_PROXY}
ENV HTTPS_PROXY ${HTTP_PROXY}
ENV http_proxy ${HTTP_PROXY}
ENV https_proxy ${HTTP_PROXY}

ENV SLUGIFY_USES_TEXT_UNIDECODE=yes

#Add conda install mirror:

RUN echo $http_proxy && \
    conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/ && \
    conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/ && \
    conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/ && \
    conda config --set show_channel_urls yes

#Add pip install mirror:

RUN echo "[global] \
index-url = http://pypi.tuna.tsinghua/simple \
trusted-host = \
    pypi.tuna.tsinghua \
timeout = 120 \
" > /etc/pip.conf
# ====================================================================

# ====================================================================
USER $NB_UID

RUN pip install --upgrade pip 
RUN pip install bs4 && \
    pip install lxml && \
    pip install py4j && \
    pip install pyspark && \
    pip install tushare

RUN conda install -y nodejs scikit-image matplotlab ipyleaflet
RUN conda install -y tensorflow apache-airflow mlflow
RUN conda install -y pytorch torchvision cudatoolkit=10.0 -c pytorch

RUN conda update --all
RUN conda install jupyterlab=0.34.12

RUN jupyter labextension install @jupyter-widgets/jupyterlab-manager
RUN jupyter labextension install jupyter-leaflet
RUN jupyter labextension upgrade --all
RUN jupyter lab build

# ====================================================================
ENV HTTP_PROXY ""
ENV HTTPS_PROXY ""
ENV http_proxy ""
ENV https_proxy ""
# ====================================================================

注意事项:

  • 更新jupyterhub的版本。
  • 重构jupyter的版本。
  • 安装指定的jupyterlab版本。

创建编译脚本文件

创建一个shell脚本文件,可以快速重复执行容器镜像的构建操作。

docker build --build-arg "HTTP_PROXY=http://192.168.199.99:9999" -t openthings/databook . 

使用DockerHub构建

将上述文件放到github.com的项目中,就可以在hub.docker.com启动自动构建工作(比本地构建更快)。然后将镜像拉取到本地即可,也可以推送到阿里云/AWS等的镜像服务中,再拉取或者直接使用。

参考文件:

  • http://github.com/databooks/databook/build-tools/

2、编译镜像

执行脚本,将得到所构建的镜像,名为openthings/databook:latest。

为了正常下载所需要的软件包,可以指定proxy参数,如下:

docker build --build-arg "HTTP_PROXY=http://192.168.199.99:9999" -t openthings/databook . 

3、分发容器镜像到节点

为了在集群中所有节点都能够运行JupyterHub服务容器,需要将镜像部署到所有的节点。有几种方法:

  • 各节点从dockerhub或aliyun/aws的镜像服务直接拉取。如果是在局域网环境,将会带来较大的网络流量,速度较慢。
  • 上传到本地的Registry服务(如Harbor/Nexus)拉取,然后各节点从其上拉取容器镜像。
  • 如果没有本地镜像服务,也可以直接上传到各个节点。
    • 导出镜像:docker save  openthings/databook -o databook.tar
    • 复制镜像:scp databook.tar user@node0:~/databook.tar
    • 导入镜像:到目标节点,执行 docker load  -i databook.tar

下一步,部署(或更新)Kubernetes集群中的JupyterHub服务。

4、部署JupyterHub服务

首先修改helm chart目录 deploy-k8s 的values.yaml文件,将镜像地址改为openthings/databook:lates,然后使用helm来部署JupyterHub的chart。

安装:

helm install ./deploy-k8s --version=v0.6 --name=databook --namespace=databook

删除:

helm del --purge databook

更新:

helm upgrade databook ./deploy-k8s

更多参考:

  • JupyterHub on Kubernetes--项目简介
  • JupyterHub on Kubernetes--部署指南
  • JupyterHub on Kubernetes-- Helm Chart简介
  • JupyterHub on Kubernetes部署与应用指南
  • JupyterHub on Kubernetes-Helm安装
  • Jupyter Hub on Kubernetes Part II: NFS
  • JupyterHub on Kubernetes-容器存储
  • Ubuntu 18.04+JupyterHub的NFS服务 Bug 修复
  • 为JupyterHub自定义Notebook Images

5、启动JupyterHub应用

到Kubernetes Dashboard,查看命名空间jupyter的service的IP地址,然后到浏览器输入。缺省页面为notebook,将地址后面改为lab,即可进入Jupyterlab的多窗口风格页面。

JupyterHub容器镜像自定义方法与步骤_第1张图片

 

转载于:https://my.oschina.net/u/2306127/blog/3021460

你可能感兴趣的:(运维,开发工具)