K1 PowerLinux使能K8s管理GPU容器

K1 PowerLinux使能K8s管理GPU容器

本篇文档内容包含K8S开源容器管理平台结合Docker容器，结合免费的在Power上优化的深度学习和机器学习的docker镜像WMLCE，给客户提供Jupyter的环境，提供持续持续开发持续集成的不间断服务。并且能按照单个GPU卡的量级来分配资源。与通常的x86通用2u服务器不同的是，这里采用的是K1 PowerLinux服务器，使用Power9 CPU。最后引用一个实际的客户使用例子容器化的方式配合Power的独特硬件特性获得的独特价值。由于偏操作类，这里主要突出的是K8s使能GPU容器，其他详细内容可以参考之前文章。

背景

os rhel-alt-server-7.6-ppc64le-dvd.iso
s822lc-05 （minksy）4P100 GPU

在K1 PowerLinux上配置 GPU环境

参考链接（非本篇文章重点）：
https://www.ibm.com/support/knowledgecenter/SS5SF7_1.6.2/navigation/wmlce_setupRHEL.html
主要内容摘录如下：
安装操作系统 rhel-alt-server-7.6-ppc64le-dvd.iso
升级内核，安装依赖包。

yum update kernel kernel-devel kernel-tools kernel-tools-libs kernel-bootwrapper	
yum -y install dkms-2.7.1-1.el7.noarch.rpm

更改内存显示规则（只针对rhel7 Power9的服务器）

cp /lib/udev/rules.d/40-redhat.rules /etc/udev/rules.d/

更改内存显示规则（只针对rhel7 Power9的服务器）

vi /etc/udev/rules.d/40-redhat.rules
# Memory hotadd request
#SUBSYSTEM!="memory", ACTION!="add", GOTO="memory_hotplug_end"
#PROGRAM="/bin/uname -p", RESULT=="s390*",GOTO="memory_hotplug_end"
#ENV{.state}="online"
#PROGRAM="/bin/systemd-detect-virt", RESULT=="none", ENV{.state}="online_movable"
#ATTR{state}=="offline", ATTR{state}="$env{.state}"
#LABEL="memory_hotplug_end"

下载nvidia驱动，注意选择ppc64le rhel7的版本

rpm -ivh nvidia-driver-local-repo-rhel7-418.*.rpm
yum install nvidia-driver-latest-dkms
systemctl enable nvidia-persistenced
reboot

在K1 PowerLinux上配置K8S环境

这部分内容具体请参照K8S离线安装方法，请参照本博客其他文章。

部署 kubernetes-dashboard

为了便于K8s管理，部署dashboard，非此篇文章的重点，如果查看详细部署过程请参照本博客其他文章。

创建 docker 私有仓库

yum install -y docker-distribution docker
mkdir -p /data/history/
cat > /etc/docker-distribution/registry/config.yml <<- 'EOF'
version: 0.1
log:
fields:
service: registry
storage:
cache:
layerinfo: inmemory
filesystem:
rootdirectory: /data/history
delete:
enabled: true
http:
addr: :5000
EOF

在/usr/lib/systemd/system/docker.service 中添加 docker 启动参数cn01:5000, cn01就是docker仓库节点的hostname：

cat /usr/lib/systemd/system/docker.service
[Unit]
Description=Docker Application Container Engine
Documentation=https://docs.docker.com
After=network-online.target firewalld.service
Wants=network-online.target
[Service]
Type=notify
# the default is not to use systemd for cgroups because the
delegate issues still
# exists and systemd currently does not support the cgroup
feature set required
# for containers run by docker
ExecStart=/usr/bin/dockerd --insecure-registry cn01:5000
ExecReload=/bin/kill -s HUP $MAINPID
# Having non-zero Limit*s causes performance problems due to
accounting overhead
# in the kernel. We recommend using cgroups to do container-local
accounting.
LimitNOFILE=infinity
LimitNPROC=infinity
LimitCORE=infinity
# Uncomment TasksMax if your systemd version supports it.
# Only systemd 226 and above support this version.
#TasksMax=infinity
TimeoutStartSec=0
# set delegate yes so that systemd does not reset the cgroups of
docker containers
Delegate=yes
# kill only the docker process, not all processes in the cgroup
KillMode=process
# restart the docker process if it exits prematurely
Restart=on-failure
StartLimitBurst=3
StartLimitInterval=60s
[Install]
WantedBy=multi-user.target

重启docker服务

systemctl daemon-reload
systemctl restart docker
systemctl restart docker-distribution
systemctl enable docker-distribution

测试验证

docker load -i load –I nginx.tar
docker tag nginx cn01:5000/nginx
curl cn01:5000/v2/_catalog 

如果是其他k8s的节点,请修改docker的配置文件指向私有镜像仓库。

关于获得WMLCE的docker 镜像

将WMLCE下载好的tar文件导入到私有仓库中。（1次下载多次使用）

docker load -i  wmlce162.tar

K1 PowerLinux 部署GPU容器云平台框架

使用全开源的软件方式部署GPU容器云平台，底层是K1 Power的硬件服务器，上层安装CentOS操作系统。在系统中安装GPU驱动，设备成功识别，并可被使用。之上再安装docker和Nvidia docker，CentOS中Nvidia-docker不能直接通过yum安装，可以安装container-tools container-runtime和container-runtime-hook软件包。在之上为了让K8s管理GPU容器，需要在K8s容器云管理平台安装后创建k8s-devce-plugin容器。之后可通过Doker网上仓库或者私有仓库部署所需容器，包括不同CUDA版本、不同框架版本的GPU容器。

K8s enable GPU docker images

要想在K8s中使用含有GPU资源的镜像，如下图中所示的逻辑，我们需要打通几个关键步骤。Host上要有Nvidia驱动、docker、nvidia-docker（红帽不能直接安装，需要修改runtime）。同时需要一个nvidia plugin的容器。

安装nvidia-docker2

yum -y install libnvidia-container-tools-1.0.0-1.ppc64le.rpm libnvidia-container1-1.0.0-1.ppc64le.rpm nvidia-container-runtime-2.0.0-1.docker18.03.1.ppc64le.rpm nvidia-container-runtime-hook-1.4.0-2.ppc64le.rpm

更改runtime为nvidia-runc

[root@cn01 ~]# cat /etc/docker/daemon.json 
{
  "exec-opts": ["native.cgroupdriver=systemd"],
  "log-driver": "json-file",
  "log-opts": {
    "max-size": "100m"
  },
  "storage-driver": "overlay2",
  "storage-opts": [
    "overlay2.override_kernel_check=true"
  ],
  "default-runtime":"nvidia",
  "runtimes":{
    "nvidia":{
      "path":"/usr/bin/nvidia-container-runtime",
      "runtimeArgs":[]
  }
  }
}

验证nvidia-runtime

部署k8s-device-plugin

下载k8s-device-plugin的容器，并通过kubectl创建Damonset

docker pull nvidia/k8s-device-plugin:1.11-ubuntu16.04
docker save nvidia/k8s-device-plugin:1.11-ubuntu16.04 -o k8s-device-plugin-1.11.tar
docker load -i k8s-device-plugin-1.11.tar
docker tag nvidia/k8s-device-plugin:1.11-ubuntu16.04 cn01:5000/k8s-device-plugin
docker push nvidia/k8s-device-plugin:1.11-ubuntu16.04
kubectl create -f nvidia-device-plugin.yml

nvidia-device-plugin.yml 在https://github.com/NVIDIA/k8s-device-plugin/blob/master/nvidia-device-plugin.yml
nvidia plugin images https://hub.docker.com/r/nvidia/k8s-device-plugin/tags?page=1

K8s创建WMLCE容器

kubectl create -f powerai162.yml
[root@kmaster k8s]# cat powerai162.yml 
apiVersion: v1 
kind: Pod
metadata:
  name: powerai162-gpu 
spec:
  containers:
  - name: powerai162-test
    image: cn01:5000/powerai
    command: ['sh','-c','while true;do sleep 2;done;']
    resources:
      limits:
        nvidia.com/gpu: 1 # requesting 1 GPUs
    volumeMounts:
    - name: powerai
      mountPath: /powerai
    env:
    - name: LICENSE
      value: "yes"
  volumes:
  - name: powerai
    hostPath:
        path: /root/powerai

验证

Dashboard中可以看到Powerai162的进行已经起来，并被监控。

验证WMLCE镜像

[root@kmaster k8s]# kubectl exec -it powerai162-gpu -- bash

进入容器操作

[root@kmaster k8s]# git clone https://github.com/IBM/powerai/powerai/examples/tensorflow_large_model_support/v2
[root@kmaster k8s]# python Keras_ResNet50.py --image_size 2500 

报OOM的错误，超过GPU显存，激活Power上的LMS特性，这样可以在训练过程中，将一部分内存当做显存使用。又由于Power上CPU到GPU之间是NVLink链接，非x86上的PCIe的总线。具体数据可以参考其他文章。

[root@kmaster k8s]# python Keras_ResNet50.py --show_tensors_on_oom --image_size 2500 --lms

可以顺利运行，可以运行python Keras_ResNet50.py --help查看可以加的参数
K8s调度生效，目前容器中只能看到2个GPU。

配置jupyter Notebook

在容器中，有可能上面安装的时候已经安装完了

conda install jupyter notebook

要想远程登录jupyter notebook需要生成配置文件

jupyter notebook --generate-config

用ipython或者其他生成一个密文的密码

In [1]: from notebook.auth import passwd
In [2]: passwd()
Enter password: 
Verify password: 
Out[2]: 'sha1:ce23d945972f:34769685a7ccd3d08c84a18c63968a41f1140274'
把生成的密文‘sha:ce....’复制下来
In [3]:quit()

修改默认的配置文件

vim ~/.jupyter/jupyter_notebook_config.py 
进行如下修改：
c.NotebookApp.ip='*'
c.NotebookApp.password = u'sha:ce...刚才复制的那个密文'
c.NotebookApp.open_browser = False
c.NotebookApp.port =8888 #随便指定一个端口

jupyter notebook --ip=0.0.0.0 --allow-root

此时应该可以直接从本地浏览器直接访问http://address_of_remote:8888就可以看到jupyter的登陆界面。
建立ssh通道
如果登陆失败，则有可能是服务器防火墙设置的问题，此时最简单的方法是在本地建立一个ssh通道：
在本地终端中输入ssh username@address_of_remote -L127.0.0.1127.0.0.1:8888
便可以在localhost:1234直接访问远程的jupyter了。

K1PowerLinux容器中客户使用实例

实例准备
已实现单机多卡多实例分配资源，可动态分配公网链路和端口，自动化启动在线调试和远程访问服务，支持jupyter ,pycharm调试。
实例开启截图：

实例运行截图1：

实例运行截图2：

客户在实例中使用LMS的工具库，配合Power硬件CPU到GPU、GPU到GPU之间的全NVlink，在其他条件一致的情况下可以设置更大的batch_size,或者是在其他信息一致的情况下放置更高分辨率的图像在训练中，使得科研人员能够获得更多特征，得到更准确的模型。
下例子中，客户在没有LMS情况下，B_S=96,128就会出现OOM的错误。

实例

• 数据集HMDB51 （已处理，不需要做任何修改）
• 网络训练：root/P3D/network_train.py （只测试的话不需要修改）
• 网络测试：root/P3D/network_test.py （只测试的话不需要修改）
• 网络参数：root/P3D/utils.py （可以修改Batch_Size等参数）
• 运行环境：经测试可以直接运行。
• Tips: 默认情况不调用LMS服务，需要的话修改network_train中main函数里的enable=True。
  关于显卡使用情况：
• Video frame (16,160,160)
• 单块GPU
• 模型：P3D，数据集：HMDB51
• B_S=8：6060MB/32510MB
• B_S=64: 30496MB/32510MB，能放下1024(64*16)张图
• B_S= 96，128 , out of memory。
• 单卡最多可以放下1024160160的图像数据。

参考链接：

http://docs.kubernetes.org.cn/429.html
https://www.cnblogs.com/nmap/p/9384398.html
https://blog.csdn.net/wenwst/article/details/54913311
https://www.cnblogs.com/yangxiaolan/p/5778305.html
https://mirrors.tripadvisor.com/centos-vault/altarch/7.6.1810/isos/power9/