遇到的问题
程序使用的是ps,worker的分布式训练程序。
如果是用如下的方式：
- 建立若干pods
- 获取pods的IP地址
-
kubectl exec进入每个pods执行脚本命令
这样的方式明显不够简洁易用。
若想只通过配置yaml文件就可以自动开始训练，首先要解决的问题是：
程序需要预先知道所有的ps和work的ip和端口。
解决思路
在Kubernetes中，pods的ip是不稳定的。这个可以使用service来代替。
访问service的方式有两种：1.环境变量，2.DNS
第一种方法环境变量有个缺陷，就是在pods之后建立的service无法访问，没有该service的环境变量。
第二种方式则没有第一种的缺陷，任何时间创建的service都能够被service访问到。
所以可以通过创建service的方式，让最终运行的程序各个pods都能知道ps和worker的ip和端口。
创建service
yaml文件内容如下
apiVersion: v1
kind: Service
metadata:
labels:
name: tensorflow-ps
role: service
name: tensorflow-ps-service
spec:
ports:
- port: 2222
targetPort: 2222
selector:
name: tensorflow-ps
查看service
# kubectl get svc
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
tensorflow-ps-service ClusterIP 10.108.188.51 2222/TCP 61m
tf22 ClusterIP 10.104.32.47 2222/TCP 37m
启动一个pod验证是否可以找到service的IP
apiVersion: v1
kind: Pod
metadata:
name: tf
spec:
containers:
- image: tensorflow/tensorflow:1.13.1-gpu-py3-jupyter
command:
- sleep
- "3600"
name: tf
kubectl exec -it tf bash进入pod中，执行
root@tf:/tf# python -c "import socket;print(socket.gethostbyname('www.baidu.com'))"
103.235.46.39
root@tf:/tf# python -c "import socket;print(socket.gethostbyname('tensorflow-ps-service.default.svc.cluster.local'))"
10.108.188.51
最终发现获取的ip和kubectl get svc显示的ip一致。
再启动一个名字为tf22的service。同样可以得到正确的ip。
root@tf:/tf# python -c "import socket;print(socket.gethostbyname('tf22.default.svc.cluster.local'))"
10.104.32.47
# 使用printenv命令
HOME=/root
KUBERNETES_PORT_443_TCP_PROTO=tcp
KUBERNETES_SERVICE_PORT_HTTPS=443
TENSORFLOW_PS_SERVICE_SERVICE_PORT=2222
TENSORFLOW_PS_SERVICE_PORT=tcp://10.108.188.51:2222
KUBERNETES_PORT_443_TCP_ADDR=10.96.0.1
KUBERNETES_PORT_443_TCP=tcp://10.96.0.1:443
TENSORFLOW_PS_SERVICE_PORT_2222_TCP_ADDR=10.108.188.51
_=/usr/bin/printenv
可以看到只有pod创建前的service变量。
再查看pod的dns，发现是10.96.0.10
root@tf:/tf# cat /etc/resolv.conf
nameserver 10.96.0.10
search default.svc.cluster.local svc.cluster.local cluster.local
options ndots:5
而kubernetes的dns服务的ip正是10.96.0.10
# kubectl get svc --namespace=kube-system
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
kube-dns ClusterIP 10.96.0.10 53/UDP,53/TCP 17d
使用job将应用连接到 Service
apiVersion: batch/v1
kind: Job
metadata:
name: tensorflow-ps-rc
spec:
template:
metadata:
labels:
name: tensorflow-ps
role: ps
spec:
containers:
- name: ps
image: nvcr.io/nvidia/tensorflow:19.02-py3
ports:
- containerPort: 2222
command: ["/bin/sh", "-c"]
args: ["cd /root/tensorflow; \
python3 mnist.py \
--ps_hosts=tensorflow-ps-service.default.svc.cluster.local:2222 \
--worker_hosts=tensorflow-wk-service0.default.svc.cluster.local:2222,tensorflow-wk-service1.default.svc.cluster.local:2222 \
--job_name=ps \
--task_index=0
"]
volumeMounts:
- name: work-path
mountPath: /root/tensorflow
readOnly: false
restartPolicy: Never
volumes:
- name: work-path
hostPath:
path: /mnt/data/private/zdd/workspace/k8s-tensorflow/examples/mnist_dist
nodeName: omnisky
利用labels和selectors
上面的service的yaml中含有标签选择器
selector:
name: tensorflow-ps
而job创建的容器中则打了标签
spec:
template:
metadata:
labels:
name: tensorflow-ps
role: ps