Kubernetes（k8s）单Matser集群架构的搭建（v1.20）

Kubernetes单Matser集群架构的搭建

Kubernetes的三种网络

• 节点网络：节点服务器的物理网络
• Pod网络：pod节点自己的虚拟的ip地址，对外不可见
• service网络：ClusterIP，对外进行业务的暴露，对内对接pod

架构图

环境准备

节点名	IP地址	节点职能
k8s集群master01	192.168.42.3	kube-apiserver kube-controller-manager kube-scheduler etcd
etcd集群节点1	192.168.42.3	etcd
k8s集群master02	192.168.42.6
k8s集群node01	192.168.42.4	kubelet kube-proxy docker
etcd集群节点2	192.168.42.4	etcd
k8s集群node02	192.168.42.5	kubelet kube-proxy docker
etcd集群节点3	192.168.42.5	etcd
负载均衡nginx+keepalive01（master）	192.168.42.7
负载均衡nginx+keepalive02（backup）	192.168.42.8

操作系统初始化配置

• 关闭防火墙

  systemctl stop firewalld

  systemctl disable firewalld

  iptables -F && iptables -t nat -F && iptables -t mangle -F && iptables -X

• 关闭selinux

  setenforce 0

  sed -i 's/enforcing/disabled/' /etc/selinux/config

• 关闭swap

  swapoff -a

  sed -ri 's/.*swap.*/#&/' /etc/fstab

• 根据规划设置主机名

  hostnamectl set-hostname master01

  hostnamectl set-hostname node01

  hostnamectl set-hostname node02

• 添加hosts

  cat >> /etc/hosts << EOF

  192.168.42.3 master01

  192.168.42.4 node01

  192.168.42.5 node02

  EOF

• 调整内核参数

  cat > /etc/sysctl.d/k8s.conf << EOF
  #开启网桥模式，可将网桥的流量传递给iptables链
  net.bridge.bridge-nf-call-ip6tables = 1
  net.bridge.bridge-nf-call-iptables = 1
  #关闭ipv6协议
  net.ipv6.conf.all.disable_ipv6=1
  net.ipv4.ip_forward=1
  EOF
  

  sysctl --system

• 时间同步

  yum install ntpdate -y

  ntpdate time.windows.com

部署 etcd 集群

• etcd是CoreOS团队于2013年6月发起的开源项目，他的目标是构建一个高可用的分布式键值（key-value）数据库。etcd内部采用raft协议作为一致性算法，etcd是go语言编写的。

• etcd作为服务发现系统，有以下的特点：

  • 简单：安装配置简单，而且提供了http API进行交互，使用也很简单
  • 安全：支持SSL证书验证
  • 快速：单实例支持每秒2k+读操作
  • 可靠：采用raft算法，实现分布式系统数据的可用性和一致性

• etcd目前默认使用2379端口提供HTTP API服务，2380端口和peer通信（这两个端口已经被IANA（互联网数字分配机构）官方预留给etcd）。即etcd默认使用2379端口对外为客户端提供通讯，使用端口2380来进行服务期间内部通讯。

• etcd在生产环境中一般推荐集群方式部署。由于etcd的leader选举机制，要求至少为3太以上的奇数台。

  准备签发证书环境

• CFSSL是CloudFlare公司开源的一款PKI/TLS工具。CFSSL包含一个命令行工具和一个用于签名、验证和捆绑的TLS证书的HTTP API服务。使用Go语言编写。

• CFSSL使用配置文件生成证书，因此自签之前，需要生成它识别的json格式的配置文件，CFSSL提供了方便的命令行生成配置文件。

• CFSSL用来为etcd提供TLS证书，它支持签三种类型的证书：

  • client证书，服务端连接客户端时携带的证书，用于客户端验证服务端身份，如kube-apiserver访问etcd

  • server证书，客户端连接服务器时携带的证书，用于服务端验证客户端身份，如etcd对外提供服务

  • peer证书，相互之间连接时使用的证书，如etcd节点之间进行验证和通信。

• 这里全部都是用同一套证书认证

在 master01 节点上操作

• 准备cfssl证书生成工具

  wget https://pkg.cfssl.org/R1.2/cfssl_linux-amd64 -O /usr/local/bin/cfssl

  wget https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64 -O /usr/local/bin/cfssljson

  wget https://pkg.cfssl.org/R1.2/cfssl-certinfo_linux-amd64 -O /usr/local/bin/cfssl-certinfo

• chmod +x /usr/local/bin/cfssl*

cfssl：证书签发的工具命令
cfssljson：将cfssl生成的证书（json格式）变为文件承载式证书
cfssl-certinfo：验证证书的信息
cfssl-certinfo -cert <证书名称> #查看证书的信息

• 生成Etcd证书

  mkdir /opt/k8s

  cd /opt/k8s/

• 上传 etcd-cert.sh（签发证书需要手动检查ip地址正确性） 和 etcd.sh（启动etcd服务） 到 /opt/k8s/ 目录中

  chmod +x etcd-cert.sh etcd.sh

• 创建用于生成CA证书、etcd 服务器证书以及私钥的目录

  mkdir /opt/k8s/etcd-cert

  mv etcd-cert.sh etcd-cert/

  cd /opt/k8s/etcd-cert/

  ./etcd-cert.sh #生成CA证书、etcd服务器证书以及私钥

  ls

  ca-config.json  ca-csr.json  ca.pem        server.csr       server-key.pem
  ca.csr          ca-key.pem   etcd-cert.sh  server-csr.json  server.pem
  

• 上传 etcd-v3.4.9-linux-amd64.tar.gz 到 /opt/k8s 目录中，启动etcd服务

  http://github.com/etcd-io/etcd/releases/download/v.3.4.9/etcd-v3.4.9-linux-amd64.tar.gz

  cd /opt/k8s/

  tar zxvf etcd-v3.4.9-linux-amd64.tar.gz

  cd etcd-v3.4.9-linux-amd64/

  ls

  etcd-v3.4.9-linux-amd64   Documentation	etcd	etcdctl	README-etcdctl.md	README.md	READMEv2-etcdctl.md
  

• etcd就是etcd服务的启动命令，后面可跟各种启动参数

• etcdctl主要为ectd服务提供了命令行操作

• 创建用于存放etcd配置文件，命令文件，证书的目录

  mkdir -p /opt/etcd/{cfg,bin,ssl}

  cd /opt/k8s/etcd-v3.4.9-linux-amd64/

  mv etcd etcdctl /opt/etcd/bin/

  cp /opt/k8s/etcd-cert/*.pem /opt/etcd/ssl/

  cd /opt/k8s/

  ./etcd.sh etcd01 192.168.42.3 etcd02=https://192.168.42.4:2380,etcd03=https://192.168.42.5:2380

  进入卡住状态等待其他节点加入，这里需要三台etcd服务启动，如果只启动其中一台后，服务会卡在那里，直到集群中所有的etcd节点都已启动，可忽略这个情况

• 可另外打开一个窗口查看etcd进程是否正常

  ps -ef | grep etcd

• 把etcd相关证书文件、命令文件和服务管理文件全部拷贝到另外两个etcd集群节点

  scp -r /opt/etcd/ [email protected]:/opt/

  scp -r /opt/etcd/ [email protected]:/opt/

  scp /usr/lib/systemd/system/etcd.service [email protected]:/usr/lib/systemd/system/

  scp /usr/lib/systemd/system/etcd.service [email protected]:/usr/lib/systemd/system/

在 node01 节点上操作

• vim /opt/etcd/cfg/etcd

  #[Member]
  ETCD_NAME="etcd02"											#修改
  ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
  ETCD_LISTEN_PEER_URLS="https://192.168.42.4:2380"			#修改
  ETCD_LISTEN_CLIENT_URLS="https://192.168.42.4:2379"		#修改
  
  #[Clustering]
  ETCD_INITIAL_ADVERTISE_PEER_URLS="https://192.168.42.4:2380"		#修改
  ETCD_ADVERTISE_CLIENT_URLS="https://192.168.42.4:2379"				#修改
  ETCD_INITIAL_CLUSTER="etcd01=https://192.168.42.3:2380,etcd02=https://192.168.42.4:2380,etcd03=https://192.168.42.5:2380"
  ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
  ETCD_INITIAL_CLUSTER_STATE="new"
  

• systemctl start etcd

  systemctl enable etcd

  systemctl status etcd

在node02 节点上操作

• vim /opt/etcd/cfg/etcd

  #[Member]
  ETCD_NAME="etcd03"											#修改
  ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
  ETCD_LISTEN_PEER_URLS="https://192.168.42.5:2380"			#修改
  ETCD_LISTEN_CLIENT_URLS="https://192.168.42.5:2379"		#修改
  
  #[Clustering]
  ETCD_INITIAL_ADVERTISE_PEER_URLS="https://192.168.42.5:2380"		#修改
  ETCD_ADVERTISE_CLIENT_URLS="https://192.168.42.5:2379"				#修改
  ETCD_INITIAL_CLUSTER="etcd01=https://192.168.42.3:2380,etcd02=https://192.168.42.4:2380,etcd03=https://192.168.42.5:2380"
  ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
  ETCD_INITIAL_CLUSTER_STATE="new"
  

• systemctl start etcd

  systemctl enable etcd

  systemctl status etcd

• 检查etcd群集状态

  ETCDCTL_API=3 /opt/etcd/bin/etcdctl --cacert=/opt/etcd/ssl/ca.pem --cert=/opt/etcd/ssl/server.pem --key=/opt/etcd/ssl/server-key.pem --endpoints="https://192.168.42.3:2379,https://192.168.42.4:2379,https://192.168.42.5:2379" endpoint health --write-out=table

–cert-file：识别HTTPS端使用SSL证书文件

–key-file：使用此SSL密钥文件标识HTTPS客户端

–ca-file：使用此CA证书验证启用https的服务器的证书

–endpoints：集群中以逗号分隔

• 查看etcd集群成员列表

  ETCDCTL_API=3 /opt/etcd/bin/etcdctl --cacert=/opt/etcd/ssl/ca.pem --cert=/opt/etcd/ssl/server.pem --key=/opt/etcd/ssl/server-key.pem --endpoints="https://192.168.42.3:2379,https://192.168.42.4:2379,https://192.168.42.5:2379" --write-out=table member list

部署 docker引擎

• 所有 node 节点部署docker引擎

  yum install -y yum-utils device-mapper-persistent-data lvm2

  yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

  yum install -y docker-ce docker-ce-cli containerd.io

• systemctl start docker.service

  systemctl enable docker.service

部署 Master 组件

在 master01 节点上操作

• 上传 master.zip 和 k8s-cert.sh 到 /opt/k8s 目录中，解压 master.zip 压缩包

  cd /opt/k8s/

  unzip master.zip

  chmod +x *.sh

  修改各个脚本文件中的ip地址

• 创建kubernetes工作目录

  mkdir -p /opt/kubernetes/{bin,cfg,ssl,logs}

• 创建用于生成CA证书、相关组件的证书和私钥的目录

  mkdir /opt/k8s/k8s-cert

  mv /opt/k8s/k8s-cert.sh /opt/k8s/k8s-cert

  cd /opt/k8s/k8s-cert/

  ./k8s-cert.sh #生成apiserver-csr.json一段的hosts需要修改且后面不能跟有注释

• ls *pem

  admin-key.pem  apiserver-key.pem  ca-key.pem  kube-proxy-key.pem  
  admin.pem      apiserver.pem      ca.pem      kube-proxy.pem
  

• 复制CA证书、apiserver相关证书和私钥到kubernetes工作目录的ssl子目录中

  cp ca*pem apiserver*pem /opt/kubernetes/ssl/

• 上传 kubernetes-server-linux-amd64.tar.gz 到 /opt/k8s/ 目录中，解压 kubernetes 压缩包

  cd /opt/k8s/

  tar zxvf kubernetes-server-linux-amd64.tar.gz

• 复制master组件的关键命令文件到kubernetes工作目录的bin子目录中

  cd /opt/k8s/kubernetes/server/bin

  cp kube-apiserver kubectl kube-controller-manager kube-scheduler /opt/kubernetes/bin/

  ln -s /opt/kubernetes/bin/* /usr/local/bin/

• 创建 bootstrap token 认证文件，apiserver 启动时会调用，然后就相当于在集群内创建了一个这个用户，接下来就可以用 RBAC 给他授权

  cd /opt/k8s/

  vim token.sh

  #!/bin/bash
  #获取随机数前16个字节内容，以十六进制格式输出，并删除其中空格
  BOOTSTRAP_TOKEN=$(head -c 16 /dev/urandom | od -An -t x | tr -d ' ')
  #生成 token.csv 文件，按照 Token序列号,用户名,UID,用户组 的格式生成
  cat > /opt/kubernetes/cfg/token.csv <<EOF
  ${BOOTSTRAP_TOKEN},kubelet-bootstrap,10001,"system:kubelet-bootstrap"
  EOF
  

• chmod +x token.sh

  ./token.sh

  cat /opt/kubernetes/cfg/token.csv

• 二进制文件、token、证书都准备好后，开启apiserver服务

  cd /opt/k8s/

  ./apiserver.sh 192.168.42.3 https://192.168.42.3:2379,https://192.168.42.4:2379,https://192.168.42.5:2379

• ps aux | grep kube-apiserver

• netstat -natp | grep 6443 #安全端口6443用于接收HTTPS请求，用于基于Token文件或客户端证书等认证

• cd /opt/k8s/

• 启动 scheduler 服务

  ./scheduler.sh

  ps aux | grep kube-scheduler

• 启动 controller-manager 服务

  ./controller-manager.sh

  ps aux | grep kube-controller-manager

• 生成kubectl连接集群的证书

  ./admin.sh

• 默认绑定cluster-admin管理员集群角色，授权kubectl访问集群

  kubectl create clusterrolebinding cluster-system-anonymous --clusterrole=cluster-admin --user=system:anonymous

• 通过kubectl工具查看当前集群组件状态

  kubectl get cs

  NAME                 STATUS    MESSAGE             ERROR
  controller-manager   Healthy   ok                  
  scheduler            Healthy   ok                  
  etcd-2               Healthy   {"health":"true"}   
  etcd-1               Healthy   {"health":"true"}   
  etcd-0               Healthy   {"health":"true"}  
  

• 查看版本信息

  kubectl version

部署 Worker Node 组件

在所有 node 节点上操作

• 创建kubernetes工作目录

  mkdir -p /opt/kubernetes/{bin,cfg,ssl,logs}

• 上传 node.zip 到 /opt 目录中，解压 node.zip 压缩包，获得kubelet.sh、proxy.sh

  cd /opt/

  unzip node.zip

  chmod +x kubelet.sh proxy.sh

在 master01 节点上操作

• 把 kubelet、kube-proxy 拷贝到 node 节点

  cd /opt/k8s/kubernetes/server/bin

  scp kubelet kube-proxy [email protected]:/opt/kubernetes/bin/

  scp kubelet kube-proxy [email protected]:/opt/kubernetes/bin/

• 上传 kubeconfig.sh 文件到 /opt/k8s/kubeconfig 目录中，生成 kubelet 初次加入集群引导kubeconfig文件和kube-proxy.kubeconfig文件

  kubeconfig文件包含集群参数（CA证书、API Server地址），客户端参数（上面生成的证书和私钥），集群context上下文参数（集群名称、用户名）。Kubenetes组件（如kubelet、kube-proxy）通过启动时指定不同的kubeconfig文件可以切换到不同的集群，连接到apiserver。

  mkdir /opt/k8s/kubeconfig

• cd /opt/k8s/kubeconfig

  chmod +x kubeconfig.sh

  ./kubeconfig.sh 192.168.42.3 /opt/k8s/k8s-cert/

• 把配置文件bootstrap.kubeconfig、kube-proxy.kubeconfig拷贝搭配node节点

  scp bootstrap.kubeconfig kube-proxy.kubeconfig [email protected]:/opt/kubernetes/cfg/

  scp bootstrap.kubeconfig kube-proxy.kubeconfig [email protected]:/opt/kubernetes/cfg/

• RBAC授权，使用户 kubelet-bootstrap 能够有权限发起 CSR 请求

  kubectl create clusterrolebinding kubelet-bootstrap --clusterrole=system:node-bootstrapper --user=kubelet-bootstrap

kubelet采用TLS Bootstrapping机制，自动完成到kube-apiserver的注册，在node系欸但量较大或者后期自动扩容时非常有用。Master apiserver启用TLS认证后，node节点kubelet组件想要加入集群，必须使用CA签发的有效证书才能与apiserver通信，当node节点很多时，签署证书时意见很繁琐的事情因此Kubernetes引入了TLS bootstraping机制来自动颁发客户端证书，kubelet会以一个低权限用户自动向apisrver申请证书，kubelet的证书由apiserver动态签署。

kubelet首次启动通过加载bootstrap.kubeconfig中的用户Token和apiserver CA证书发起首次CSR请求，这个Token被预先内置在apiserver节点的token.csv中，其身份为kubelet-bootstrap用户system:kubelet-bootstrap用户组；想要首次CSR请求能成功（即不会被apiserver 401拒绝），则需要先创建一个ClusterRoleBinding，将kubelet-bootstrap用户和system:node-bootstrapper内置ClusterRole绑定（通过kubectl get clusterroles可查询），使其能够发起CSR认证请求。

TLS bootstrapping 时的证书实际是由 kube-controller-manager 组件来签署的，也就是说证书有效期时kube-controller-manager组件控制的；kube-controller-manager组件提供了一个 --experimental-cluster-signing-duration参数来设置签署的证书有效时间；默认为8760h0m0s，将其改为87600h0m0s，即十年后再进行TLS bootstrapping签署证书即可。

也就是说kubelet首次访问API Server时，是使用token做认证，通过后，Controller Manager会为kubelet生成一个证书，以后的访问都是用证书做认证。

node01节点部署

• 启动 kubelet 服务

  cd /opt/

  ./kubelet.sh 192.168.42.4

  ps aux | grep kubelet

在 master01 节点上操作，通过 CSR 请求

• 检查到 node01 节点的 kubelet 发起的 CSR 请求，Pending 表示等待集群给该节点签发证书

  kubectl get csr

  NAME      AGE     SIGNERNAME     REQUESTOR     CONDITION
  node-csr-QzuP-OnKYrpNg6XnfzZ1QWmkCAnD0s6IuaSGTuPnr20   27s  kubernetes.io/kube-apiserver-client-kubelet   kubelet-bootstrap   Pending
  
  

• 通过 CSR 请求

  kubectl certificate approve node-csr-QzuP-OnKYrpNg6XnfzZ1QWmkCAnD0s6IuaSGTuPnr20

• Approved,Issued 表示已授权 CSR 请求并签发证书

  kubectl get csr

  NAME     AGE     SIGNERNAME     REQUESTOR     CONDITION
  node-csr-QzuP-OnKYrpNg6XnfzZ1QWmkCAnD0s6IuaSGTuPnr20   2m18s kubernetes.io/kube-apiserver-client-kubelet   kubelet-bootstrap   Approved,Issued
  
  

• 查看节点，由于网络插件还没有部署，节点会没有准备就绪 NotReady

  kubectl get node

  NAME            STATUS     ROLES    AGE    VERSION
  192.168.42.4   NotReady      108s   v1.20.11
  
  

在 node01 节点上操作

• 加载 ip_vs 模块

  for i in $(ls /usr/lib/modules/$(uname -r)/kernel/net/netfilter/ipvs|grep -o "^[^.]*");do echo $i; /sbin/modinfo -F filename $i >/dev/null 2>&1 && /sbin/modprobe $i;done

• 启动proxy服务

  cd /opt/

  ./proxy.sh 192.168.42.4

  ps aux | grep kube-proxy

在 node01 节点上操作

• 上传 cni-plugins-linux-amd64-v0.8.6.tgz 和 flannel.tar 到 /opt 目录中

  cd /opt/

  docker load -i flannel.tar

• mkdir -p /opt/cni/bin

  tar zxvf cni-plugins-linux-amd64-v0.8.6.tgz -C /opt/cni/bin

在 master01 节点上操作

• 上传 kube-flannel.yml 文件到 /opt/k8s 目录中，部署 CNI 网络

  cd /opt/k8s

  kubectl apply -f kube-flannel.yml

• kubectl get pods -n kube-system

  NAME                    READY   STATUS    RESTARTS   AGE
  kube-flannel-ds-2p9w7   1/1     Running   0          30s
  
  

• kubectl get nodes

  NAME            STATUS   ROLES    AGE   VERSION
  192.168.42.4    Ready       12m   v1.20.11
  
  

node02 节点部署

在 node01 节点上操作

• cd /opt/

  scp kubelet.sh proxy.sh [email protected]:/opt/

  scp -r /opt/cni [email protected]:/opt/

在 node02 节点上操作

• 上传 cni-plugins-linux-amd64-v0.8.6.tgz 和 flannel.tar 到 /opt 目录中

  docker load -i flannel.tar

• 启动kubelet服务

  cd /opt/

  chmod +x kubelet.sh

  ./kubelet.sh 192.168.42.5

在 master01 节点上操作

• kubectl get csr

  NAME                                                   AGE  SIGNERNAME                                    REQUESTOR           CONDITION
  node-csr-BbqEh6LvhD4R6YdDUeEPthkb6T_CJDcpVsmdvnh81y0   10s  kubernetes.io/kube-apiserver-client-kubelet   kubelet-bootstrap   Pending
  node-csr-duiobEzQ0R93HsULoS9NT9JaQylMmid_nBF3Ei3NtFE   85m  kubernetes.io/kube-apiserver-client-kubelet   kubelet-bootstrap   Approved,Issued
  
  

• 通过 CSR 请求

  kubectl certificate approve node-csr-BbqEh6LvhD4R6YdDUeEPthkb6T_CJDcpVsmdvnh81y0

• kubectl get csr

  NAME                                                   AGE  SIGNERNAME                                    REQUESTOR           CONDITION
  node-csr-BbqEh6LvhD4R6YdDUeEPthkb6T_CJDcpVsmdvnh81y0   23s  kubernetes.io/kube-apiserver-client-kubelet   kubelet-bootstrap   Approved,Issued
  node-csr-duiobEzQ0R93HsULoS9NT9JaQylMmid_nBF3Ei3NtFE   85m  kubernetes.io/kube-apiserver-client-kubelet   kubelet-bootstrap   Approved,Issued
  
  

在node02节点上操作

• 加载 ipvs 模块

  for i in $(ls /usr/lib/modules/$(uname -r)/kernel/net/netfilter/ipvs|grep -o "^[^.]*");do echo $i; /sbin/modinfo -F filename $i >/dev/null 2>&1 && /sbin/modprobe $i;done

• 使用proxy.sh脚本启动proxy服务

  cd /opt/

  chmod +x proxy.sh

  ./proxy.sh 192.168.42.5

• 查看群集中的节点状态（Master）

  kubectl get nodes

部署网络组件——部署 Calico

在 master01 节点上操作

• 上传 calico.yaml 文件到 /opt/k8s 目录中，部署 CNI 网络

  cd /opt/k8s

  vim calico.yaml

  #修改里面定义Pod网络（CALICO_IPV4POOL_CIDR），与前面kube-controller-manager配置文件指定的cluster-cidr网段一样
  
     - name: CALICO_IPV4POOL_CIDR
       value: "192.168.0.0/16"
  
  

• kubectl apply -f calico.yaml

• kubectl get pods -n kube-system

  NAME                                       READY   STATUS    RESTARTS   AGE
  calico-kube-controllers-659bd7879c-4h8vk   1/1     Running   0          58s
  calico-node-nsm6b                          1/1     Running   0          58s
  calico-node-tdt8v                          1/1     Running   0          58s
  
  

• 等 Calico Pod 都 Running，节点也会准备就绪

  kubectl get nodes

部署 CoreDNS

在所有 node 节点上操作

• 上传 coredns.tar 到 /opt 目录中

  cd /opt

  docker load -i coredns.tar

在 master01 节点上操作

• 上传 coredns.yaml 文件到 /opt/k8s 目录中，部署 CoreDNS

  cd /opt/k8s

  kubectl apply -f coredns.yaml

• kubectl get pods -n kube-system

  NAME                          READY   STATUS    RESTARTS   AGE
  coredns-6954c77b9b-bt42p      1/1     Running   0          32s
  
  

• DNS 解析测试

  kubectl run -it --rm dns-test --image=busybox:1.28.4 sh

  If you don't see a command prompt, try pressing enter.
  / # nslookup kubernetes
  Server:    10.0.0.2
  Address 1: 10.0.0.2 kube-dns.kube-system.svc.cluster.local
  
  Name:      kubernetes
  Address 1: 10.0.0.1 kubernetes.default.svc.cluster.local