kubernetes集群管理系列讲座（三）使用kubeadm安装etcd集群

课程目标

• 使用kubeadm安装etcd集群
• 使用kubeadm创建etcd的证书

1. 使用kubeadm安装etcd集群

1.1. 环境

• 三个可以通过 2379 和 2380 端口相互通信的主机。本文档使用这些作为默认端口。不过，它们可以通过 kubeadm 的配置文件进行自定义。
• 一些可以用来在主机间复制文件的基础设施。例如 ssh 和 scp 就可以满足需求。

1.2. 安装所需的软件

• docker

  • 私有云点这里

  • AWS

    yum install docker
    

  注意：一定要把docker的cgroups的方式和kubelet的cgroup方式修改成一致的，否则会报错

  # Setup daemon.
  cat > /etc/docker/daemon.json <

• kubeadm，kubelet

  • 正常方式点这里
  • 国内环境点这里

1.3. 建立集群

• 将 kubelet 配置为 etcd 的服务管理器。由于 etcd 是首先创建的，因此必须通过创建具有更高优先级的新文件来覆盖 kubeadm 提供的 kubelet 单元文件。

  注意：不同的操作系统的systemd是略有区别的，主要配置文件的位置，可以使用

  cat << EOF > /usr/lib/systemd/system/kubelet.service.d/20-etcd-service-manager.conf
  [Service]
  ExecStart=
  #  Replace "systemd" with the cgroup driver of your container runtime. The default value in the kubelet is "cgroupfs".
  ExecStart=/usr/bin/kubelet --address=127.0.0.1 --pod-manifest-path=/etc/kubernetes/manifests --cgroup-driver=systemd
  Restart=always
  EOF
  systemctl daemon-reload
  systemctl restart kubelet
  

  注意：不同的操作系统的systemd是略有区别的，主要配置文件的位置，可以使用systemctl status kubelet来查看systemd文件的位置

• 为 kubeadm 创建配置文件，使用以下脚本为每个将要运行 etcd 成员的主机生成一个 kubeadm 配置文件

  # 使用 IP 或可解析的主机名替换 HOST0、HOST1 和 HOST2
  export HOST0=172.31.33.72
  export HOST1=172.31.32.70
  export HOST2=172.31.43.7
  
  # 创建临时目录来存储将被分发到其它主机上的文件
    mkdir -p /tmp/${HOST0}/ /tmp/${HOST1}/ /tmp/${HOST2}/
  
  ETCDHOSTS=(${HOST0} ${HOST1} ${HOST2})
  NAMES=("infra0" "infra1" "infra2")
  
  for i in "${!ETCDHOSTS[@]}"; do
  HOST=${ETCDHOSTS[$i]}
  NAME=${NAMES[$i]}
  cat << EOF > /tmp/${HOST}/kubeadmcfg.yaml
  apiVersion: "kubeadm.k8s.io/v1beta2"
  kind: ClusterConfiguration
  etcd:
      local:
          serverCertSANs:
          - "${HOST}"
          peerCertSANs:
          - "${HOST}"
          extraArgs:
              initial-cluster: infra0=https://${ETCDHOSTS[0]}:2380,infra1=https://${ETCDHOSTS[1]}:2380,infra2=https://${ETCDHOSTS[2]}:2380
              initial-cluster-state: new
              name: ${NAME}
              listen-peer-urls: https://${HOST}:2380
              listen-client-urls: https://${HOST}:2379
              advertise-client-urls: https://${HOST}:2379
              initial-advertise-peer-urls: https://${HOST}:2380
  EOF
  done
  

• 生成证书颁发机构CA

  • 如果已经拥有 CA，那么唯一的操作是复制 CA 的 crt 和 key 文件到 /etc/kubernetes/pki/etcd/ca.crt 和 /etc/kubernetes/pki/etcd/ca.key。复制完这些文件后继续下一步，“为每个成员创建证书”。

  • 如果还没有 CA，则在 $HOST0（您为 kubeadm 生成配置文件的位置）上运行此命令。

    kubeadm init phase certs etcd-ca
    

    创建了如下两个文件

    • /etc/kubernetes/pki/etcd/ca.crt
    • /etc/kubernetes/pki/etcd/ca.key

• 为每个成员创建证书

  kubeadm init phase certs etcd-server --config=/tmp/${HOST2}/kubeadmcfg.yaml
  kubeadm init phase certs etcd-peer --config=/tmp/${HOST2}/kubeadmcfg.yaml
  kubeadm init phase certs etcd-healthcheck-client --config=/tmp/${HOST2}/kubeadmcfg.yaml
  kubeadm init phase certs apiserver-etcd-client --config=/tmp/${HOST2}/kubeadmcfg.yaml
  cp -R /etc/kubernetes/pki /tmp/${HOST2}/
  # 清理不可重复使用的证书
  find /etc/kubernetes/pki -not -name ca.crt -not -name ca.key -type f -delete
  
  kubeadm init phase certs etcd-server --config=/tmp/${HOST1}/kubeadmcfg.yaml
  kubeadm init phase certs etcd-peer --config=/tmp/${HOST1}/kubeadmcfg.yaml
  kubeadm init phase certs etcd-healthcheck-client --config=/tmp/${HOST1}/kubeadmcfg.yaml
  kubeadm init phase certs apiserver-etcd-client --config=/tmp/${HOST1}/kubeadmcfg.yaml
  cp -R /etc/kubernetes/pki /tmp/${HOST1}/
  find /etc/kubernetes/pki -not -name ca.crt -not -name ca.key -type f -delete
  
  kubeadm init phase certs etcd-server --config=/tmp/${HOST0}/kubeadmcfg.yaml
  kubeadm init phase certs etcd-peer --config=/tmp/${HOST0}/kubeadmcfg.yaml
  kubeadm init phase certs etcd-healthcheck-client --config=/tmp/${HOST0}/kubeadmcfg.yaml
  kubeadm init phase certs apiserver-etcd-client --config=/tmp/${HOST0}/kubeadmcfg.yaml
  # 不需要移动 certs 因为它们是给 HOST0 使用的
  
  # 清理不应从此主机复制的证书
  find /tmp/${HOST2} -name ca.key -type f -delete
  find /tmp/${HOST1} -name ca.key -type f -delete
  

• 复制证书和 kubeadm 配置，证书已生成，现在必须将它们移动到对应的主机。

  USER=ec2-user
  HOST=${HOST1}
  scp -r /tmp/${HOST}/* ${USER}@${HOST}:
  ssh ${USER}@${HOST}
  USER@HOST $ sudo -Es
  root@HOST $ chown -R root:root pki
  root@HOST $ mv pki /etc/kubernetes/
  

• 确保已经所有预期的文件都存在

  $HOST0 所需文件的完整列表如下：

  /tmp/${HOST0}
  └── kubeadmcfg.yaml
  ---
    /etc/kubernetes/pki
  ├── apiserver-etcd-client.crt
  ├── apiserver-etcd-client.key
  └── etcd
      ├── ca.crt
      ├── ca.key
      ├── healthcheck-client.crt
      ├── healthcheck-client.key
      ├── peer.crt
      ├── peer.key
      ├── server.crt
      └── server.key
  

  在 $HOST1:

  $HOME
  └── kubeadmcfg.yaml
  ---
  /etc/kubernetes/pki
  ├── apiserver-etcd-client.crt
  ├── apiserver-etcd-client.key
  └── etcd
      ├── ca.crt
      ├── healthcheck-client.crt
      ├── healthcheck-client.key
      ├── peer.crt
      ├── peer.key
      ├── server.crt
      └── server.key
  

  在 $HOST2

  $HOME
  └── kubeadmcfg.yaml
  ---
  /etc/kubernetes/pki
  ├── apiserver-etcd-client.crt
  ├── apiserver-etcd-client.key
  └── etcd
      ├── ca.crt
      ├── healthcheck-client.crt
      ├── healthcheck-client.key
      ├── peer.crt
      ├── peer.key
      ├── server.crt
      └── server.key
  

• 创建静态 Pod 清单，既然证书和配置已经就绪，是时候去创建清单了。在每台主机上运行 kubeadm 命令来生成 etcd 使用的静态清单。

  root@HOST0 $ kubeadm init phase etcd local --config=/tmp/${HOST0}/kubeadmcfg.yaml
  root@HOST1 $ kubeadm init phase etcd local --config=/home/ec2-user/kubeadmcfg.yaml
  root@HOST2 $ kubeadm init phase etcd local --config=/home/ec2-user/kubeadmcfg.yaml
  

• 注意：修改/etc/kubernetes/manifests/etcd.yaml镜像地址

    image: registry.cn-hangzhou.aliyuncs.com/google_containers/etcd:3.4.3-0
  

• 注意：手动拉取pause镜像并修改tag

  docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/pause:3.2
  docker tag registry.cn-hangzhou.aliyuncs.com/google_containers/pause:3.2 k8s.gcr.io/pause:3.2
  

• 重新启动kubelet

  systemctl restart kubelet
  

• 检查群集运行状况

  ETCD_TAG=3.4.3-0
  docker run --rm -it \
  --net host \
  -v /etc/kubernetes:/etc/kubernetes registry.cn-hangzhou.aliyuncs.com/google_containers/etcd:${ETCD_TAG} etcdctl \
  --cert /etc/kubernetes/pki/etcd/peer.crt \
  --key /etc/kubernetes/pki/etcd/peer.key \
  --cacert /etc/kubernetes/pki/etcd/ca.crt \
  --endpoints https://${HOST0}:2379 endpoint health --cluster
  ...
  https://[HOST0 IP]:2379 is healthy: successfully committed proposal: took = 16.283339ms
  https://[HOST1 IP]:2379 is healthy: successfully committed proposal: took = 19.44402ms
  https://[HOST2 IP]:2379 is healthy: successfully committed proposal: took = 35.926451ms
  

  • 将 ${ETCD_TAG} 设置为你的 etcd 镜像的版本标签，例如 3.4.3-0。要查看 kubeadm 使用的 etcd 镜像和标签，请执行 kubeadm config images list --kubernetes-version ${K8S_VERSION}，其中 ${K8S_VERSION} 是 v1.17.0 作为例子。
  • 将 ${HOST0} 设置为要测试的主机的 IP 地址
    为了方便大家学习，请大家加我的微信，我会把大家加到微信群（微信群的二维码会经常变）和qq群821119334，问题答案云原生技术课堂，有问题可以一起讨论

• 个人微信
  640.jpeg

• 腾讯课堂
  640-20200506145837072.jpeg

• 微信公众号
  640-20200506145842007.jpeg

• 专题讲座

2020 CKA考试视频 真题讲解 https://www.bilibili.com/video/BV167411K7hp

2020 CKA考试指南 https://www.bilibili.com/video/BV1sa4y1479B/

2020年 5月CKA考试真题 https://mp.weixin.qq.com/s/W9V4cpYeBhodol6AYtbxIA