kubernetes（k8s）二进制部署——etcd部署

一、 相关概述

1.1 k8s简介

• kubernetes，简称k8s，是Google在2014年开源的一个容器群集管理系统。
• k8s用于容器化应用程序的部署，扩展和管理。
• k8s提供了容器编排，资源调度，弹性伸缩，部署管理，服务发现等一系列功能。
• k8s的目标是让部署容器化应用简单高效。
  官方网站

1.2 k8s特性

• 自我修复
  在节点故障时重新启动失败的容器，替换和重新部署，保证预期的副本数量;杀死健康检查失败的容器，并且在未准备好之前不会处理客户端请求，确保线上服务不中断。
• 弹性伸缩
  使用命令、UI或者基于CPU使用情况自动快速扩容和缩容应用程序实例，保证应用业务高峰并发时的高可用性;业务低峰时回收资源，以最小成本运行服务。
• 自动部署和回滚
  K8S采用滚动更新策略更新应用，一次更新 一个Pod，而不是同时删除所有Pod,如果更新过程中出现问题，将回滚更改，确保升级不受影响业务。
• 服务发现和负载均衡
  K8S为多个容器提供一个统一访问入口(内部IP地址和一个DNS名称)，并且负载均衡关联的所有容器，使得用户无需考虑容器IP问题。
• 机密和配置管理
  管理机密数据和应用程序配置，而不需要把敏感数据暴露在镜像里，提高敏感数据安全性。并可以将一些常用的配置存储在K8S中，方便应用程序使用。
• 存储编排
  挂载外部存储系统，无论是来自本地存储，公有云(如AWS)，还是网络存储(如NFS、GlusterFS、 Ceph)都作为集群资源的一部分使用， 极大提高存储使用灵活性。
• 批处理
  提供一次性任务，定时任务；满足批量数据处理和分析的场景

1.3 k8s群集架构与组件

• 主节点（master）
  • kubectl
    管理员入口
  • Auth
    用于验证身份的组件
  • APL server
    中央枢纽，唯一有权控制其他所有组件的组件，各组件的协调者，提供接口服务，所有对象资源的增删改查和监听操作都交给APIServer处理后再提交给Etcd存储。
  • controller-manager
    管理器控制器，处理集群中常规后台任务，一个资源对应一个控制器，而controller-manager就是负责管理这些控制器的，确定资源的不同类型。
  • kube-scheduler
    根据调度算法计算节点资源，集群的统一入口，根据结果为新创建的Pod选择一个合适Node节点，可以任意部署可以部署在同一个节点上，也可以部署在不同的节点上。
  • etcd
    分布式键值存储系统，用于保存群集状态数据，比如Pod、Service等对象信息
• Node组件
  • kubelet
    kubelet是Master在Node节点上的Agent，管理本机运行容器的生命周期，比如创建容器、Pod挂载数据卷、下载secret、获取容器和节点状态等工作。kubelet将每个Pod转换成一组容器
  • kube-proxy
    在Node节点上实现Pod网络代理，维护网络规则和四层负载均衡工作
  • docker或rocket
    容器引擎，运行容器

1.4 k8s核心概念

• Pod
  • 最小部署单元
  • 一组容器的集合
  • 一个Pod中的容器共享网络命名空间
  • Pod是短暂的、
• Controllers
  • ReplicaSet：确保预期的Pod副本数量
  • Deployment：无状态应用部署
  • StatefulSet：有状态应用部署
  • DaemonSet：确保所有Node运行同一个Pod
  • Job：一次性任务
  • Cronjob：定时任务
• Service
  • 防止Pod失联
  • 定义一组Pod的访问策略
  • Lable：标签，附加到某个资源上，用于关联对象、查询和筛选
  • Namespaces：命名空间，将对象逻辑上隔离
  • Annotations：注释

1.5 k8s三种部署方式

• minikube
  Minikube是一个工具，可以在本地快速运行一个单点的Kubernetes，仅用于尝试Kubernetes或日常开发的用户使用
• kubeadm
  Kubeadm也是一个工具，提供kubeadm init 和kubeadm join，用于快速部署Kubernetes群集
• 二进制包
  推荐，从官方下载发行版的二进制包，手动部署每个组件，组成Kubernetes群集
  生产环境中使用kubeadm和二进制安装的比较多

二、模拟实验

主机名	IP	服务
master1	192.168.153.10/24	kube-apiserver kube-controller-manager kube-scheduler etcd
node1	192.168.150.30/24	etcd docker kubelet kube-proxyflannel
node2	192.168.150.40/24	etcd docker kubelet kube-proxyflannel

master节点

准备工作

[root@master1 ~]# mkdir k8s
[root@master1 ~]# cd k8s/
[root@master1 ~/k8s]# vim cfssl.sh          #此脚本用于下载证书制作工具
curl -L https://pkg.cfssl.org/R1.2/cfssl_linux-amd64 -o /usr/local/bin/cfssl
curl -L https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64 -o /usr/local/bin/cfssljson
curl -L https://pkg.cfssl.org/R1.2/cfssl-certinfo_linux-amd64 -o /usr/local/bin/cfssl-certinfo
chmod +x /usr/local/bin/cfssl /usr/local/bin/cfssljson /usr/local/bin/cfssl-certinfo

[root@master1 ~/k8s]# bash cfssl.sh           #执行该脚本

开始制作证书

[root@master1 ~/k8s]# mkdir etcd-cert
[root@master1 ~/k8s]# cd etcd-cert/
##定义ca证书
cat > ca-config.json <<EOF
{
  "signing": {
    "default": {
      "expiry": "87600h"
    },
    "profiles": {
      "www": {
         "expiry": "87600h",
         "usages": [
            "signing",
            "key encipherment",
            "server auth",
            "client auth"     
        ]
      }
    }
  }
}
EOF

##实现证书签名
cat > ca-csr.json <<EOF 
{   
    "CN": "etcd CA",
    "key": {
        "algo": "rsa",
        "size": 2048
    },
    "names": [
        {
            "C": "CN",
            "L": "Beijing",
            "ST": "Beijing"
        }
    ]
}
EOF

##生产证书，生成ca-key.pem  ca.pem
cfssl gencert -initca ca-csr.json | cfssljson -bare ca -

##指定etcd三个节点之间的通信验证
cat > server-csr.json <<EOF
{
    "CN": "etcd",
    "hosts": [
    "192.168.153.10",
    "192.168.153.30",
    "192.168.153.40"
    ],
    "key": {
        "algo": "rsa",
        "size": 2048
    },
    "names": [
        {
            "C": "CN",
            "L": "BeiJing",
            "ST": "BeiJing"
        }
    ]
}
EOF

##生成ETCD证书 server-key.pem   server.pem
cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=www server-csr.json | cfssljson -bare server

[root@master1 ~/k8s/etcd-cert]# cd ..
#拉入压缩包etcd-v3.3.10-linux-amd64.tar.gz 
[root@master1 ~/k8s]# tar zxvf etcd-v3.3.10-linux-amd64.tar.gz 
[root@master1 ~/k8s]# ls etcd-v3.3.10-linux-amd64

etcd-v3.3.10-linux-amd64.tar.gz

[root@master1 ~/k8s]# mkdir /opt/etcd/{cfg,bin,ssl} -p   #三个目录分别存放配置文件，命令文件，证书
[root@master1 ~/k8s]# mv etcd-v3.3.10-linux-amd64/etcd etcd-v3.3.10-linux-amd64/etcdctl /opt/etcd/bin/
[root@master1 ~/k8s]# ls /opt/etcd/bin/
etcd  etcdctl
[root@master1 ~/k8s]# cp etcd-cert/*.pem /opt/etcd/ssl/
[root@master1 ~/k8s]# ls /opt/etcd/ssl/
ca-key.pem  ca.pem  server-key.pem  server.pem

创建执行脚本

[root@master1 ~/k8s]# vim etcd.sh
#!/bin/bash
# example: ./etcd.sh etcd01 192.168.1.10 etcd02=https://192.168.1.11:2380,etcd03=https://192.168.1.12:2380

ETCD_NAME=$1
ETCD_IP=$2
ETCD_CLUSTER=$3

WORK_DIR=/opt/etcd

cat <<EOF >$WORK_DIR/cfg/etcd
#[Member]
ETCD_NAME="${ETCD_NAME}"
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
ETCD_LISTEN_PEER_URLS="https://${ETCD_IP}:2380"
ETCD_LISTEN_CLIENT_URLS="https://${ETCD_IP}:2379"

#[Clustering]
ETCD_INITIAL_ADVERTISE_PEER_URLS="https://${ETCD_IP}:2380"
ETCD_ADVERTISE_CLIENT_URLS="https://${ETCD_IP}:2379"
ETCD_INITIAL_CLUSTER="etcd01=https://${ETCD_IP}:2380,${ETCD_CLUSTER}"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
ETCD_INITIAL_CLUSTER_STATE="new"
EOF

cat <<EOF >/usr/lib/systemd/system/etcd.service
[Unit]
Description=Etcd Server
After=network.target
After=network-online.target
Wants=network-online.target

[Service]
Type=notify
EnvironmentFile=${WORK_DIR}/cfg/etcd
ExecStart=${WORK_DIR}/bin/etcd \
--name=\${ETCD_NAME} \
--data-dir=\${ETCD_DATA_DIR} \
--listen-peer-urls=\${ETCD_LISTEN_PEER_URLS} \
--listen-client-urls=\${ETCD_LISTEN_CLIENT_URLS},http://127.0.0.1:2379 \
--advertise-client-urls=\${ETCD_ADVERTISE_CLIENT_URLS} \
--initial-advertise-peer-urls=\${ETCD_INITIAL_ADVERTISE_PEER_URLS} \
--initial-cluster=\${ETCD_INITIAL_CLUSTER} \
--initial-cluster-token=\${ETCD_INITIAL_CLUSTER_TOKEN} \
--initial-cluster-state=new \
--cert-file=${WORK_DIR}/ssl/server.pem \
--key-file=${WORK_DIR}/ssl/server-key.pem \
--peer-cert-file=${WORK_DIR}/ssl/server.pem \
--peer-key-file=${WORK_DIR}/ssl/server-key.pem \
--trusted-ca-file=${WORK_DIR}/ssl/ca.pem \
--peer-trusted-ca-file=${WORK_DIR}/ssl/ca.pem
Restart=on-failure
LimitNOFILE=65536

[Install]
WantedBy=multi-user.target
EOF

systemctl daemon-reload
systemctl enable etcd
systemctl restart etcd

进入卡住状态等待其他节点加入

[root@localhost k8s]#  bash etcd.sh etcd01 192.168.153.10 etcd02=https://192.168.153.30:2380,etcd03=https://192.168.153.40:2380

打开一个新的终端，会发现etcd进程已经开启

[root@master1 ~]# ps -ef | grep etcd

拷贝证书去其他节点

[root@master1 ~]# scp -r /opt/etcd/ root@192.168.153.30:/opt/
[root@master1 ~]# scp -r /opt/etcd/ root@192.168.153.40:/opt/

启动脚本拷贝其他节点

[root@master1 ~]# scp /usr/lib/systemd/system/etcd.service  root@192.168.153.30:/usr/lib/systemd/system/
[root@master1 ~]# scp /usr/lib/systemd/system/etcd.service  root@192.168.153.40:/usr/lib/systemd/system/

node1节点

[root@node1 ~]# vim /opt/etcd/cfg/etcd

#[Member]
ETCD_NAME="etcd02"         #修改数据库名称
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
ETCD_LISTEN_PEER_URLS="https://192.168.153.30:2380"           #修改节点IP
ETCD_LISTEN_CLIENT_URLS="https://192.168.153.30:2379"         #修改节点IP

#[Clustering]
ETCD_INITIAL_ADVERTISE_PEER_URLS="https://192.168.153.30:2380"  #修改节点IP
ETCD_ADVERTISE_CLIENT_URLS="https://192.168.153.30:2379"        #修改节点IP
ETCD_INITIAL_CLUSTER="etcd01=https://192.168.153.10:2380,etcd02=https://192.168.153.30:2380,etcd03=https://192.168.153.40:2380"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
ETCD_INITIAL_CLUSTER_STATE="new"

[root@node1 ~]# systemctl stop firewalld.service 
[root@node1 ~]# setenforce 0
[root@node1 ~]# systemctl start etcd.service

node2节点

[root@node2 ~]# vim /opt/etcd/cfg/etcd

#[Member]
ETCD_NAME="etcd03"         #修改数据库名称
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
ETCD_LISTEN_PEER_URLS="https://192.168.153.40:2380"           #修改节点IP
ETCD_LISTEN_CLIENT_URLS="https://192.168.153.40:2379"         #修改节点IP

#[Clustering]
ETCD_INITIAL_ADVERTISE_PEER_URLS="https://192.168.153.40:2380"  #修改节点IP
ETCD_ADVERTISE_CLIENT_URLS="https://192.168.153.40:2379"        #修改节点IP
ETCD_INITIAL_CLUSTER="etcd01=https://192.168.153.10:2380,etcd02=https://192.168.153.30:2380,etcd03=https://192.168.153.40:2380"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
ETCD_INITIAL_CLUSTER_STATE="new"

[root@node2 ~]# systemctl stop firewalld.service 
[root@node2 ~]# setenforce 0
[root@node2 ~]# systemctl start etcd.service 

master节点

[root@master1 ~]# systemctl start etcd
[root@master1 ~]# systemctl enable etcd
[root@master1 ~]# systemctl status etcd
检查群集状态(需要在有证书的目录下使用此命令)
[root@master1 ~]# cd /opt/etcd/ssl
[root@master1 /opt/etcd/ssl]# /opt/etcd/bin/etcdctl --ca-file=ca.pem --cert-file=server.pem --key-file=server-key.pem --endpoints="https://192.168.153.10:2379,https://192.168.153.30:2379,https://192.168.153.40:2379" cluster-health