Kubernetes部署(一)-ETCD组件部署

一、Kubernetes概述

1、kubernetes概念

1）kubernetes是Google在2014年开源的一个容器群集管理系统，kubernetes简称k8s
2）k8s用于容器化应用程序的部署，扩展和管理
3）k8s提供了容器编排，资源调度，弹性伸缩，部署管理，服务发现等一系列功能
4）kubernetes目标是让部署容器化应用简单高效

官方网站：http://www.kubernetes.io

2、Kubernetes特点

1）自我修复
在节点故障时重新启动失败的容器，替换和重新部署，保证预期的副本数量：杀死健康检查失败的容器，并且在未准备好之前不会处理客户端请求，确保线上服务不中断。
2）弹性伸缩
使用命令、UI或者基于CPU使用情况自动快速扩容和缩容应用程序实例，保证应用业务高峰并发时的高可用性；业务低峰时回收资源，以最小成本运行服务。
3）自动部署和回滚
K8S采用滚动更新策略更新应用，一次更新一个Pod，而不是同时删除所有Pod，如果更新过程中出现问题，将回滚更改，确保业务升级不受影响。
4）服务发现和负载均衡
K8S为多个容器提供一个统一访问入口 (内部IP地址和一个DNS名称)，并且负载均衡关联的所有容器，使得用户无需考虑容器IP问题。
5）机密和配置管理
管理机密数据和应用程序配置，而不需要把敏感数据暴露在镜像里，提高敏感数据安全性。并可以将一些常用的配置存储在K8S中，方便应用程序使用。
6）存储编排
挂载外部存储系统，无论是来自本地存储，公有云(如AWS)，还是网络存储 (如NFS、GlusterFS、 Ceph)都作为集群资源的一部分使用，极大提高存储使用灵活性。
7）批处理
提供一次性任务，定时任务；满足批量数据处理和分析的场景。

3、Kubernetes集群架构与组件

master 组件
kube-apiserver
Kubernetes API,集群的统一入口， 各组件协调者，以RESTful API提供接口服务，所有对象资源的增删改查和监听操作都交给APIServer处理后再提交给Etcd存储。

kube-controller-manager
处理集群中常规后台任务，一个资源对应一个控制器，而ControllerManager就是负责管理这些控制器的。

kube-scheduler
根据调度算法为新创建的Pod选择一个Node节点，可以任意部署可以部署在同一个节点上，也可以部署在不同的节点上。

etcd
分布式键值存储系统，用于保存群集状态数据，比如Pod、Service等对象信息

Node组件
kubelet
kubelet是Master在Node节点上的Agent，管理本机运行容器的生命周期，比如创建容器、Pod挂载数据卷、下载secret、获取容器和节点状态等工作。kubelet将每个Pod转换成一组容器

kube-proxy
在Node节点上实现Pod网络代理，维护网络规则和四层负载均衡工作

docker或rocket
容器引擎，运行容器

4、Kubernetes核心概念

1）Pod
最小部署单元一组容器的集合一个Pod中的容器共享网络命名空间Pod是短暂的
2）Controllers
ReplicaSet: 确保预期的Pod副本数量Deployment : 无状态应用部署StatefulSet : 有状态应用部署DaemonSet : 确保所有Node运行同一个PodJob: 一次性任务Cronjob: 定时任务
更高级层次对象，部署和管理Pod
3）Service
防止Pod失联定义一组Pod的访问策略
4）Label
标签，附加到某个资源上，用于关联对象、查询和筛选
5）Namespaces
命名空间，将对象逻辑上隔离
6）Annotations
注释

5、k8s三种部署方式

1）minikube
Minikube是一个工具，可以在本地快速运行一个单点的Kubernetes，仅用于尝试Kubernetes或日常开发的用户使用
2）kubeadm
Kubeadm也是一个工具，提供kubeadm init 和kubeadm join，用于快速部署Kubernetes群集
3）二进制包
推荐，从官方下载发行版的二进制包，手动部署每个组件，组成Kubernetes群集
生产环境中使用kubeadm和二进制安装的比较多

6、自签SSL证书

组件	使用的证书
etcd	ca.pem,server.pem,server-key.pem
flannel	ca.pem,server.pem,server-key.pem
kube-apiserver	ca.pem,server.pem,server-key.pem
kubelet	ca.pem,ca-key.pem
kube-proxy	ca.pem,kube-proxy.pem,kube-proxy-key.pem
kubectl	ca.pem,admin.pem,admin-key.pem

二、Kubernetes单节点部署

实验环境：

Master:192.168.100.110/24	kube-apiserver kube-controller-manager kube-scheduler etcd
Node01:192.168.100.120/24	kubelet kube-proxy docker flannel etcd
Node02:192.168.100.130/24	kubelet kube-proxy docker flannel etcd

在master上操作

mkdir k8s
cd k8s/   #将脚本etcd-cert.sh和etcd.sh拖入
ls
mkdir etcd-cert
mv ercd-cert.sh etcd-cert

#下载证书制作工具
vim cfssl.sh
curl -L https://pkg.cfssl.org/R1.2/cfssl_linux-amd64 -o /usr/local/bin/cfssl
curl -L https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64 -o /usr/local/bin/cfssljson
curl -L https://pkg.cfssl.org/R1.2/cfssl-certinfo_linux-amd64 -o /usr/local/bin/cfssl-certinfo
chmod +x /usr/local/bin/cfssl /usr/local/bin/cfssljson /usr/local/bin/cfssl-certinfo
bash cfssl.sh

如果有证书制作工具的
cd /usr/local/bin/ #将cfssl、cfssl-certinfo、cfssljson拖入
chmod + /usr/local/bin/*

#开始制作证书
#cfssl 生成证书工具 cfssljson通过传入json文件生成证书 cfssl-certinfo查看证书信息

cd etcd-cert/

cat > ca-config.json <<EOF			#定义ca证书
{
  "signing": {
    "default": {
      "expiry": "87600h"
    },
    "profiles": {
      "www": {
         "expiry": "87600h",
         "usages": [
            "signing",
            "key encipherment",
            "server auth",
            "client auth"     
        ]  
      } 
    }         
  }
}
EOF 

cat > ca-csr.json <<EOF 			#实现证书签名
{   
    "CN": "etcd CA",
    "key": {
        "algo": "rsa",
        "size": 2048
    },
    "names": [
        {
            "C": "CN",
            "L": "Beijing",
            "ST": "Beijing"
        }
    ]
}
EOF

cfssl gencert -initca ca-csr.json | cfssljson -bare ca -     #生产证书，生成ca-key.pem  ca.pem

cat > server-csr.json <<EOF							#指定etcd三个节点之间的通信验证
{
    "CN": "etcd",
    "hosts": [
    "192.168.100.110",
    "192.168.100.120",
    "192.168.10.130"
    ],
    "key": {
        "algo": "rsa",
        "size": 2048
    },
    "names": [
        {
            "C": "CN",
            "L": "BeiJing",
            "ST": "BeiJing"
        }
    ]
}
EOF
cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=www server-csr.json | cfssljson -bare server    #生成ETCD证书 server-key.pem   server.pem

#源码安装etcd
cd k8s  #将etcd-v3.3.10-linux-amd64.tar.gz包拖入
[root@localhost k8s]# ls
etcd-cert  etcd.sh  etcd-v3.3.10-linux-amd64.tar.gz

tar zxvf etcd-v3.3.10-linux-amd64.tar.gz

mkdir /opt/etcd/{cfg,bin,ssl} -p 

cd etcd-v3.3.10-linux-amd64/

mv etcd etcdctl /opt/etcd/bin/	

cd etcd-cert/

ps *.pem /opt/etcd/ssl


bash etcd.sh etcd01 192.168.100.110 etcd02=https://192.168.100.1202380,etcd03=https://192.168.100.130:2380		#进入卡住状态等待其他节点加入

ps -ef | grep etcd				#使用另外一个会话打开，会发现etcd进程已经开启

#拷贝证书去其他节点
scp -r /opt/etcd/ root@192.168.100.120:/opt/
scp -r /opt/etcd/ root@192.168.100.130:/opt

#启动脚本拷贝其他节点
scp /usr/lib/systemd/system/etcd.service root@192.168.100.120:/usr/lib/systemd/system/
scp /usr/lib/systemd/system/etcd.service root@192.168.100.130:/usr/lib/systemd/system/	

在node01和node02节点修改

#node01
vim /opt/etcd/cfg/etcd
#[Member]
ETCD_NAME="etcd02"
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
ETCD_LISTEN_PEER_URLS="https://192.168.100.120:2380"					#ip地址修改对应的node节点
ETCD_LISTEN_CLIENT_URLS="https://192.168.100.120:2379"

#[Clustering]
ETCD_INITIAL_ADVERTISE_PEER_URLS="https://192.168.100.120:2380"  #ip地址修改对应的node节点
ETCD_ADVERTISE_CLIENT_URLS="https://192.168.100.120:2379"    #ip地址修改对应的node节点
ETCD_INITIAL_CLUSTER="etcd01=https://192.168.100.110:2380,etcd02=https://192.168.100.120:2380,etcd03=https://192.168.100.130:2380"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
ETCD_INITIAL_CLUSTER_STATE="new"

#node02
vim /opt/etcd/cfg/etcd
#[Member]
ETCD_NAME="etcd03"
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
ETCD_LISTEN_PEER_URLS="https://192.168.100.130:2380"					#ip地址修改对应的node节点
ETCD_LISTEN_CLIENT_URLS="https://192.168.100.130:2379"

#[Clustering]
ETCD_INITIAL_ADVERTISE_PEER_URLS="https://192.168.100.130:2380"  #ip地址修改对应的node节点
ETCD_ADVERTISE_CLIENT_URLS="https://192.168.100.130:2379"    #ip地址修改对应的node节点
ETCD_INITIAL_CLUSTER="etcd01=https://192.168.100.110:2380,etcd02=https://192.168.100.120:2380,etcd03=https://192.168.100.130:2380"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
ETCD_INITIAL_CLUSTER_STATE="new"

systemctl start etcd
systemctl enable etcd
systemctl status etcd

#检查群集状态，在master1上进行检查

#需要在有证书的目录下使用此命令
cd /opt/etcd/ssl

/opt/etcd/bin/etcdctl --ca-file=ca.pem --cert-file=server.pem --key-file=server-key.pem --endpoints="https://192.168.100.110:2379,https://192.168.100.120:2379,https://192.168.100.130:2379" cluster-health