sealos 部署 kubernetes 高可用集群

sealos简介

sealos是一个纯golang开发的极简kubernetes高可用集群部署工具，一个二进制工具加一个资源包，不依赖haproxy keepalived ansible等重量级工具，一条命令就可实现kubernetes高可用集群构建，无论是单节点还是集群，单master还是多master，生产还是测试都能很好支持！简单不意味着阉割功能，照样能全量支持kubeadm所有配置。

支持99年证书，不用担心生产集群证书过期，ipvs负载多master可用性与稳定性更高，已经有上千用户在生产环境中使用sealos, 有超过上千台服务器生产环境中使用sealos。

底层架构：

官方网站：https://sealyun.com/

项目地址：https://github.com/fanux/sealos

部署kubernetes集群

准备节点清单，部署3个master节点1个worker节点：

节点名称	IP地址	OS版本	角色
node01	192.168.72.50	ubuntu 22.04 LTS	master
node02	192.168.72.51	ubuntu 22.04 LTS	master
node03	192.168.72.52	ubuntu 22.04 LTS	master
node04	192.168.72.53	ubuntu 22.04 LTS	worker

所有节点必须配置不同主机名

hostnamectl set-hostname xxx

所有节点时间同步

yum install -y chrony
systemctl enable --now chronyd  
timedatectl set-timezone Asia/Shanghai

第一个node节点安装sealos工具：

wget -c https://sealyun-home.oss-cn-beijing.aliyuncs.com/sealos-4.0/latest/sealos-amd64 -O sealos && \
    chmod +x sealos && mv sealos /usr/bin

第一个node节点执行以下命令部署kubernetes集群：

sealos run labring/kubernetes:v1.24.2 labring/calico:v3.22.1 \
     --masters 192.168.72.50,192.168.72.51,192.168.72.52 \
     --nodes 192.168.72.53 -p 123456

参数说明：

• labring/kubernetes:v1.24.2: dockerhub中的镜像，为kubernetes核心组件
• labring/calico:v3.22.1: dockerhub中的镜像，为kubernetes网络插件
• -p：为所有节点root密码

查看集群节点信息

root@node01:~# kubectl get nodes -o wide
NAME     STATUS   ROLES           AGE     VERSION   INTERNAL-IP     EXTERNAL-IP   OS-IMAGE           KERNEL-VERSION      CONTAINER-RUNTIME
node01   Ready    control-plane   4h27m   v1.24.2   192.168.72.50   <none>        Ubuntu 22.04 LTS   5.15.0-27-generic   containerd://1.6.2
node02   Ready    control-plane   4h26m   v1.24.2   192.168.72.51   <none>        Ubuntu 22.04 LTS   5.15.0-27-generic   containerd://1.6.2
node03   Ready    control-plane   4h25m   v1.24.2   192.168.72.52   <none>        Ubuntu 22.04 LTS   5.15.0-27-generic   containerd://1.6.2
node04   Ready    <none>          4h24m   v1.24.2   192.168.72.53   <none>        Ubuntu 22.04 LTS   5.15.0-27-generic   containerd://1.6.2

查看集群pods信息

root@node01:~# kubectl get pods -A
NAMESPACE         NAME                                       READY   STATUS    RESTARTS        AGE
calico-system     calico-kube-controllers-6b44b54755-9x2hb   1/1     Running   0               3m20s
calico-system     calico-node-bz6ff                          1/1     Running   0               3m20s
calico-system     calico-node-kwz5f                          1/1     Running   0               3m20s
calico-system     calico-node-sm52x                          1/1     Running   0               3m20s
calico-system     calico-node-svqkp                          1/1     Running   0               3m20s
calico-system     calico-typha-845987b4fc-7tv9p              1/1     Running   0               3m21s
calico-system     calico-typha-845987b4fc-xg5mx              1/1     Running   0               3m10s
kube-system       coredns-6d4b75cb6d-rx9fd                   1/1     Running   0               6m11s
kube-system       coredns-6d4b75cb6d-vsdcf                   1/1     Running   0               6m11s
kube-system       etcd-node01                                1/1     Running   0               6m25s
kube-system       etcd-node02                                1/1     Running   0               5m1s
kube-system       etcd-node03                                1/1     Running   0               4m
kube-system       kube-apiserver-node01                      1/1     Running   0               6m22s
kube-system       kube-apiserver-node02                      1/1     Running   0               4m59s
kube-system       kube-apiserver-node03                      1/1     Running   0               3m54s
kube-system       kube-controller-manager-node01             1/1     Running   1 (2m46s ago)   6m22s
kube-system       kube-controller-manager-node02             1/1     Running   0               4m5s
kube-system       kube-controller-manager-node03             1/1     Running   0               3m59s
kube-system       kube-proxy-6m2nw                           1/1     Running   0               3m39s
kube-system       kube-proxy-7ngqv                           1/1     Running   0               6m11s
kube-system       kube-proxy-dkqkz                           1/1     Running   0               5m12s
kube-system       kube-proxy-xvzh2                           1/1     Running   0               4m1s
kube-system       kube-scheduler-node01                      1/1     Running   1 (5m1s ago)    6m22s
kube-system       kube-scheduler-node02                      1/1     Running   1 (2m37s ago)   3m46s
kube-system       kube-scheduler-node03                      1/1     Running   0               3m56s
kube-system       kube-sealyun-lvscare-node04                1/1     Running   0               3m32s
tigera-operator   tigera-operator-d7957f5cc-wsndk            1/1     Running   1 (2m45s ago)   3m32s

其他常用命令

• sealos reset：清理集群
• sealos add：增加节点
• sealos delete：删除节点
• sealos save：保存离线镜像包
• sealos load：加载离线镜像包

sealos设计原理

本地负载就是在每个node节点上都启动一个负载均衡，上游就是三个master，负载方式有很多 ipvs envoy nginx等，我们最终使用内核ipvs。

使用ipvs可以在join之前先把ipvs规则建立好，再去join就可以join进去了，然后对规则进行守护即可。一旦apiserver不可访问了，会自动清理掉所有node上对应的ipvs规则， master恢复正常时添加回来。

有个细节是所有对apiserver进行访问都是通过域名，因为master上连接自己就行，node需要通过虚拟ip链接多个master，这个每个节点的kubelet与kube-proxy访问apiserver的地址是不一样的，而kubeadm又只能在配置文件中指定一个地址，所以使用一个域名但是每个节点解析不同。

在 worker 上起了一个lvscare的static pod去守护这个 ipvs, 一旦apiserver不可访问了，会自动清理掉所有node上对应的ipvs规则， master恢复正常时添加回来。所以在node上加了三个东西，可以直观的看到：

cat /etc/kubernetes/manifests   # 这下面增加了lvscare的static pod
ipvsadm -Ln                     # 可以看到创建的ipvs规则
cat /etc/hosts                  # 增加了虚拟IP的地址解析

在/etc/kubernetes/manifests/下面增加了lvscare的static pod

root@node04:~# cat /etc/kubernetes/manifests/kube-sealyun-lvscare.yaml 
apiVersion: v1
kind: Pod
metadata:
  creationTimestamp: null
  name: kube-sealyun-lvscare
  namespace: kube-system
spec:
  containers:
  - args:
    - care
    - --vs
    - 10.103.97.2:6443
    - --health-path
    - /healthz
    - --health-schem
    - https
    - --rs
    - 192.168.72.50:6443
    - --rs
    - 192.168.72.51:6443
    - --rs
    - 192.168.72.52:6443
    command:
    - /usr/bin/lvscare
    env:
    - name: LVSCARE_NODE_IP
      value: 192.168.72.53
    image: ghcr.io/labring/lvscare:v1.1.3-beta.7
    imagePullPolicy: IfNotPresent
    name: kube-sealyun-lvscare
    resources: {}
    securityContext:
      privileged: true
    volumeMounts:
    - mountPath: /lib/modules
      name: lib-modules
      readOnly: true
  hostNetwork: true
  volumes:
  - hostPath:
      path: /lib/modules
      type: ""
    name: lib-modules
status: {}

查看kube-system多创建出的负载均衡pod

# kubectl -n kube-system get pods -o wide | grep lvscare
kube-sealyun-lvscare-izj6ccgq3cou36gpcrkcyuz      1/1     Running   0          9m3s    192.168.0.174    izj6ccgq3cou36gpcrkcyuz   <none>           <none>

查看ipvs规则

yum install -y ipvsadm
ipvsadm -Ln

master示例

[root@iZj6ccgq3cou36gpcrkcyuZ ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  10.96.0.1:443 rr
  -> 192.168.0.171:6443           Masq    1      1          0         
  -> 192.168.0.172:6443           Masq    1      1          0         
  -> 192.168.0.173:6443           Masq    1      0          0         
TCP  10.96.0.10:53 rr
  -> 100.69.190.1:53              Masq    1      0          0         
  -> 100.84.118.130:53            Masq    1      0          0         
TCP  10.96.0.10:9153 rr
  -> 100.69.190.1:9153            Masq    1      0          0         
  -> 100.84.118.130:9153          Masq    1      0          0         
TCP  10.103.97.2:6443 rr
  -> 192.168.0.171:6443           Masq    1      1          0         
  -> 192.168.0.172:6443           Masq    1      1          0         
  -> 192.168.0.173:6443           Masq    1      0          0         
UDP  10.96.0.10:53 rr
  -> 100.69.190.1:53              Masq    1      0          0         
  -> 100.84.118.130:53            Masq    1      0          0

node示例

[root@iZj6ccgq3cou36gpcrkcytZ ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  10.96.0.1:443 rr
  -> 192.168.0.171:6443           Masq    1      2          0         
  -> 192.168.0.172:6443           Masq    1      2          0         
  -> 192.168.0.173:6443           Masq    1      0          0         
TCP  10.96.0.10:53 rr
  -> 100.69.190.1:53              Masq    1      0          0         
  -> 100.84.118.130:53            Masq    1      0          0         
TCP  10.96.0.10:9153 rr
  -> 100.69.190.1:9153            Masq    1      0          0         
  -> 100.84.118.130:9153          Masq    1      0          0         
UDP  10.96.0.10:53 rr
  -> 100.69.190.1:53              Masq    1      0          0         
  -> 100.84.118.130:53            Masq    1      0          0

查看/etc/hosts虚拟IP地址解析

每个master节点

# cat /etc/hosts
192.168.0.171   iZj6ccgq3cou36gpcrkcytZ iZj6ccgq3cou36gpcrkcytZ

192.168.0.171 apiserver.cluster.local

每个node节点

# cat /etc/hosts
192.168.0.172   iZj6ccgq3cou36gpcrkcyuZ iZj6ccgq3cou36gpcrkcyuZ

10.103.97.2 apiserver.cluster.local