二进制搭建k8s集群——部署多master

二进制搭建k8s集群——部署多master

架构说明：

• node节点的kubelet只能对接一个master节点的apiserver，不可能同时对接多个master节点的apiserver。简而言之，node节只能有一个master来领导。

• kubelet和kube-proxy是通过kubelet.kubeconfig和kube-proxy.kubeconfig文件中的server参数进行对接 master节点的。

• 所以在多master节点的环境下，需要有nginx负载均衡器来进行调度，而且需要进行keepalived高可用的构建(主从两个节点) ，防止主节点宕机导致整个k8s集群的不可用。

部署两台或者三台master都可以：

• 三台：多层保障、负载均衡（减轻每台master的压力）、选举机制选出leader。
• 两台：也可实现负载均衡，负载压力没那么大的情况下可选两台，同时考虑到成本。

部署master02 节点

master02：192.168.44.50

 ##------------ 1、 master01节点，拷贝文件到master02 -------------------------------
 #从 master01 节点上拷贝证书文件、各master组件的配置文件和服务管理文件到 master02 节点
 scp -r /opt/etcd/ [email protected]:/opt/
 scp -r /opt/kubernetes/ [email protected]:/opt/
 scp /usr/lib/systemd/system/{kube-apiserver,kube-controller-manager,kube-scheduler}.service [email protected]:/usr/lib/systemd/system/
 scp -r /root/.kube/  master02:/root/

 ##------------ 2、master02节点，修改配置文件并启动相关服务-------------------------------
  #修改配置文件kube-apiserver中的IP
 vim /opt/kubernetes/cfg/kube-apiserver
 KUBE_APISERVER_OPTS="--logtostderr=true \        #输出日志，false表示标准错误不输出到屏幕，而是输出到日志中。true表示标准错误会输出到屏幕。
 --v=4 \                                          #日志级别
 --etcd-servers=https://192.168.44.50:2379,https://192.168.44.30:2379,https://192.168.44.40:2379 \      #etcd节点的IP通信地址
 --bind-address=192.168.44.50 \              #修改，当前绑定的内网IP监听的地址
 --secure-port=6443 \                                                                #基于HPPTS开放端口
 --advertise-address=192.168.44.50 \         #修改，内网通告地址，让其他node节点地址通信
 ......

 #在 master02 节点上启动各服务并设置开机自启
 systemctl enable --now kube-apiserver.service
 systemctl enable --now kube-controller-manager.service
 systemctl enable --now kube-scheduler.service

 #将可执行文件，创建软链接
 ln -s /opt/kubernetes/bin/* /usr/local/bin/

 #查看node节点状态
 kubectl get nodes
 kubectl get nodes -o wide           #-o=wide：输出额外信息；对于Pod，将输出Pod所在的Node名
 #此时在master02节点查到的node节点状态仅是从etcd查询到的信息，而此时node节点实际上并未与master02节点建立通信连接，因此需要使用一个VIP把node节点与master节点都关联起来

部署负载均衡

配置load balancer集群双机热备负载均衡（nginx实现负载均衡，keepalived实现双机热备）。

load balancer01：192.168.44.60
load balancer01：192.168.44.70
VIP：192.168.44.200

在lb01、lb02节点上配置nginx和keepalived

#1、在lb01、lb02节点上配置nginx和keepalived
 #配置nginx的官方在线yum源，配置本地nginx的yum源
 cat > /etc/yum.repos.d/nginx.repo << 'EOF'
 [nginx]
 name=nginx repo
 baseurl=http://nginx.org/packages/centos/7/$basearch/
 gpgcheck=0
 EOF

 yum install nginx -y

 #修改nginx配置文件，配置四层反向代理负载均衡，指定k8s群集2台master的节点ip和6443端口
 vim /etc/nginx/nginx.conf
 events {
     worker_connections  1024;
 }

 #添加
 stream {
     log_format  main  '$remote_addr $upstream_addr - [$time_local] $status $upstream_bytes_sent';
     
     access_log  /var/log/nginx/k8s-access.log  main;

     upstream k8s-apiserver {
         server 192.168.44.20:6443;    #master01
         server 192.168.44.50:6443;    #master02
     }
     server {
         listen 6443;
         proxy_pass k8s-apiserver;
     }
 }

 http {
 ......


 #检查配置文件语法
 nginx -t   

 #启动nginx服务，查看已监听6443端口
 systemctl start nginx
 systemctl enable nginx
 netstat -natp | grep nginx 
 tcp        0      0 0.0.0.0:6443            0.0.0.0:*               LISTEN      2715/nginx: master
 tcp        0      0 0.0.0.0:80              0.0.0.0:*               LISTEN      2715/nginx: master

两台负载均衡器配置keepalived

 #部署keepalived服务
 yum install keepalived -y
 ​
 #修改keepalived配置文件
 vim /etc/keepalived/keepalived.conf
 ! Configuration File for keepalived
 ​
 global_defs {
    # 接收邮件地址
    notification_email {
      [email protected]
      [email protected]
      [email protected]
    }
    # 邮件发送地址
    notification_email_from [email protected]
    smtp_server 127.0.0.1    #修改为本机回环地址
    smtp_connect_timeout 30
    router_id LB01   #lb01节点的为LB01，lb02节点的为LB02
 }
 ​
 #添加一个周期性执行的脚本
 vrrp_script check_nginx {
     script "/etc/nginx/check_nginx.sh"  #指定检查nginx存活的脚本路径
 }
 ​
 vrrp_instance VI_1 {
     state MASTER            #lb01节点的为 MASTER，lb02节点的为 BACKUP
     interface ens33         #指定网卡名称 ens33
     virtual_router_id 51    #指定vrid，两个节点要一致
     priority 100            #设置优先级，lb01节点的为 100，lb02节点的为 90
     advert_int 1
     authentication {
         auth_type PASS
         auth_pass 1111
     }
     virtual_ipaddress {
         192.168.44.100/24   #指定 VIP，需要与之前证书中认证的地址一致
     }
     track_script {          #追踪脚本
         check_nginx         #指定vrrp_script配置的脚本
     }
 }
 ​
 ​
 #创建nginx状态检查脚本 
 vim /etc/nginx/check_nginx.sh
 #!/bin/bash
 #egrep -cv "grep|$$" 用于过滤掉包含grep 或者 $$ 表示的当前Shell进程ID
 count=$(ps -ef | grep nginx | egrep -cv "grep|$$")
 ​
 if [ "$count" -eq 0 ];then
     systemctl stop keepalived
 fi
 ​
 chmod +x /etc/nginx/check_nginx.sh  #为脚本增加执行权限
 ​
 #启动keepalived服务（一定要先启动了nginx服务，再启动keepalived服务）
 systemctl start keepalived
 systemctl enable keepalived
 ip addr             #查看主节点的VIP是否生成
 ​
 
 #---------------- 3、关闭主节点的nginx服务，模拟故障，测试keepalived-----------------------
 ​
 #关闭主节点lb01的Nginx服务，模拟宕机，观察VIP是否漂移到备节点
 systemctl stop nginx
 ip addr
 systemctl status keepalived   #此时keepalived被脚本杀掉了   
 ​
 #备节点查看是否生成了VIP
 ip addr    #此时VIP漂移到备节点lb02
 ​
 #恢复主节点
 systemctl start nginx         #先启动nginx
 systemctl start keepalived    #再启动keepalived
 ip addr

所有node节点修改配置文件

 #修改node节点上的bootstrap.kubeconfig,kubelet.kubeconfig配置文件为VIP
 cd /opt/kubernetes/cfg/
 vim bootstrap.kubeconfig 
 server: https://192.168.44.100:6443
                       
 vim kubelet.kubeconfig
 server: https://192.168.44.100:6443
                         
 vim kube-proxy.kubeconfig
 server: https://192.168.44.100:6443
 ​
 #重启kubelet和kube-proxy服务
 systemctl restart kubelet.service 
 systemctl restart kube-proxy.service
 ​
 #在lb01查看nginx的k8s日志
 tail /var/log/nginx/k8s-access.log
 ​
 #在 lb01 上查看 nginx 和 node 、 master 节点的连接状态
 netstat -natp | grep nginx

在 master01 节点测试创建pod

#测试创建pod
 kubectl run nginx --image=nginx
 ​
 #查看Pod的状态信息
 kubectl get pods
 
 #ContainerCreating，表示正在创建中
 ​
 kubectl get pods
         
 #Running，表示创建完成，运行中
 ​
 kubectl get pods -o wide   #-o wide：输出额外信息。对于Pod，将输出Pod所在的Node名
 
 #READY为1/1，表示这个Pod中有1个容器
 ​
 #在对应的node节点上操作，可以直接使用浏览器或者curl命令访问nginx服务
 curl 10.244.196.130    #访问Pod的IP地址
 ​
 #这时在master01节点上查看nginx日志，发现没有权限查看
 kubectl logs nginx   #并没有Pod的访问记录