2023.6.8-TS-yum update集群后奔溃故障(已解决)

2023.6.8-TS-yum update集群后奔溃故障(已解决)

1、故障背景

自己在安装falco软件时，使用yum update升级了系统后，就出现这个情况了。。。

2、报错现象

kubeclt无法查看pod

kubectl get po

E0608 09:38:49.094714    2268 memcache.go:265] couldn't get current server API group list: Get "https://172.29.9.31:6443/api?timeout=32s": dial tcp 172.29.9.31:6443: connect: connection refused

kubelt报错日志

[root@k8s-master1 manifests]#journalctl -xefu kubelet

kubelet状态：dead

[root@k8s-master1 manifests]#systemctl status kubelet

查看基础环境

查看selinux关闭的,swap分区也是关闭的,防火墙关闭的,运行的容器为空

找到问题

经过关键字查找,发现是更新之后k8s自动升级到了1.26版本,由于1.21版本之后弃用docker所以导致集群不可用

自己之前k8s版本：

[root@k8s-node1 ~]#rpm -qa|grep kubectl
kubectl-1.20.0-0.x86_64
[root@k8s-node1 ~]#rpm -qa|grep kubeadm
kubeadm-1.20.0-0.x86_64
[root@k8s-node1 ~]#rpm -qa|grep kubelet
kubelet-1.20.0-0.x86_64
[root@k8s-node1 ~]#

3、解决过程

重启集群（失败）

百度：降级安装k8s版本(成功)

将集群中所有节点降级（这里只操作k8s-master1节点）,把k8s相关服务降级到1.20版本，虽然官方说明1.21之后弃用docker但是，1.20还是可用的

此处为测试环境，生产环境建议严格按照官方要求

yum downgrade kubectl-1.20.0-0.x86_64 \
kubeadm-1.20.0-0.x86_64 \
kubelet-1.20.0-0.x86_64

• 重载服务，查看服务状态

• 安装完成后，经查询集群已全部恢复正常

• 重启k8s集群，再次观察现象

重启后，k8s集群依然是可以使用的。

此问题已解决。

附加：

• 这里也降级下k8s-master1节点的docker版本

但是在使用降级命令时，报错了，关闭docker服务时，还是报错了。

最后，只能先卸载当前版本docker，再重新安装老版本docker：

yum remove -y dockerce*

测试，发现都是ok的：

4、参考文章

https://www.xxapp.net/22171.html

5、总结

这幸好只是测试集群，可以进行随意测试，生产环境里特别要注意禁止使用yum update/upgrade命令！！！