Kubernetes 从集群中移除一个节点（Node）
目录
- 1. 移除工作节点(Worker Node)
-
- 1.1 确定工作节点名称
- 1.2 驱逐工作节点上的Pod
- 1.3 删除工作节点
- 1.4 重置该工作节点
- 2. 移除控制平面节点(Control Plane Node)
-
- 2.1 确定控制平面节点名称
- 2.2 驱逐控制平面节点上的Pod
- 2.3 更新 etcd 集群
- 2.4 从集群中删除控制平面节点
- 2.5 重置移除的控制平面节点
- 3. 注意事项
Kubernetes 管理的一个重要方面是在必要时从集群中删除节点。无论是需要用新节点替换旧节点，还是节点变得无响应或出现故障，都必须遵循正确的过程以避免潜在的数据丢失或应用程序中断。
1. 移除工作节点(Worker Node)
移除工作节点较为简单；工作节点（Worker Node）又称为：子节点，从节点等。
1.1 确定工作节点名称
获取所有节点的名称，并确认要移除的节点（Node）
kubectl get nodes
1.2 驱逐工作节点上的Pod
使用 kubectl drain 命令驱逐节点上的 Pod：
kubectl drain <node-name> --ignore-daemonsets --delete-emptydir-data
参数说明：
--ignore-daemonsets：忽略 DaemonSet 管理的 Pod， DaemonSet 通常在每个节点上运行一个 Pod 副本，无法被迁移。--delete-emptydir-data：如果 Pod 使用 emptyDir 卷，此选项允许删除这些卷中的数据。旧版本的 k8s 为--delete-local-data。--force：强制删除。可能导致数据丢失，请谨慎使用。
排空（drain）过程：
- 将节点标记为不可调度（
Ready,SchedulingDisabled），防止新的 Pod 被调度到该节点。 - 逐个终止节点上的 Pod（除了 DaemonSet 的 Pod）。
- Kubernetes 调度器会在集群的其他节点上重新创建这些 Pod。
【注】如果是临时系统维护或者突然不想移除了，可以使用下面的命令，恢复节点的调度能力：
kubectl uncordon <node-name>
⚠️ 可能出现的异常：
不受常见控制器管理的 Pod，无法自动删除
例如直接手动创建的 Pod，当清空的时候无法调度到其他节点。
error: cannot delete Pods not managed by ReplicationController, ReplicaSet, Job, DaemonSet or
StatefulSet (use --force to override): sre/multi-container
这个时候就需要进行手动进行删除，或者使用 --force （不推荐）。
1.3 删除工作节点
从集群中删除节点。
kubectl delete node <node-name>
1.4 重置该工作节点
在被移除的控制平面节点中操作。
# 重置该节点，
kubeadm reset
kubeadm reset 命令用于将节点恢复到安装 kubeadm 之前的状态。这个命令会清除所有与 Kubernetes 相关的配置和数据。
执行过程如下：
- 停止并移除所有
Kubernetes相关的容器。 - 移除
/etc/kubernetes/目录中的所有配置文件。 - 移除
/var/lib/kubelet/ 目录中的内容。 - 移除
/var/lib/etcd目录（如果存在）。 - 删除
Kubernetes相关的系统服务配置（如kubelet.service）。
常用参数：
--force，-f: 即使出现错误也继续执行重置操作。
一般来说使用
kubeadm reset命令可以满足很多场景；但是如果使用了自定义的 CNI、iptables 规则以及IPVS 模式的 kube-proxy，可能还需要手动清理这些配置。
2. 移除控制平面节点(Control Plane Node)
移除控制平面节点（Control Plane Node）比较复杂，毕竟相当于是大脑；控制平面节点又称为主节点，从节点等。
移除主节点涉及更新控制平面组件配置，步骤如下：
2.1 确定控制平面节点名称
获取所有节点的名称，并确定要删除的控制平面节点名称。
kubectl get nodes
2.2 驱逐控制平面节点上的Pod
与工作节点类似，驱逐主节点上的Pod。
kubectl drain <master-node-name> --ignore-daemonsets --delete-emptydir-data
参数说明：
--ignore-daemonsets：忽略DaemonSet管理的Pod，简化驱逐过程，确保关键服务 Pod 在节点被驱逐时不会中断--delete-emptydir-data：如果 Pod 使用 emptyDir 卷，此选项允许删除这些卷中的数据。旧版本的 k8s 为--delete-local-data。
【注】如果是临时系统维护或者突然不想移除了，可以使用下面的命令，恢复节点的调度能力：
kubectl uncordon <master-node-name>
2.3 更新 etcd 集群
在其他任意一个控制平面节点中操作，如果是外置的则在相应的机器上操作。
【注】Look here! 如果该节点中包含 etcd，还需要确保更新 etcd 集群配置以移除该节点。如果不包含的话可以跳过此步。
下面的示例为任意控制平面节点中操作：
# 查看 etcd
kubectl get pods -n kube-system | grep etcd
# 登录集群的任意一个 ETCD Pod（通常位于其他控制平面节点）
kubectl exec -it etcd-master001 sh -n kube-system
# Pod 中设置登录 ETCD 的命令（临时设置别名，退出后失效）
export ETCDCTL_API=3
alias etcdctl='etcdctl --endpoints=https://127.0.0.1:2379 --cacert=/etc/kubernetes/pki/etcd/ca.crt --cert=/etc/kubernetes/pki/etcd/server.crt --key=/etc/kubernetes/pki/etcd/server.key'
# 查看集群节点列表
etcdctl member list
# 示例：
669bc6472fb13679, started, master1, https://192.168.1.19:2380, https://192.168.1.19:2379, false
959c93e3261aadcb, started, master2, https://192.168.1.20:2380, https://192.168.1.20:2379, false
ca5f1f6f780545ba, started, master3, https://192.168.1.23:2380, https://192.168.1.23:2379, false
# 删除master3节点
etcdctl member remove ca5f1f6f780545ba
如果没有在 etcd 中移除删除节点，可能会造成下面的问题：
- 集群不一致：etcd 集群将继续尝试与已经不存在的成员通信，可能导致性能下降。在做出决策时，etcd 仍会考虑这个不再活跃的成员，可能影响到达成共识的速度。
- 潜在的稳定性问题：如果不移除inactive成员，etcd集群可能无法正确管理其成员关系，导致稳定性问题。
- 扩展性受限：etcd 集群有成员数量限制。保留不活跃的成员会占用这个限额，影响未来添加新成员的能力。
- 错误日志和告警：系统可能会持续生成关于无法连接到已移除节点的错误日志和告警。
- 恢复和灾难恢复复杂化：在需要恢复 etcd 集群时，存在的无效成员可能会使过程变得更加复杂。
- 性能影响：etcd 可能会持续尝试与不存在的成员通信，浪费资源并可能影响整体性能。
【注】虽然短期内不移除 etcd 成员可能不会导致立即的故障，但长期来看，它可能会影响集群的健康、性能和可管理性。
2.4 从集群中删除控制平面节点
在其他控制平面节点中操作。
# 从集群中删除该 node 节点
kubectl delete node master3
2.5 重置移除的控制平面节点
在被移除的控制平面节点中操作。
# 重置该节点，
kubeadm reset
执行过程与移除工作节点一样，详细说明参考 1.4 重置该工作节点。
3. 注意事项
- 确保高可用性：移除主节点之前，确保集群有足够的高可用性，至少有一个以上的备用主节点；如果是移除工作节点，确保应用支持高可用，防止出现业务中断。
- 检查配置文件：根据安装方式（如 kubeadm、kops、kubespray 等），可能需要额外检查和更新配置文件，以保证节点的移除工作。
- 清理节点：在实际从物理或虚拟机中移除节点之前，清理节点上的Kubernetes配置和数据；如果服务器有快照的话，可以还原快照。
- 保持敬畏之心：如果是线上环境，还是要有一个敬畏之心，保障业务系统的可用性。
