k8s异常pod处理

自动处理：

灵活运用readinessProbe和livenessProbe探针，对于常规异常(如：服务没有响应，健康检查失败)做到自动处理，业务日志记录异常

• readinessProbe 主要是用来探测服务是否可用，如果不可用，从service流量负载中删除
• livenessProbe 探测容器是否健康，如果不健康则重启服务

人工介入

探针没有关注到的异常，可以通过监控告警，及时发现问题（如cpu负载过高等），人工介入。此时可以通过下面操作，完成流量切换和保留现场

修改异常pod的labels(对应于service的selector配置)，如：

kubectl -n test edit pod data-message-7974fdd4db-zh692

修改：

  labels:
    cluster: data-message

为

  labels:
    cluster: data-message-err

原理：k8s提供的service负载均衡是通过labels来选择同一个ns下的pod作为endpoints。手动更改异常pod label可以做到切除用户流量，并保留异常pod。同时k8s会自动起一个新的pod，补充刚刚剔除的异常pod