k8s初级实战07--配置 存活&就绪&启动探针

1 基础概念

Probe(探针) 是由 kubelet 对容器执行的定期诊断。 要执行诊断，kubelet 调用由容器实现的 Handler （处理程序）。有三种类型的处理程序：

1. ExecAction： 在容器内执行指定命令。如果命令退出时返回码为 0 则认为诊断成功。
2. TCPSocketAction： 对容器的 IP 地址上的指定端口执行 TCP 检查。如果端口打开，则诊断被认为是成功的。
3. HTTPGetAction： 对容器的 IP 地址上指定端口和路径执行 HTTP Get 请求。如果响应的状态码大于等于 200 且小于 400，则诊断被认为是成功的。

针对运行中的容器，kubelet 可以选择是否执行以下三种探针，以及如何针对探测结果作出反应。

1. kubelet 使用存活探测器来知道什么时候要重启容器。 例如，存活探测器可以捕捉到死锁（应用程序在运行，但是无法继续执行后面的步骤）。 这样的情况下重启容器有助于让应用程序在有问题的情况下更可用。
2. kubelet 使用就绪探测器可以知道容器什么时候准备好了并可以开始接受请求流量， 当一个 Pod 内的所有容器都准备好了，才能把这个 Pod 看作就绪了。 这种信号的一个用途就是控制哪个 Pod 作为 Service 的后端。 在 Pod 还没有准备好的时候，会从 Service 的负载均衡器中被剔除的。
3. kubelet 使用启动探测器可以知道应用程序容器什么时候启动了。 如果配置了这类探测器，就可以控制容器在启动成功后再进行存活性和就绪检查， 确保这些存活、就绪探测器不会影响应用程序的启动。 这可以用于对慢启动容器进行存活性检测，避免它们在启动运行之前就被杀掉。

2 常用方法

1. 定义存活命令(ExecAction)

   vim exec-liveness.yaml 
   apiVersion: v1
   kind: Pod
   metadata:
     labels:
       test: liveness
     name: liveness-exec
   spec:
     containers:
     - name: liveness
       image: busybox:1.31
       args:
       - /bin/sh
       - -c
       - touch /tmp/healthy; sleep 30; rm -rf /tmp/healthy; sleep 600
       livenessProbe:
         exec:
           command:
           - cat
           - /tmp/healthy
         initialDelaySeconds: 5
         periodSeconds: 5
   $ kubectl -n test-online apply -f exec-liveness.yaml 
   pod/liveness-exec created
   

   创建后，通过lens前端发现基本上每隔一分钟都会因为探针失败而重启一次。

2. 定义一个存活态 HTTP 请求接口

   vim  http-liveness.yaml 
   apiVersion: v1
   kind: Pod
   metadata:
     labels:
       test: liveness
     name: liveness-http
   spec:
     containers:
     - name: liveness
       image: k8s.gcr.io/liveness
       args:
       - /server
       livenessProbe:
         httpGet:
           path: /healthz
           port: 8080
           httpHeaders:
           - name: Custom-Header
             value: Awesome
         initialDelaySeconds: 3
         periodSeconds: 3
   
   该案例中healthz逻辑为：前10s返回200，随后返回500
   http.HandleFunc("/healthz", func(w http.ResponseWriter, r *http.Request) {
       duration := time.Now().Sub(started)
       if duration.Seconds() > 10 {
           w.WriteHeader(500)
           w.Write([]byte(fmt.Sprintf("error: %v", duration.Seconds())))
       } else {
           w.WriteHeader(200)
           w.Write([]byte("ok"))
       }
   })
   
   $ kubectl -n test-online apply -f http-liveness.yaml 
   pod/liveness-http created
   

   httpGet 探针中，任何大于或等于 200 并且小于 400 的返回代码标示成功，其它返回代码都标示失败。
   大于 10s 的时候，curl直接返回error：

   $ curl 10.244.2.99:8080/healthz
   error: 11.181814335
   

3. 定义 TCP 的存活探测

   vim tcp-liveness.yaml 
   apiVersion: v1
   kind: Pod
   metadata:
     name: tcp-liveness
     labels:
       app: tcp-liveness
   spec:
     containers:
     - name: tcp-liveness
       image: k8s.gcr.io/goproxy:0.1
       ports:
       - containerPort: 8080
       readinessProbe:
         tcpSocket:
           port: 8080
         initialDelaySeconds: 5
         periodSeconds: 10
       livenessProbe:
         tcpSocket:
           port: 8080
         initialDelaySeconds: 15
         periodSeconds: 20
   
   $ kubectl -n test-online apply -f tcp-liveness.yaml 
   pod/tcp-liveness created
   

   tcpSocket 类型的存活探测是使用 TCP 套接字，通过配置，kubelet 会尝试在指定端口和容器建立套接字链接。 如果能建立连接，这个容器就被看作是健康的，如果不能则这个容器就被看作是有问题的。
   容器启动5s后开始就绪检测，检测成功后标记为继续状态；
   容器启动15s后开始存活检测，检测失败就会重启容器。

4. 使用启动探测器保护慢启动容器
   实际中，为了防止存活探针误杀正在启动的容器，一般可以给容器配置一个启动探针，启动探针检测成功后才能继续执行存活检测。

   ports:
   - name: liveness-port
     containerPort: 8080
     hostPort: 8080
   
   livenessProbe:
     httpGet:
       path: /healthz
       port: liveness-port
     failureThreshold: 1
     periodSeconds: 10
   
   startupProbe:
     httpGet:
       path: /healthz
       port: liveness-port
     failureThreshold: 30
     periodSeconds: 10
   

   以上启动探针会每10s检测一次容器liveness-port，最多检测30次，若某次检测成功，则允许存活探针接管检测；若30次都没有检测成功，则重启容器。

3 注意事项

1. 就绪探测器在容器的整个生命周期中保持运行状态。

4 说明

概念->工作负载->Pods->Pod 的生命周期->容器状态
任务->配置 Pods 和容器->配置存活、就绪和启动探测器