Java 在K8s下实现优雅停机

前言

当我们实现滚动升级之前,务必要实现应用级别的优雅停机,否则滚动升级时,还是会影响到业务。所以,我们希望Java发版实现优雅停机。

1. Java 配置(开发侧)

1.1 加入依赖


    org.springframework.boot
    spring-boot-starter-web


    org.springframework.boot
    spring-boot-starter-actuator

1.2 配置SpringBoot应用

基于SpringBoot 2.3 +

默认情况下,SpringBoot的优雅停机(graceful)是关闭的,所以,需要将优雅停机配置打开。

在applicatoin.yaml中配置:

server:
  port: 8080
  # 开启优雅关闭,默认:IMMEDIATE,立即关闭
  shutdown: graceful

spring:
  lifecycle:
    # 配置优雅关闭宽限时间,即项目在30s都没处理完,则进行强制关闭
    timeout-per-shutdown-phase: 30s

management:
  server:
    address: 127.0.0.1
    port: 20000 #建议配置management.server.port端口与server.port外网暴露端口不一致
  # 开启shutdown endpoint
  endpoint:
    shutdown:
      enabled: true
  endpoints:
    web:
      base-path: /actuator
      exposure:
        # 暴露health、shutdown endpoint
        # http://127.0.0.1:20000/actuator/health进行健康检测
        include: health,shutdown    

这时我们只需要在发送停机请求告诉应用,即可优雅停机。发送指令为:

curl -X POST 127.0.0.1:20000/actuator/shutdown

注意:

20000是应用管理端口,保证actuator路径不能暴露给公网,以防止被攻击。

Springboot之Actuator的渗透测试和漏洞利用 - 广陌道人 - 博客园

1.3 MQ和定时任务升级处理

MQ:优雅升级由MQ重试机制保证,但要注意消息幂等处理。

定时任务:由于有的任务处理时间很长,如果按照接口形式处理优雅升级,可能会影响版本正常升级,****建议定时任务发版避开任务高峰期,同时发版期受影响的任务再执行一遍,但要注意任务幂等处理。**

2. k8s对应配置(运维侧)

2.1 配置preStop Hook钩子

preStop Hook 是一个发送到 Pod 中的容器特殊命令或 Http 请求。如果您的应用程序在接收 SIGTERM 时没有正常关闭,您可以使用 preStop Hook 来触发正常关闭。接收 SIGTERM 时大多数程序都会正常关闭,但如果您使用的是第三方代码或管理的系统无法控制,则 preStop Hook 是在不修改应用程序的情况下触发正常关闭的好方法。

ports:
  - containerPort: 8080
lifecycle:
  preStop:
    exec:
      command: [ "curl", "-X", "POST", "127.0.0.1:20000/actuator/shutdown" ]

2.2 适当延长terminationGracePeriodSeconds时间

在Deployment做滚动更新时,一旦有新版本的Pod启动,就会删除旧的Pod,一旦Kubernetes决定终止您的Pod,就会发生一系列事件,需要对多个对象(如 Endpoint、Ipvs/iptables、SLB)进行状态同步,并且这些同步操作是异步执行的。

Pod在删除的时候,大致的生命周期如图所示:


image.png

暂时无法在飞书文档外展示此内容

1. Pod状态变更

将Pod设置为Terminating状态,并从所有Service的 Endpoints列表中删除。此时,Pod停止获得新的流量,但在Pod中运行的容器不会受到影响,将会继续处理之前的请求;

2. 执行PreStop Hook

Pod删除时会触发PreStop Hook,PreStop Hook支持Bash脚本、TCP或HTTP请求;

3. 发送SIGTERM信号:

向Pod中的容器发送SIGTERM信号;

4. 等待指定的时间:

TerminationGracePeriodSeconds字段用于控制等待时间,默认值为30秒。该步骤与PreStop Hook同时执行,因此TerminationGracePeriodSeconds需要大于PreStop的时间,否则会出现PreStop未执行完毕,Pod就被Kill的情况;

5. 发送SIGKILL信号:

等待指定时间后,如果容器在优雅终止宽限期后仍在运行,则会发送SIGKILL信号并强制删除。与此同时,所有的Kubernetes对象也会被清除。

具体原因

上述 1、2、3、4步骤同时进行,因此有可能存在Pod收到SIGTERM信号并且停止工作后,还未从Endpoints中移除的情况。此时,请求从Slb转发到Pod中,而Pod已经停止工作,因此会出现服务中断。

解决方法

为Pod配置PreStop Hook,使Pod收到SIGTERM时Sleep一段时间而不是立刻停止工作,从而确保从SLB转发的流量还可以继续被Pod处理,同时需要配合修改最大宽限时间(TerminationGracePeriodSeconds)

最大宽限时间修改示例:

template:
  spec:
    terminationGracePeriodSeconds: 50

注意:TerminationGracePeriodSeconds 的时间要大于spring中配置的timeout-per-shutdown-phase时间

4. 测试

命令行里执行:

curl -X POST 127.0.0.1:20000/actuator/shutdown

应用日志:

2022-09-16 14:06:39.903,  INFO [,,],[Thread-24],  o.s.b.w.e.tomcat.GracefulShutdown -Commencing graceful shutdown. Waiting for active requests to complete
2022-09-16 14:06:39.909,  INFO [,,],[tomcat-shutdown],  o.s.b.w.e.tomcat.GracefulShutdown -Graceful shutdown complete
2022-09-16 14:06:39.911,  INFO [,,],[Thread-24],  o.apache.catalina.core.StandardService -Stopping service [Tomcat]
2022-09-16 14:06:39.916,  INFO [,,],[Thread-24],  o.a.c.c.C.[Tomcat-1].[localhost].[/] -Destroying Spring FrameworkServlet 'dispatcherServlet'
2022-09-16 14:06:39.974,  INFO [,,],[Thread-24],  o.s.b.w.e.tomcat.GracefulShutdown -Commencing graceful shutdown. Waiting for active requests to complete
2022-09-16 14:06:39.984,  INFO [,,],[tomcat-shutdown],  o.s.b.w.e.tomcat.GracefulShutdown -Graceful shutdown complete

你可能感兴趣的:(Java 在K8s下实现优雅停机)