前言
当我们实现滚动升级之前,务必要实现应用级别的优雅停机,否则滚动升级时,还是会影响到业务。所以,我们希望Java发版实现优雅停机。
1. Java 配置(开发侧)
1.1 加入依赖
org.springframework.boot
spring-boot-starter-web
org.springframework.boot
spring-boot-starter-actuator
1.2 配置SpringBoot应用
基于SpringBoot 2.3 +
默认情况下,SpringBoot的优雅停机(graceful)是关闭的,所以,需要将优雅停机配置打开。
在applicatoin.yaml中配置:
server:
port: 8080
# 开启优雅关闭,默认:IMMEDIATE,立即关闭
shutdown: graceful
spring:
lifecycle:
# 配置优雅关闭宽限时间,即项目在30s都没处理完,则进行强制关闭
timeout-per-shutdown-phase: 30s
management:
server:
address: 127.0.0.1
port: 20000 #建议配置management.server.port端口与server.port外网暴露端口不一致
# 开启shutdown endpoint
endpoint:
shutdown:
enabled: true
endpoints:
web:
base-path: /actuator
exposure:
# 暴露health、shutdown endpoint
# http://127.0.0.1:20000/actuator/health进行健康检测
include: health,shutdown
这时我们只需要在发送停机请求告诉应用,即可优雅停机。发送指令为:
curl -X POST 127.0.0.1:20000/actuator/shutdown
注意:
20000是应用管理端口,保证actuator路径不能暴露给公网,以防止被攻击。
Springboot之Actuator的渗透测试和漏洞利用 - 广陌道人 - 博客园
1.3 MQ和定时任务升级处理
MQ
:优雅升级由MQ重试机制保证,但要注意消息幂等处理。
定时任务:
由于有的任务处理时间很长,如果按照接口形式处理优雅升级,可能会影响版本正常升级,****建议定时任务发版避开任务高峰期,同时发版期受影响的任务再执行一遍,但要注意任务幂等处理。**
2. k8s对应配置(运维侧)
2.1 配置preStop Hook钩子
preStop Hook 是一个发送到 Pod 中的容器特殊命令或 Http 请求。如果您的应用程序在接收 SIGTERM 时没有正常关闭,您可以使用 preStop Hook 来触发正常关闭。接收 SIGTERM 时大多数程序都会正常关闭,但如果您使用的是第三方代码或管理的系统无法控制,则 preStop Hook 是在不修改应用程序的情况下触发正常关闭的好方法。
ports:
- containerPort: 8080
lifecycle:
preStop:
exec:
command: [ "curl", "-X", "POST", "127.0.0.1:20000/actuator/shutdown" ]
2.2 适当延长terminationGracePeriodSeconds时间
在Deployment做滚动更新时,一旦有新版本的Pod启动,就会删除旧的Pod,一旦Kubernetes决定终止您的Pod,就会发生一系列事件,需要对多个对象(如 Endpoint、Ipvs/iptables、SLB)进行状态同步,并且这些同步操作是异步执行的。
Pod在删除的时候,大致的生命周期如图所示:
暂时无法在飞书文档外展示此内容
1. Pod状态变更
将Pod设置为Terminating状态,并从所有Service的 Endpoints列表中删除。此时,Pod停止获得新的流量,但在Pod中运行的容器不会受到影响,将会继续处理之前的请求;
2. 执行PreStop Hook
Pod删除时会触发PreStop Hook,PreStop Hook支持Bash脚本、TCP或HTTP请求;
3. 发送SIGTERM信号:
向Pod中的容器发送SIGTERM信号;
4. 等待指定的时间:
TerminationGracePeriodSeconds字段用于控制等待时间,默认值为30秒。该步骤与PreStop Hook同时执行,因此TerminationGracePeriodSeconds需要大于PreStop的时间,否则会出现PreStop未执行完毕,Pod就被Kill的情况;
5. 发送SIGKILL信号:
等待指定时间后,如果容器在优雅终止宽限期后仍在运行,则会发送SIGKILL信号并强制删除。与此同时,所有的Kubernetes对象也会被清除。
具体原因
上述 1、2、3、4步骤同时进行,因此有可能存在Pod收到SIGTERM信号并且停止工作后,还未从Endpoints中移除的情况。此时,请求从Slb转发到Pod中,而Pod已经停止工作,因此会出现服务中断。
解决方法
为Pod配置PreStop Hook,使Pod收到SIGTERM时Sleep一段时间而不是立刻停止工作,从而确保从SLB转发的流量还可以继续被Pod处理,同时需要配合修改最大宽限时间(TerminationGracePeriodSeconds)
最大宽限时间修改示例:
template:
spec:
terminationGracePeriodSeconds: 50
注意:TerminationGracePeriodSeconds 的时间要大于spring中配置的timeout-per-shutdown-phase时间
4. 测试
命令行里执行:
curl -X POST 127.0.0.1:20000/actuator/shutdown
应用日志:
2022-09-16 14:06:39.903, INFO [,,],[Thread-24], o.s.b.w.e.tomcat.GracefulShutdown -Commencing graceful shutdown. Waiting for active requests to complete
2022-09-16 14:06:39.909, INFO [,,],[tomcat-shutdown], o.s.b.w.e.tomcat.GracefulShutdown -Graceful shutdown complete
2022-09-16 14:06:39.911, INFO [,,],[Thread-24], o.apache.catalina.core.StandardService -Stopping service [Tomcat]
2022-09-16 14:06:39.916, INFO [,,],[Thread-24], o.a.c.c.C.[Tomcat-1].[localhost].[/] -Destroying Spring FrameworkServlet 'dispatcherServlet'
2022-09-16 14:06:39.974, INFO [,,],[Thread-24], o.s.b.w.e.tomcat.GracefulShutdown -Commencing graceful shutdown. Waiting for active requests to complete
2022-09-16 14:06:39.984, INFO [,,],[tomcat-shutdown], o.s.b.w.e.tomcat.GracefulShutdown -Graceful shutdown complete