SpringBoot监控Tomcat活动线程数来判断是否完成请求处理方式

目录

• SpringBoot监控Tomcat活动线程数来判断是否完成请求处理
• 编码实现
• 测试
• Tomcat线程数占满而导致的线上事故
• 事故表现形式
• 排查过程
• 分析原因
• 解决办法
• 总结

SpringBoot监控Tomcat活动线程数来判断是否完成请求处理

最近项目中有一个需求，需要判断应用的请求是否已经处理完毕，想了一下，打算通过定时任务定时监控Tomcat的活动线程数来实现。

编码实现

新建一个SpringBoot工程，添加定时任务定时监控，代码如下：

import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.web.embedded.tomcat.TomcatWebServer;
import org.springframework.boot.web.servlet.context.ServletWebServerApplicationContext;
import org.springframework.scheduling.annotation.Scheduled;
import org.springframework.stereotype.Component;

@Component
public class TomcatMonitor {
    private Logger logger = LoggerFactory.getLogger(getClass());

    @Autowired
    ServletWebServerApplicationContext applicationContext;


    @Scheduled(cron = "*/1 * * * * ?")
    public void execute() {
        TomcatWebServer webServer = (TomcatWebServer) applicationContext.getWebServer();
        String tomcatInfo = webServer.getTomcat().getConnector().getProtocolHandler().getExecutor().toString();

        System.out.println("tomcatInfo: " + tomcatInfo);
    }

}

测试

新建一个测试请求类，代码如下：

import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;

import java.util.concurrent.TimeUnit;

@RestController
public class TestController {

    @RequestMapping("/test")
    public String test() {
        try {
            TimeUnit.SECONDS.sleep(2);
        } catch (InterruptedException e) {
            e.printStackTrace();
        }
        System.out.println("complete OK");
        return "OK";
    }

}

启动项目：

tomcatInfo: org.apache.tomcat.util.threads.ThreadPoolExecutor@49355b92[Running, pool size = 10, active threads = 0, queued tasks = 0, completed tasks = 0]
tomcatInfo: org.apache.tomcat.util.threads.ThreadPoolExecutor@49355b92[Running, pool size = 10, active threads = 0, queued tasks = 0, completed tasks = 0]

访问测试接口，观察Tomcat线程池变化：

tomcatInfo: org.apache.tomcat.util.threads.ThreadPoolExecutor@49355b92[Running, pool size = 10, active threads = 1, queued tasks = 0, completed tasks = 0]
complete OK
tomcatInfo: org.apache.tomcat.util.threads.ThreadPoolExecutor@49355b92[Running, pool size = 10, active threads = 0, queued tasks = 0, completed tasks = 2]

可以看到，当有请求处理时，Tomcat的活动线程数不为0，处理完成以后回归到0，所以可以通过活动线程数判断当前Tomcat是否有请求还在处理，当然，应用到实际业务中，还有需要完善的地方。

Tomcat线程数占满而导致的线上事故

事故表现形式

昨天下午4点多的时候，有同学反映说，某个服务响应时间过长，怀疑是负载均衡的问题。

排查过程

1，查看阿里云负载均衡表现正常，排除。

2，查看单台服务日志出现OOM，可以断定是服务出问题了。

分析原因

1，先重启服务。

2，下载 *.hprof 日志，用MAT分析结果如下图：

3，结果明显指示tomcat线程池满了，并指向了其中一个controller的外部请求。

4，结合代码分析是请求外部HTTP连接没有设置超时时间，导致大量请求堆积，tomcat线程池满了，造成OOM。

解决办法

1，HTTP请求使用连接池，设置超时响应时间

2，加上监控。

总结

以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。