生产问题排查系列——未知404状态接口请求

引言

我们的产品主打金融服务领域,以B端客户为我们的核心合作伙伴,然而,我们的服务最终将惠及C端消费者。在技术实现上,我们采用了公司自主研发的微服务框架,该框架基于SpringBoot,旨在提供高效、可靠的服务支持。

近期,客户在通过应用性能管理(APM)工具监控服务时提出了一个问题,他们发现存在持续的404请求。要求我们进行调查,确定服务的调用端。初步调查我们的服务并没有设置引发这些请求的相关接口。因此,我们怀疑可能是某些服务尝试访问框架自带的监控接口所致。

鉴于客户主要通过监控Spring MVC的请求响应来进行服务监控,我们需要深入源码,寻找具体的实现类,以便准确识别并解决问题。

问题排查过程

熟悉Spring MVC的开发者都了解,其请求转发的核心入口是DispatcherServlet.doDispatch方法。因此,首要步骤便是利用Arthas的watch命令对请求进行监控,以便检查进入该方法的参数。

watch org.apache.catalina.core.ApplicationDispatcher doDispatch '{params,returnObj,throwExp}'  -n 5  -x 3 

生产问题排查系列——未知404状态接口请求_第1张图片
在测试环境中进行服务排查时,我们发现接口请求的结果中包含了大量请求,这使得我们难以识别和查看特定的接口。为了解决这个问题,我们参考了Arthas官方文档,并了解到watch命令支持基于条件表达式的请求过滤功能。因此,我们编写了如下命令,以便对请求进行筛选,专注于查看我们关心的特定请求。

watch org.springframework.web.servlet.DispatcherServlet doDispatch '{params[0].request.getRemoteAddr()}'  'params[0].request.getRequestURI()=="/test"'

在这里插入图片描述
通过上述命名,我们可以观察到接口的实际请求IP地址为127.0.0.1。这是我在本地进行的模拟;在实际测试环境中,将显示实际的请求IP地址。

在确认了IP地址之后,我们便能够识别出与之对应的服务器上安装了哪些软件。进一步的调查发现,该服务器上部署了一个由我们公司自主研发的基于Nginx开发的转发服务。这个服务会定期发送"/"请求,以检测服务的活跃状态。

总结

在处理本次客户反馈的问题时,我们积累了以下宝贵经验:

  • 监控与排查:APM工具对于实时监控服务状态是至关重要的。它能够即时发现并提醒我们系统中的异常活动,如持续出现的404请求。

  • 熟悉框架:对使用的技术框架,如Spring MVC,需要有深入的了解。了解其请求转发机制和核心方法,能够帮助我们快速定位问题。

  • 工具使用:利用诊断工具如Arthas可以极大提高问题排查的效率。通过watch命令,我们可以根据自定义的条件表达式过滤和监控特定的请求,这对于查找问题源头非常有帮助。

  • 内部服务检查:定期检查和审计服务器上的服务及应用,特别是那些自主开发的服务,以确保它们的健康运行,避免非预期的行为影响系统稳定性。

  • 通讯协议理解:了解各种服务间如何通讯,例如基于HTTP的探活请求("/"请求),这有助于识别服务通信模式及其可能产生的影响。

综上所述,一个结构清晰的排查流程、对所用技术的深入理解以及有效的监控策略,都是确保服务稳定运行和快速响应问题的关键因素。

你可能感兴趣的:(Java,问题排查,java)