HttpServletRequest getParameter()丢失问题

HttpServletRequest body无法多次读取 getParameter()丢失 application/x-www-form-urlencoded vs applicaiton/json

先说下背景:

实现了一个基础组件可以对所有的http请求进行拦截, 将请求header/parameter/body/response等进行打印输出。
这里最关键最不易处理的就是body的输出, 因为body里字符的传输是通过HttpServletRequest中的字节流getInputStream()获得的;而这个字节流在读取了一次之后就不复存在了。
比如使用了开源框架比如Spring某些环节已经拦截读取过输入流了,那在经过我们自定义的拦截器进行拦截打印body的时候,这个InputStream已经没有字节了...
实现思路也不难,就是自己继承实现HttpServletRequestWrapper,将body拷贝出来一份保存好,然后在Filter中链式传输即可。

1. 知识点准备

Content-Type

目前项目中表单传输基本是如下三类:

application/json
request body中放入json串即可,Spring Controller中入参使用@RequestBody标注;
application/x-www-form-urlencoded
request body中放入a=1&b=2&c=3类型queryString的key value字符串结构, Spring Controller中入参使用@RequestParam标注;
multipart/form-data
用于图片等流媒体上传,此类请求不打印body。

自定义Wrapper

将输入流备份到字节数组,并重写getReader() 和 getInputStream()

 public class BodyReaderHttpServletRequestWrapper extends HttpServletRequestWrapper {
     private final byte[] bodyCopier;
 
     public BodyReaderHttpServletRequestWrapper(HttpServletRequest request) throws IOException {
         super(request);   //Anchor1
         bodyCopier = StreamUtils.copyToByteArray(request.getInputStream());
     }
 
     @Override
     public BufferedReader getReader() throws IOException {
         return new BufferedReader(new InputStreamReader(this.getInputStream()));
     }
 
     @Override
     public ServletInputStream getInputStream() throws IOException{
         return new ServletInputStreamCopier(bodyCopier);
     }
 
     public byte[] getCopy() {
         return this.bodyCopier;
     }
 
     public String getBody() throws UnsupportedEncodingException {
         return new String(this.bodyCopier, GlobalConstants.ENCODE_UTF8);
     }
 }

自定义字节流

 public class ServletInputStreamCopier extends ServletInputStream {
     private ByteArrayInputStream bais;
     
     public ServletInputStreamCopier(byte[] in) {
         this.bais = new ByteArrayInputStream(in);
     }
     
     @Override
     public boolean isFinished() {
         return bais.available() == 0;
     }
     
     @Override
     public boolean isReady() {
         return true;
     }
     
     @Override
     public void setReadListener(ReadListener readListener) {
         throw new RuntimeException("Not implemented");
     }
     
     @Override
     public int read() throws IOException {
         return this.bais.read();
     }
 }

自定义过滤器Filter

将原本的ServletRequest通过装饰包装为自定义的Wrapper,然后通过过滤链传输,这样在拦截器打印多少次body,都不会造成后续读取数据为空了。

 public void doFilter(ServletRequest servletRequest, ServletResponse servletResponse, FilterChain chain) throws IOException,
        ServletException {

    httpRequest = new BodyReaderHttpServletRequestWrapper((HttpServletRequest) servletRequest);
    HttpServletResponse httpResponse = (HttpServletResponse) servletResponse;
    
    chain.doFilter(httpRequest, httpResponse);  
    ...
 }

2. 问题来了

HttpServletRequest getParameter()丢失问题_第1张图片
测试请求.PNG

一个Tomcat上部署的Web应用在使用该组件的时候,问题表象是x-www-form-urlencoded的请求一直进入不了controller中,查了一下是controller中方法的入参标注了 @RequestParam String username, 而这个username从request.getParameter("username")调试结果看确实是空的,最终导致Spring 的 Warning日志,所以进入不了Controller。

[o.s.w.s.m.s.DefaultHandlerExceptionResolver:189 ] - Handler execution resulted in exception: Required String parameter 'username' is not present

再次深入调试, 在IDE中添加了 request.getParameter("username")的监视点,在BodyReaderHttpServletRequestWrapper构造方法的Anchor1那行添加断点,每次运行到这里的时候监视点都可以返回正确的parameter值,而且请求也可以进入到controller中了,接口请求竟然没问题了?!
而妖异的事情是如果把Anchor1这个断点去掉,让程序直接运行,又抛出找不到parameter的警告异常也进不去controller了。

一开始确实被这个貌似“诡异”的问题给整蒙圈了,其实只要细心一点就会发现,加断点和不加断点的区别恰恰是你添加的那个监视点!!!
加上断点,在运行super()构造方法之前,先运行了request.getParameter()显示有值, 而不加断点,request.getPamameter没有机会运行,只是包装了request并复制了一把body字节数组,而这时 parameter空了!

3. 问题分析

这里有兴趣的话可以研究下request.getParameter()的具体实现,源码参考Tomcat的RequestFacade, Coyote框架及相关实现,本文这里不展开。经测试,
x-www-form-urlencoded请求在Filter中先运行request.getParameterMap() ,body的字节流随即被清空;若Filter中先运行构造方法将body复制到字节数组中,request.getParameterMap()的值同样没有值存在!

所以结论就是在这个场景下, request.getParameter() 和 body 是互斥的!!!

4. 问题解决

目前解决方案是通过在Filter中构造自定义Wrapper之前,先运行一下getParameterMap(),将参数Map从body中取出,这样后续的任何request.getParamter()都会有值,从而Spring controller的运行也不会有问题了。

public void doFilter(ServletRequest servletRequest, ServletResponse servletResponse, FilterChain chain) throws IOException,
        ServletException {

        HttpServletRequest httpRequest = (HttpServletRequest) servletRequest;
        String contentType = httpRequest.getContentType();

        if (contentType != null &&
                contentType.contains(HttpContentTypeEnum.APP_X_WWW_FORM_URLENCODE.getContentType())) {
            //如果是application/x-www-form-urlencoded, 参数值在request body中以 a=1&b=2&c=3...形式存在,
            //      若直接构造BodyReaderHttpServletRequestWrapper,在将流读取并存到copy字节数组里之后,
            //      httpRequest.getParameterMap()将返回空值!
            //      若运行一下 httpRequest.getParameterMap(), body中的流将为空! 所以两者是互斥的!
            httpRequest.getParameterMap();
        }


        httpRequest = new BodyReaderHttpServletRequestWrapper(httpRequest);
        HttpServletResponse httpResponse = (HttpServletResponse) servletResponse;

5. 题记

开始参考了Spring的ContentCachingRequestWrapper对parameter进行缓存。但是一来基础组件不想严重依赖Spring,二来这个Wrapper的使用同样会出现上述问题,需要定制。最终还是决定自己来写了。

6. 补充

记录一下圈里与朋友们的讨论细节,以持续抛砖引玉。

  1. 通过Inputstream的mark reset函数实现重复消费,在http这个场景下,默认是不支持的。有兴趣的同学可以继续挖掘一下。
  2. 上述实现方式与servlet-api技术标准是否有冲突, 翻阅了一下 servlet api specification,没有发现getInputStream与getParameter互相之间的描述。 Coyote底层具体是先读进buffer再封装到inputStream,两者到底是不是可以共存?作为保留问题,留待日后继续研究。

你可能感兴趣的:(HttpServletRequest getParameter()丢失问题)