HttpServletRequest
body无法多次读取
getParameter()丢失
application/x-www-form-urlencoded vs applicaiton/json
先说下背景:
实现了一个基础组件可以对所有的http请求进行拦截, 将请求header/parameter/body/response等进行打印输出。
这里最关键最不易处理的就是body的输出, 因为body里字符的传输是通过HttpServletRequest中的字节流getInputStream()获得的;而这个字节流在读取了一次之后就不复存在了。
比如使用了开源框架比如Spring某些环节已经拦截读取过输入流了,那在经过我们自定义的拦截器进行拦截打印body的时候,这个InputStream已经没有字节了...
实现思路也不难,就是自己继承实现HttpServletRequestWrapper,将body拷贝出来一份保存好,然后在Filter中链式传输即可。
1. 知识点准备
Content-Type
目前项目中表单传输基本是如下三类:
application/json
request body中放入json串即可,Spring Controller中入参使用@RequestBody标注;
application/x-www-form-urlencoded
request body中放入a=1&b=2&c=3类型queryString的key value字符串结构, Spring Controller中入参使用@RequestParam标注;
multipart/form-data
用于图片等流媒体上传,此类请求不打印body。
自定义Wrapper
将输入流备份到字节数组,并重写getReader() 和 getInputStream()
public class BodyReaderHttpServletRequestWrapper extends HttpServletRequestWrapper {
private final byte[] bodyCopier;
public BodyReaderHttpServletRequestWrapper(HttpServletRequest request) throws IOException {
super(request); //Anchor1
bodyCopier = StreamUtils.copyToByteArray(request.getInputStream());
}
@Override
public BufferedReader getReader() throws IOException {
return new BufferedReader(new InputStreamReader(this.getInputStream()));
}
@Override
public ServletInputStream getInputStream() throws IOException{
return new ServletInputStreamCopier(bodyCopier);
}
public byte[] getCopy() {
return this.bodyCopier;
}
public String getBody() throws UnsupportedEncodingException {
return new String(this.bodyCopier, GlobalConstants.ENCODE_UTF8);
}
}
自定义字节流
public class ServletInputStreamCopier extends ServletInputStream {
private ByteArrayInputStream bais;
public ServletInputStreamCopier(byte[] in) {
this.bais = new ByteArrayInputStream(in);
}
@Override
public boolean isFinished() {
return bais.available() == 0;
}
@Override
public boolean isReady() {
return true;
}
@Override
public void setReadListener(ReadListener readListener) {
throw new RuntimeException("Not implemented");
}
@Override
public int read() throws IOException {
return this.bais.read();
}
}
自定义过滤器Filter
将原本的ServletRequest通过装饰包装为自定义的Wrapper,然后通过过滤链传输,这样在拦截器打印多少次body,都不会造成后续读取数据为空了。
public void doFilter(ServletRequest servletRequest, ServletResponse servletResponse, FilterChain chain) throws IOException,
ServletException {
httpRequest = new BodyReaderHttpServletRequestWrapper((HttpServletRequest) servletRequest);
HttpServletResponse httpResponse = (HttpServletResponse) servletResponse;
chain.doFilter(httpRequest, httpResponse);
...
}
2. 问题来了
一个Tomcat上部署的Web应用在使用该组件的时候,问题表象是x-www-form-urlencoded的请求一直进入不了controller中,查了一下是controller中方法的入参标注了 @RequestParam String username, 而这个username从request.getParameter("username")调试结果看确实是空的,最终导致Spring 的 Warning日志,所以进入不了Controller。
[o.s.w.s.m.s.DefaultHandlerExceptionResolver:189 ] - Handler execution resulted in exception: Required String parameter 'username' is not present
再次深入调试, 在IDE中添加了 request.getParameter("username")的监视点,在BodyReaderHttpServletRequestWrapper构造方法的Anchor1那行添加断点,每次运行到这里的时候监视点都可以返回正确的parameter值,而且请求也可以进入到controller中了,接口请求竟然没问题了?!
而妖异的事情是如果把Anchor1这个断点去掉,让程序直接运行,又抛出找不到parameter的警告异常也进不去controller了。
一开始确实被这个貌似“诡异”的问题给整蒙圈了,其实只要细心一点就会发现,加断点和不加断点的区别恰恰是你添加的那个监视点!!!
加上断点,在运行super()构造方法之前,先运行了request.getParameter()显示有值, 而不加断点,request.getPamameter没有机会运行,只是包装了request并复制了一把body字节数组,而这时 parameter空了!
3. 问题分析
这里有兴趣的话可以研究下request.getParameter()的具体实现,源码参考Tomcat的RequestFacade, Coyote框架及相关实现,本文这里不展开。经测试,
x-www-form-urlencoded请求在Filter中先运行request.getParameterMap() ,body的字节流随即被清空;若Filter中先运行构造方法将body复制到字节数组中,request.getParameterMap()的值同样没有值存在!
所以结论就是在这个场景下, request.getParameter() 和 body 是互斥的!!!
4. 问题解决
目前解决方案是通过在Filter中构造自定义Wrapper之前,先运行一下getParameterMap(),将参数Map从body中取出,这样后续的任何request.getParamter()都会有值,从而Spring controller的运行也不会有问题了。
public void doFilter(ServletRequest servletRequest, ServletResponse servletResponse, FilterChain chain) throws IOException,
ServletException {
HttpServletRequest httpRequest = (HttpServletRequest) servletRequest;
String contentType = httpRequest.getContentType();
if (contentType != null &&
contentType.contains(HttpContentTypeEnum.APP_X_WWW_FORM_URLENCODE.getContentType())) {
//如果是application/x-www-form-urlencoded, 参数值在request body中以 a=1&b=2&c=3...形式存在,
// 若直接构造BodyReaderHttpServletRequestWrapper,在将流读取并存到copy字节数组里之后,
// httpRequest.getParameterMap()将返回空值!
// 若运行一下 httpRequest.getParameterMap(), body中的流将为空! 所以两者是互斥的!
httpRequest.getParameterMap();
}
httpRequest = new BodyReaderHttpServletRequestWrapper(httpRequest);
HttpServletResponse httpResponse = (HttpServletResponse) servletResponse;
5. 题记
开始参考了Spring的ContentCachingRequestWrapper对parameter进行缓存。但是一来基础组件不想严重依赖Spring,二来这个Wrapper的使用同样会出现上述问题,需要定制。最终还是决定自己来写了。
6. 补充
记录一下圈里与朋友们的讨论细节,以持续抛砖引玉。
- 通过Inputstream的mark reset函数实现重复消费,在http这个场景下,默认是不支持的。有兴趣的同学可以继续挖掘一下。
- 上述实现方式与servlet-api技术标准是否有冲突, 翻阅了一下 servlet api specification,没有发现getInputStream与getParameter互相之间的描述。 Coyote底层具体是先读进buffer再封装到inputStream,两者到底是不是可以共存?作为保留问题,留待日后继续研究。