用nginx做grpc反向代理,nginx到后端server不能维持长连接问题

问题描述

公司内部容器平台,接入层用nginx做LB,用户有grpc协议需求,所以在lb层支持grcp反向代理,nginx从1.13开始支持grpc反向代理,将公司使用的nginx包从1.12升级到1.14.0后,增加grpc反向代理配置。配置完成后,打压力测试时,发现接入层机器端口占满而导致服务异常,开始追查问题。

追查方向

深入了解grpc协议

  • gRPC是一个高性能、通用的开源 RPC 框架,其由 Google 主要面向移动应用开发并基于HTTP/2协议标准而设计,基于ProtoBuf(Protocol Buffers) 序列化协议开发,且支持众多开发语言。gRPC 提供了一种简单的方法来精确地定义服务和为 iOS、Android 和后台支持服务自动生成可靠性很强的客户端功能库。客户端充分利用高级流和链接功能,从而有助于节省带宽、降低的 TCP 链接次数、节省 CPU 使用、和电池寿命。

从上述描述可以看出grpc基于http2,client到server应该保持长连接,理论上不应该出现端口占满的问题

抓包

  • client到接入层抓包看请求状态,发现client到接入层确实是长连接状态。接入层到后端server抓包发现,请求并没有保持长连接,一个请求处理完之后,链接就断开了。

查nginx跟长连接相关配置

  • nginx长连接相关说明参考以下文档:nginx长连接
  • nginx跟grpc长连接相关配置,发现在1.15.6版本引入了"grpc_socket_keepalive"跟grpc直接相关长连接配置

    Configures the “TCP keepalive” behavior for outgoing connections to a gRPC server. By default, the operating system’s settings are in effect for the socket. If the directive is set to the value “on”, the SO_KEEPALIVE socket option is turned on for the socket.

参考nginx长连接相关文档做了配置调整之后,发现nginx到server依然是短连接

将nginx升级到nginx1.15.6(升级过程中由于线上的nginx用到了lua模块,碰到了lua模块不适配问题,解决方案见链接lua模块适配问题)配置grpc_socket_keepalive on,抓包发现,会有少量处理多个请求的长连接存在,但大部分依然是短连接。

  • 开启nginx debug模式

从debug日志来看nginx确实尝试重用链接,但是从实际抓包看,nginx的链接重用的情况非常少,大部分都是请求处理完之后链接断开,怀疑nginx对grpc反向代理支持的不够理想。

调整端口回收策略

  • 回到问题本身,要解决的问题是接入层端口占满,各种调整nginx的长连接配置并不能解决这个问题,就尝试从tcp链接端口回收方面解决,大部分的tcp链接都处于TIME_WAIT状态。

  • TIME_WAIT状态的时间是2倍的MSL(linux里一个MSL为30s,是不可配置的),在TIME_WAIT状态TCP连接实际上已经断掉,但是该端口又不能被新的连接实例使用。这种情况一般都是程序中建立了大量的短连接,而操作系统中对使用端口数量做了限制最大能支持65535个,TIME_WAIT过多非常容易出现连接数占满的异常。对TIME_WATI的优化有两个系统参数可配置:tcp_tw_reuse,tcp_tw_recycle 这两个参数在网上都有详细介绍,这是就不展开来讲

  • tcp_tw_reuse参考链接

  • tcp_tw_recycle(Enable fast recycling TIME-WAIT sockets)参考链接

  • 测试来看,开启tcp_tw_reuse并没有解决端口被占满的问题,所以开启了更激进的tcp_tw_recycle,至此端口占用显著降低,问题解决,由于我们接入层并不是用的NAT,所以这个配置不会影响服务。

结论

  • 通过测试发现nginx对grpc的反向代理支持的不够理想,从nginx到后端server大部分请求不能保持长连接
  • 当用nginx做接入层反向代理时,对tcp参数调优可以避免端口占满等问题的发生

你可能感兴趣的:(用nginx做grpc反向代理,nginx到后端server不能维持长连接问题)