Tomcat调优

Tomcat调优

TIPS

本文基于Tomcat 9.0编写，理论兼容Tomcat 8.x及更高版本。

本文来探讨Tomcat的调优。

Tomcat调优参数

主要调优参数

在做Tomcat的调优时，最重要是就是Connector（连接器）的调优了（少数情况下，也可能会配置Executor）

下面贴出一段server.xml中的配置：

<Executor name="tomcatThreadPool"
  namePrefix="catalina-exec-"
  maxThreads="150"
  minSpareThreads="4"/>

<Connector port="8080"
  protocol="HTTP/1.1"
  connectionTimeout="20000"
  redirectPort="8443"
  executor="tomcatThreadPool"/>
  
一个文件中可以有多个Connector以及多个Executor。

其中：

• Connector：负责接收客户端的请求以及向客户端回送响应的消息
• Executor：指定线程池，从而在多个Connector(主要)及其他组件之间共享

TIPS

对执行原理感兴趣的童鞋可以参阅下这篇文章，写得相当棒：https://blog.csdn.net/zzzgd_666/article/details/88740198 。由于本文重点在于“调优”，所以就不赘述了。

Connector常用属性

Connector负责接收客户端的请求以及向客户端回送响应的消息。Tomcat 9.0有三类Connector：

• HTTP/1.1（HTTP Connector）
• HTTP/2（HTTP2 Upgrade Protocol）（Tomcat 8.5引入）
• AJP（AJP Connector）

但不管哪种Connector，工作过程都是类似的：

• 每个请求都需要1个线程去处理
• 如果接收到的并发请求 > 当前处理请求的线程所能处理的数量，则创建其他线程去处理，直到达到maxThreads为止
• 如果线程数达到maxThreads设置的值后，依然接收到更多的请求，那么请求将会堆积在Connector创建的server socket中（即accept队列），直到达到acceptCount的值为止。如果堆积的请求数目达到acceptCount后，依然受到更多的请求，那么直接返回connection refused

常用属性如下：

TIPS

• 加粗的表示Tomcat调优常用的参数
• 这里只列出了Connector常用属性，要想阅读完整属性，可使用如下方式：
  • 方式一、访问 http://tomcat.apache.org/tomcat-9.0-doc/config/http.html ，将9.0修改为你的Tomcat版本即可，比如想看Tomcat 8的文档，可将9.0改为8.0；
  • 方式二、下载Tomcat并启动，访问 /docs/config/http.html 路径即可。例如：http://localhost:8080/docs/config/http.html

• minSpareThreads：始终保持运行状态的线程数，默认值10。即便超过了最大空闲时间（maxIdleTime），也不会被回收。如果配置了Executor，将忽略此属性

• maxThreads：Connector创建来处理请求的最大线程数，此参数决定了可以同时处理的请求的最大数量，默认200。如果配置了Executor，将忽略此属性。超过则放入请求队列中进行排队。

• maxConnections：Tomcat在任意时间接收和处理的最大连接数。当连接数达到maxConnections时，仍可基于acceptCount的配置接受连接，但并不会处理，直到Tomcat接收的连接数小于maxConnections。

  默认值与Connector使用的协议有关：

  • NIO的默认值是10000
  • APR的默认值是8192
  • BIO的默认值为maxThreads（如果配置了Executor，则默认值是Executor的maxThreads）
  • 在Windows下，APR/native的maxConnections值会自动调整为设置值以下最大的1024的整数倍；如设置为2000，则最大值实际是1024。如果设置为-1，则连接数不受限制。

• connectionTimeout：网络连接超时时间，单位毫秒，默认60000。设为0表示永不超时，一般不建议。除非将disableUploadTimeout设置为false，否则读取request body时也会使用该超时。

• acceptCount：当最大线程数（maxThreads）被使用完时，可以放入请求队列的队列长度，默认100。一旦队列满了，就会返回connection refused。因此，如果设置过大，后面进入的请求等待时间会很长；如果设置过小，后面进入的请求立马返回connection refused。一般可设置成和maxThreads相同，但具体还需根据自己的应用实际访问峰值和平均值来权衡。

• enableLookups：是否启用DNS查找功能。如果设为true，会用request.getRemoteHost()执行DNS lookup，从而返回远程客户端的主机名。设为false则跳过DNS lookup,并以字符串形式返回IP地址，从而提高性能，默认false，生产环境建议保持关闭。

• compression：是否开启GZIP压缩。取值off（禁用）、on（打开，压缩文本数据），force（强制压缩所有格式）、数字（表示数据量达到该值就GZIP传输）。

• port：指定Tomcat监听的端口

• protocol：为Connector设置使用什么协议处理入口流量，默认值 HTTP/1.1 ，使用此值的话，对于Tomcat 8及更高版本，会自动根据当前情况，使用基于NIOConnector或基于APR的Connector；对Tomcat 7及更低版本会自动根据情况使用基于BIO的Connector或基于APR的Connector。如果不想自动切换，也可人工指定协议（从Tomcat 8开始，一般无需人工设置）：

  // BIO，这种模式下，使用传统的I/O操作(即java.io包及其子包)，性能较差。
  protocol="org.apache.coyote.http11.Http11Protocol"
  
  // NIO，使用NIO操作(即java.nio包及其子包)，比传统I/O拥有更好的并发性能
  protocol="org.apache.coyote.http11.Http11NioProtocol"
  
  // NIO2，使用NIO2操作(NIO2是JDK 7引入的特性)，Tomcat 8引入
  protocol="org.apache.coyote.http11.Http11Nio2Protocol"
  
  // APR，使用APR操作。APR即Apache Portable Runtime，这是一个Apache HTTP服务器的支持库。你可以认为：此模式下，Tomcat将以JNI的形式调用 Apache HTTP服务器的核心动态链接库来处理文件读取或网络传输操作，从而提高Tomcat对静态文件的处理性能
  protocol="org.apache.coyote.http11.Http11AprProtocol"  
  

  下图展示了不同Connector之间的区别：

  

  TIPS

  图片来自 http://tomcat.apache.org/tomcat-9.0-doc/config/http.html#Connector_Comparison

• connectionUploadTimeout：指定上传时的超时。disableUploadTimeout需设置成false才有效

• disableUploadTimeout：设置为true，上传超时使用connectionTimeout，设置成false，上传超时使用connectionUploadTimeout。默认true

• redirectPort：表示安全通信（https）转发端口

• executor：指定executor名称。如果设置了此属性，则Connector将使用该Executor执行程序。如果不设置executor属性，则Connector将使用内部私有的Executor来提供线程池。该属性主要用来实现在多个Connector及其他组件之间共享线程池。

  TIPS

  压缩带来的好处是减少带宽，但缺点在于增加了服务器的CPU开销。就笔者个人的经验，很少直接用Tomcat的GZIP功能，更多使用NGINX的GZIP。

maxConnections、maxThreads、acceptCount之间的关系

我们把Tomcat想象成是一个餐厅，请求就像是去就餐的顾客。这个餐厅非常火爆，当处理不过来的时候，就会排号。

• acceptCount

  可以类比为餐厅的排号处能够容纳排号的最大数量，排号的数量不是无限制的，一旦达到上限，就说已经客满（直接返回connection refused）

• maxConnections
  可以类比为餐厅的大堂的餐桌数量，也就是可以就餐的桌数。

  • 如果当前连接数尚未达到maxConnection，说明还有空闲的餐桌，直接上桌即可。
  • 如果所有餐桌都已经坐满，但是排号人数尚未达到 acceptCount，那么就排个号，等着叫号（此时，尽管还能接受请求，但是不会处理你的请求，除非有桌子空闲了）
  • 如果取号的人数已经达到acceptCount，则取号失败，直接拒绝服务（直接返回connection refused）

• maxThreads
  可以类比为厨师的个数。厨师一开始只有10个（最少minSpareThreads个），如果发现忙不过来的时候，就会增加几个厨师，一致增加到maxThreads个厨师。如果还是不够，那就只能慢慢等着上菜了。这就像是你去吃饭，有时候上一道菜都吃完了，下一道菜还没有上。只不过，在计算机的世界，厨师的数量也不能无止境地增加下去。因为线程数目只要超过CPU核心数，就会存在CPU切换的开销，线程数越多，切换开销越大，所以说maxThreads设置也不能太大。

Executor常用属性

定义线程池，从而在多个Connector(主要)及其他组件之间共享。Executor必须实现org.apache.catalina.Executor接口。

常用属性如下：

TIPS

这里只列出了Connector常用属性，，要想阅读完整属性，可使用如下方式：

• 方式一、访问 http://tomcat.apache.org/tomcat-9.0-doc/config/executor.html ，将9.0修改为你的Tomcat版本即可，比如想看Tomcat 8的文档，可将9.0改为8.0
• 方式二、下载Tomcat并启动，访问 /docs/config/executor.html 路径即可。例如：http://localhost:8080/docs/config/executor.html

• className：Executor的实现类。必须实现org.apache.catalina.Executor接口。默认值为org.apache.catalina.core.StandardThreadExecutor
• name：Executor名称，必填且必须唯一
• threadPriority：指定线程的优先级，默认5（Thread.NORM_PRIORITY）
• daemon：是否为守护线程，默认true
• namePrefix：指定Executor创建的线程的名称前缀。线程名称格式为namePrefix+threadNumber
• maxThreads：活动线程的最大数量，默认200
• minSpareThreads：使用保持活动状态的最小线程数（空闲和活动），默认25
• maxIdleTime：线程最大空闲时间，单位毫秒，默认60000（1分钟）。达到该时间后就会把该线程关闭（当然如果当前活动线程数 < minSpareThreads不会关闭）
• maxQueueSize：拒绝执行之前可以排队等待执行的任务数量，默认Integer.MAX_VALUE
• prestartminSpareThreads：在启动Executor时是否就启动minSpareThreads个线程，默认false
• threadRenewalDelay：如果配置了ThreadLocalLeakPreventionListener，它将会通知Executor有关上下文停止的信息。一旦上下文停止后，线程池中的线程将会被更新。为了避免同时更新线程，可用此属性设置更新的延迟。默认1000，单位毫秒，如果设成负数，则线程不会被更新。

其他调优参数

Host

Host表示虚拟主机。

server.xml

<Host name="localhost" autoDeploy="true">
Host>            

这里只列出了Host的调优属性，，要想阅读完整属性，可使用如下方式：

• 方式一、访问 http://tomcat.apache.org/tomcat-9.0-doc/config/host.html ，将9.0修改为你的Tomcat版本即可，比如想看Tomcat 8的文档，可将9.0改为8.0
• 方式二、下载Tomcat并启动，访问 /docs/config/host.html 路径即可。例如：http://localhost:8080/docs/config/host.html

• autoDeploy：是否要让Tomcat周期性检查新的或更新了的Web应用程序。如果设为true，则Tomcat会定期检查appBase和xmlBase目录，并自动部署。默认true。由于autoDeploy=true时，会启用一个定时任务，如果没有“自动部署”的需求，可将其设为false。

Spring Boot/Spring Cloud项目支持的调优参数

server:
  # 等价于Connector.connectionTimeout
  connection-timeout: 60s
  tomcat:
    # 等价于Connector.acceptCount
    accept-count: 100
    # 等价于Connector.maxConnections
    max-connections: 10000
    # 等价于Connector.maxThreads
    max-threads: 200
    # 等价于Connector.minSpareThreads
    min-spare-threads: 10
  # TIPS：压缩带来的好处是减少带宽，但缺点在于增加了服务器的CPU开销。就笔者个人的经验，很少直接用Tomcat的GZIP功能，更多使用NGINX的GZIP。
  compression:
    # 是否开启GZIP，默认关闭
    enabled: false
    # 执行压缩所需的最小响应大小，默认2KB
    min-response-size: 2KB
    # 想要GZIP的格式，默认"text/html", "text/xml", "text/plain",
			"text/css", "text/javascript", "application/javascript", "application/json",
			"application/xml"
    mime-types: "text/html", "text/xml"

其他调优

Tomcat Session调优

一、JSP与Session

如果使用JSP的话，如果业务允许，考虑考虑加上以下内容：

<%@ page session="false" %>

高并发场景下，可能会导致内存溢出。

拓展阅读

一个内存溢出的问题定位过程：https://blog.csdn.net/zhangm3256/article/details/83197756

二、为Session设置合理的超时

超时时间不宜过长，否则也可能会造成内存上的压力。

• 对于传统Tomcat项目，只需在应用的 web.xml 中添加如下内容：

    
  <session-config>  
          <session-timeout>30session-timeout>  
  session-config> 
  

• 对于Spring Boot项目，通过如下配置设置Session即可。

  server:
    servlet:
      session:
        timeout: 30m
  

拓展阅读

其他设置Session超时时间的方法详见 https://www.iteye.com/blog/jiangshuiy-1843622