nginx+tomcat优化转载初步尝试流量项目

http://blog.csdn.net/jchou/article/details/9356251 FROM

最近作的项目,上线前进行了压力测试,测试过程中出现了很多问题,现将测试过程中遇到的问题汇总,供大家参考。

软件环境及服务器配置如下:

Linux rh6.3,Tomcat7.0.29,Nginx1.2.7

mysql5.1,jdk1.6.0

mysql5.1

memcached 1.4.15

Xeno 2*1.86GHz 2核CPU,8G内存

说明:环境采用2台前端服务器,上面安装NginxTomcatjdk2台缓存服务器,上面安装memcached ,一台mysql数据库。

 

Limux系统优化:

1、  修改可打开文件数和用户最多可开发进程数

命令:ulimit -n 655350

      ulimit –u 655350

可以通过ulimit –a查看参数设置,不设置时默认为1024,默认情况下,你会发现请求数到到一定数值后,再也上不去了。

2、  操作系统内核优化

net.ipv4.tcp_max_tw_buckets = 6000

timewait 的数量,默认是180000

 

net.ipv4.ip_local_port_range = 1024 65000

允许系统打开的端口范围。

 

net.ipv4.tcp_tw_recycle = 1

启用timewait 快速回收。

 

net.ipv4.tcp_tw_reuse = 1

开启重用。允许将TIME-WAIT sockets 重新用于新的TCP 连接。

 

net.ipv4.tcp_syncookies = 1

开启SYN Cookies,当出现SYN 等待队列溢出时,启用cookies 来处理。

 

net.core.somaxconn = 262144

web 应用中listen 函数的backlog 默认会给我们内核参数的net.core.somaxconn限制到128,而nginx 定义的NGX_LISTEN_BACKLOG 默认为511,所以有必要调整这个值。

 

net.core.netdev_max_backlog = 262144

每个网络接口接收数据包的速率比内核处理这些包的速率快时,允许送到队列的数据包的最大数目。

 

net.ipv4.tcp_max_orphans = 262144

系统中最多有多少个TCP套接字不被关联到任何一个用户文件句柄上。如果超过这个数字,孤儿连接将即刻被复位并打印出警告信息。这个限制仅仅是为了防止简单的DoS攻击,不能过分依靠它或者人为地减小这个值,更应该增加这个值(如果增加了内存之后)

 

net.ipv4.tcp_max_syn_backlog = 262144

记录的那些尚未收到客户端确认信息的连接请求的最大值。对于有128M内存的系统而言,缺省值是1024,小内存的系统则是128

 

net.ipv4.tcp_timestamps = 0

时间戳可以避免序列号的卷绕。一个1Gbps的链路肯定会遇到以前用过的序列号。时间戳能够让内核接受这种“异常”的数据包。这里需要将其关掉。

 

net.ipv4.tcp_synack_retries = 1

为了打开对端的连接,内核需要发送一个SYN 并附带一个回应前面一个SYNACK。也就是所谓三次握手中的第二次握手。这个设置决定了内核放弃连接之前发送SYN+ACK 包的数量。

 

net.ipv4.tcp_syn_retries = 1

在内核放弃建立连接之前发送SYN 包的数量。

 

net.ipv4.tcp_fin_timeout = 1

如果套接字由本端要求关闭,这个参数决定了它保持在FIN-WAIT-2状态的时间。对端可以出错并永远不关闭连接,甚至意外当机。缺省值是60 秒。2.2 内核的通常值是180秒,3你可以按这个设置,但要记住的是,即使你的机器是一个轻载的WEB 服务器,也有因为大量的死套接字而内存溢出的风险,FIN-WAIT-2 的危险性比FIN-WAIT-1 要小,因为它最多只能吃掉1.5K 内存,但是它们的生存期长些。

 

net.ipv4.tcp_keepalive_time = 30

keepalive 起用的时候,TCP 发送keepalive 消息的频度。缺省是2 小时

 

内核参数优化设置在/etc/sysctl.conf文件中。

 

Nginx系统优化:

1.  worker_processes 8;

nginx 进程数,建议按照cpu 数目来指定,一般为它的倍数 (,2个四核的cpu计为8)

2.  worker_cpu_affinity 00000001 0000001000000100 00001000 00010000 00100000 01000000 10000000;

为每个进程分配cpu,上例中将8 个进程分配到8 cpu,当然可以写多个,或者将一

个进程分配到多个cpu

3.  worker_rlimit_nofile 655350;

这个指令是指当一个nginx 进程打开的最多文件描述符数目,理论值应该是最多打开文

件数(ulimit -n)与nginx 进程数相除,但是nginx 分配请求并不是那么均匀,所以最好与ulimit -n的值保持一致。

 

4.  use epoll;

使用epoll I/O 模型

补充说明:

apache相类,nginx针对不同的操作系统,有不同的事件模型

     A)标准事件模型

     Selectpoll属于标准事件模型,如果当前系统不存在更有效的方法,nginx会选择selectpoll

     B)高效事件模型 

Kqueue:使用于 FreeBSD 4.1+, OpenBSD 2.9+, NetBSD2.0 MacOS X. 使用双处理器的MacOS X系统使用kqueue可能会造成内核崩溃。

Epoll: 使用于Linux内核2.6版本及以后的系统。

/dev/poll:使用于 Solaris 7 11/99+, HP/UX 11.22+(eventport), IRIX 6.5.15+ Tru64 UNIX 5.1A+

       Eventport:使用于 Solaris 10. 为了防止出现内核崩溃的问题,有必要安装安全补丁。

5.  worker_connections 655350;

每个进程允许的最多连接数,理论上每台nginx服务器的最大连接数为worker_processes*worker_connections

 

6.  keepalive_timeout 60;

keepalive 超时时间。

7.  client_header_buffer_size4k;

客户端请求头部的缓冲区大小,这个可以根据你的系统分页大小来设置,一般一个请求头的大小不会超过1k,不过由于一般系统分页都要大于1k,所以这里设置为分页大小。

分页大小可以用命令getconf PAGESIZE 取得。

[root@web001 ~]# getconf PAGESIZE

4096

 

但也有client_header_buffer_size超过4k的情况,但是client_header_buffer_size该值必须设置为“系统分页大小”的整倍数。

 

8.  open_file_cachemax=65535 inactive=60s;

这个将为打开文件指定缓存,默认是没有启用的,max 指定缓存数量,建议和打开文件数一致,inactive是指经过多长时间文件没被请求后删除缓存。

9.  open_file_cache_valid80s;

这个是指多长时间检查一次缓存的有效信息。

 

10.  open_file_cache_min_uses1;

open_file_cache 指令中的inactive参数时间内文件的最少使用次数,如果超过这个数字,文件描述符一直是在缓存中打开的,如上例,如果有一个文件在inactive时间内一次没被使用,它将被移除。

 

Tomcat优化:

1、  最大连接数最大线程等设置

修改server.xml

maxThreads:Tomcat使用线程来处理接收的每个请求。这个值表示Tomcat可创建的最大的线程数。

acceptCount:指定当所有可以使用的处理请求的线程数都被使用时,可以放到处理队列中的请求数,超过这个数的请求将不予处理。

connnectionTimeout:网络连接超时,单位:毫秒。设置为0表示永不超时,这样设置有隐患的。通常可设置为30000毫秒。

minSpareThreads:Tomcat初始化时创建的线程数。

maxSpareThreads:一旦创建的线程超过这个值,Tomcat就会关闭不再需要的socket线程

修改后示例:

 <Connector port="8082" protocol="HTTP/1.1"

                useBodyEncodingForURI="true" enableLookups="false" connectionTimeout="30000"

               maxConnections="2000" acceptCount="2000" maxThreads="1500"

               minSpareThreads="200" maxSpareThreads="1000" compression="on" compressionMinSize="2048"

               noCompressionUserAgents="gozilla, traviata" maxProcessors="1000" minProcessors="5" acceptorThreadCount="10" redirectPort="8443" />

2、  启动参数设置

修改/bin/catalina.sh,增加如下设置:

JAVA_OPTS='-Xms【初始化内存大小】 -Xmx【可以使用的最大内存】'

需要把这个两个参数值调大,大小的可以根据服务器内存的大小进行调整。例如:

JAVA_OPTS='-Xms1024m –Xmx2048m'

我们服务器是8G 内存,跑了3tomcat服务,给分配了2G的内存。

总结

经过优化后,在1000/秒动态请求,1200/秒静态请求时,2台服务器的cpu使用率在50%作用,内存使用大概在7G

Tomcat对动态请求处理,在优化后单tomcat处理能力也上不去,也就能到300多,不知道是什么原因。后来不得不增加tomcat数量,使用nginx作为负载,动态往多个tomcat分发请求。

另外,对于tomcat的日志和nginx日志,要定时分割,不然在压力大时,日志会增长迅速,增加资源消耗。

 部分内容来源于网络,由于看完后复制到纪事本中后期进行的汇总,没有原文链接了.

你可能感兴趣的:(nginx+tomcat优化转载初步尝试流量项目)