CentOS上Web服务器性能优化

http://www.centoscn.com/CentosSecurity/SoftSecurity/2014/0422/2840.html

一、 基于动态内容为主的网站优化案例

1．网站运行环境说明
硬件环境：1台IBM x3850服务器, 单个双核Xeon 3.0G CPU，2GB内存，3块72GB SCSI磁盘。
操作系统：CentOS5.4。
网站架构：Web应用是基于LAMP架构，所有服务都在一台服务器上部署。

2．性能问题现象及处理措施
现象描述：
网站在上午10点左右和下午3点左右访问高峰时，网页无法打开，重启服务后，网站能在一段时间内能正常服务，但过一会又变得响应缓慢，最后网页彻底无法打开。
检查配置：
首先检查系统资源状态，发现服务出现故障时系统负载极高，内存基本耗尽，接着检查Apache配置文件httpd.conf，发现“MaxClients”选项值被设置为2000，并且打开了Apache的KeepAlive特性。
处理措施：
根据上面的检查，初步判断是Apache的”MaxClients“选项配置不当引起的，因为系统内存仅有2GB大小，而“MaxClients”选项被 配置为2000，过多的用户访问进程耗尽了系统内存；然后，修改httpd.conf配置文件的“MaxClients”选项，将此值由2000降到 1500；继续观察发现，网站还是频繁宕机，于是又将“MaxClients”选项值降到1024，观察一段时间发现，网站服务宕机时间间隔加长了，不像 以前那么频繁，但是系统负载还是很高，网页访问速度极慢。

3．第一次分析优化
既然是由系统资源耗尽导致的网站服务失去响应，那么就深入分析系统资源的使用情况，通过uptime、vmstat、top、ps等命令的联合使用，得出如下结论：
系统平均负载很高，通过uptime输出的系统“load average”值都在10以上，而CPU资源也消耗严重，这是造成网站响应缓慢或长时间没有响应的主要原因，而导致系统资源消耗过高的主要依据是用户进程消耗资源严重。
原因分析
通过top命令发现，每个Apache子进程消耗将近6~8MB左右内存，这是不正常的。根据经验，在正常情况下每个Apache子进程消耗的内存在 1MB左右，结合Apache输出日志发现，网站首页访问频率最高，也就是说首页程序代码可能存在问题。于是检查首页的PHP代码，发现首页的页面非常 大，图片很多，并且由全动态的程序组成，这样每次用户访问首页都要多次查询数据库，而查询数据库是个非常耗费CPU资源的过程，并且首页PHP代码也没有 相应的缓存机制，每个用户请求都要重新进行数据库查询操作，数据库查询负荷有多高可想而知。
处理措施
修改首页PHP代码，缩减页面大小，并且对访问频繁的操作增加缓存机制，尽量减少程序对数据库的访问。

4．第二次分析优化
通过前面简单优化，系统服务宕机现象出现次数减少很多，但是在访问高峰时网站偶尔还会无法正常访问。这次仍然从分析系统资源使用状况入手，发现系统内存资源消耗过大，并且磁盘I/O有等待问题,于是得出如下结论：
原因分析
内存消耗过大，肯定是用户访问进程数过多导致的，在没有优化PHP代码之前，每个Apache子进程消耗6~8MB内存，如果设置Apache的最大用户 数为1024，那么内存耗尽是必然的，当物理内存耗尽时，虚拟内存就会启用，频繁地使用虚拟内存，肯定会出现磁盘I/O等待问题，最终导致CPU资源耗 尽。
处理措施
通过上面对PHP代码的优化，每个Apache子进程消耗的内存资源基本维持在1~2MB左右，因此修改Apache配置文件httpd.conf中 的”MaxClients”选项值为“600”，同时把Apache配置中的“KeepAlive”特性关闭，这样Apache进程数大量减少，基本维持 在500~600之间，虽然偶尔也会使用虚拟内存，但是Web服务正常了，服务宕机问题也很少出现了。

5．第三次分析优化
经过前两次的优化，网站基本运行正常，但是在访问高峰时偶尔还会出现站点无法访问得现象，继续进行问题分析，通过命令查看系统资源，发现仍是CPU资源耗尽导致的，但是与前两次又有所不同：
原因分析
通过观察后台日志，发现PHP程序有频繁访问数据库的操作，大量的SQL语句中有where, order by等子句；同时，数据库查询过多，大部分都是复杂查询，一般都需要遍历全表，而大量的表没有建立索引，这样的程序代码导致MySQL数据库负荷过高，而 MySQL数据库和Apache部署在同一台服务器上，这也是导致服务器消耗CPU资源过高的原因。
处理措施
优化程序中的SQL语句，增加where子句上的匹配条件，减少遍历全部的查询，同时在where和order by子句的字段上建立索引，并且增加程序缓存机制，通过这次优化，网站运行基本处于正常状态，再也没有出现宕机的现象。

6．第四次优化分析
通过前面三次优化以后，网站在程序代码、操作系统、Apache等方面的优化空间越来越小，要避免出现服务气宕机现象，并且保证网站稳定、高效、快速地运 行，可以从网站结构上进行优化，也就是将Web和数据库分离部署，可以增加一台专用的数据库服务器，单独部署MySQL数据库。随着访问量的增加，如果前 端无法满足访问请求，还可以增加多台Web服务器，Web服务器之间进行负载均衡部署，解决前端性能瓶颈；如果在数据库端还存在读写压力，还可以继续增加 一台MySQL服务器，将MySQL进行读写分离部署，这样一套高性能、高可靠的网站系统就构建起来了。

二、 基于动态、静态内容结合的网站优化案例

1．网站运行环境说明
硬件环境：两台IBM x3850服务器, 单个双核Xeon 3.0G CPU，4GB内存，3块72GB SCSI磁盘。
操作系统：CentOS5.4。
网站架构：Web应用是基于J2EE架构的电子商务应用，Web端应用服务器是Tomcat，采用MySQL数据库，Web和数据库独立部署在两台服务器上。

2．性能问题现象以及处理措施
现象描述
网站访问高峰时，网页无法打开，重启Java服务后，网站可以正常运行一段时间，但过一会又变得响应缓慢，最后网页彻底无法打开。
检查配置
首先检查系统资源状态，发现服务出现故障时系统负载极高，CPU满负荷运行，Java进程占用了系统99%的CPU资源，但内存资源占用不大；接着检查应 用服务器信息，发现只有一个Tomcat在运行Java程序；接着查看Tomcat配置文件server.xml，发现server.xml文件中的参数 都是默认配置，没有进行任何优化。
处理措施
server.xml文件的默认参数需要根据应用的特性进行适当的修改，例如可以修改“connectionTimeout“、 “maxKeepAliveRequests”、“maxProcessors”等几个Tmcat配置文件的参数，适当加大这几个参数值。修改参数值后， 继续观察发现，网站服务宕机时间间隔加长了，不像以前那么频繁，但是Java进程消耗CPU资源还是很严重，网页访问速度极慢。

3．第一次分析优化
既然Java进程消耗CPU资源严重，那么需要查看到底是什么导致Java消耗资源严重，通过lsof、netstat命令发现有大量的Java请求等待 信息，然后查看Tomcat日志，发现大量报错信息、日志提示和数据库连接超时，最终无法连接到数据库，同时，访问网站静态资源，也无法访问，于是得出如 下结论：
原因分析
Tomcat本身就是一个Java容器，是使用连接/线程模型处理业务请求的，主要用于处理Jsp、servlet等动态应用，虽然它也能当作HTTP服 务器，但是处理静态资源的效率很低，远远比不上Apache或Nginx。从前面观察到的现象分析，可以初步判断是Tomcat无法及时响应客户端的请 求，进而导致请求队列越来越多，直到Tomcat彻底崩溃。对于一个正常的访问请求来说，服务器接收到请求后，会把请求交给Tomcat去处 理，Tomcat接着执行编译、访问数据库等操作，然后把信息返回给客户端，客户端接收到信息后，Tomcat就关闭这个请求链接，这样一个完整的访问过 程就结束了。而在高并发访问状态下，很多的请求瞬间都交给Tomcat处理，这样Tomcat还没有完成第一个请求，第二个请求就来了，接着是第三个，等 等，这样越积越多，Tomcat最终失去响应， Java进程就会处于僵死状态，资源无法释放，这就是根本原因。
处理措施
要优化Tomcat性能，需要从结构上进行重构，首先，加入Apache支持，由Apache处理静态资源，由Tomcat处理动态请求，Apache服 务器和Tomcat服务器之间使用Mod_JK模块进行通信。使用Mod_JK模块的好处是：它可以定义详细的资源处理规则，根据动态、静态网站的特点， 将静态资源文件全部交给Apache处理，而动态请求通过Mod_JK模块传给Tomcat去处理，通过Apache+JK+Tomcat的整合，可以大 幅度提高Tomcat应用的性能。

4．第二次分析优化
经过前面的优化措施，Java资源偶尔会增高，但是一段时间后又会自动降低，这属于正常状态，而在高并发访问情况下，Java进程有时还会出现资源上升无法下降的情况，通过查看Tomcat日志，综合分析得出如下结论：
要获得更高、更稳定的性能，单一的Tomcat应用服务器有时会无法满足需求，因此要结合Mod_JK模块运行基于Tomcat的负载均衡系统，这样前端 由Apache负责用户请求的调度，后端又多个Tomcat负责动态应用的解析操作，通过将负载均分配给多个Tomcat服务器，网站的整体性能会有一个 质的提升。

一、几种典型应用对系统资源使用的特点

1.1 以静态内容为主的Web应用

这 类应用的一个主要特点是小文件居多，并且读操作频繁，Web服务器一般为Apache或Nginx，因为这两个HTTP服务器对静态资源的处理非常迅速和 高效。在Web访问量不大时，可以直接对外提供服务，但是在有很大并发请求时，单一的Web服务无法支撑大量的客户端访问，此时就需要由多台Web服务器 组成的负载集群系统。为了实现更高效的访问，在最前端还可以搭建Cache服务器，也就是将静态资源文件缓存到操作系统内存中直接进行读操作，因为直接从 内存读取数据要比从硬盘读数据效率高很多，所以在Web前端搭建Cache服务器可以大大提高并发访问性能。常用的Cache软件有Squid、 Varinsh等。
Cache服务器虽然可以提高访问性能，但要求服务器有很大的内存，当系统内存充足时，可以缓解磁盘随机读的压力；当内存过小或者内存不足时，系统就会使用虚拟内存，而虚拟内存的使用会引起磁盘I/O的增大，当磁盘I/O增大时，CPU的开销也随之增加。
在高并发访问时，还存在另外一个问题，就是网络带宽瓶颈，如果客户端访问量很大且带宽不够，就会阻塞网络，影响访问，因此，在构建基于Web的网络应用时，网络带宽也是必须考虑的一个因素。

1.2 以动态内容为主的Web应用

这 类应用的一个特点是频繁地执行写操作，例如Java、PHP、Perl、CGI等，会导致CPU资源消耗严重。因为动态程序的执行要进行编译、读取数据库 等操作，而这些操作都会消耗CPU资源，因此，一个基于动态程序的Web应用，应该选择多个性能较高的CPU，这将对系统整体性能的提高有很大帮助。
基 于动态内容的Web应用在高并发访问时，系统执行的进程数会很多，因此要注意负载的分配。由于过多的进程会消耗大量系统内存，如果内存不足，就会使用虚拟 内存，而虚拟内存的增加会导致磁盘写操作频繁，进而消耗CPU资源，因此要寻求一个硬件资源和软件资源的平衡点，例如配置较大的内存和高性能的CPU，而 在软件方面可通过如Memcached加快程序与数据库之间的访问效率。

1.3 数据库应用

数 据库应用的一个主要特点是消耗内存和磁盘I/O，而对CPU的消耗并不是很大，因此最基本的做法就是为数据库服务器配置较大的内存和读写较快的磁盘阵列， 例如，可以为数据库服务器的磁盘选择RAID5、RAID01等RAID级别。将Web Server与DB Server分离也是优化数据库应用的一个常用做法。如果客户端用户对数据库的请求过大，还可以考虑采取数据库的负载均衡方案，通过软件负载均衡或硬件负 载均衡的方式提高数据库访问性能。
对 于数据库中过大的表，可以考虑进行拆分，也就是将一个大表拆分成多个小表，再通过索引进行关联处理，这样可以避免查询大表造成的性能问题，因为表太大时， 查询遍历全表会造成磁盘读操作激增，进而出现读操作等待的情况。同时，数据库中查询语句复杂，大量的where子句，order by、group by排序语句等，容易使CPU出现瓶颈。最后，当数据更新时，数据更新量大或更新频繁，也会造成磁盘写操作激增，出现写操作的瓶颈。这些也应该在程序代码 中避免。
在 日常应用中，还有一种方法可以显著提高数据库服务器的性能，那就是读写分离。 同时对数据库进行读和写的操作，是效率极低的一种访问方式，较好的做法是根据读、写的压力和需求，分别建立两台结构完全相同的数据库服务器，将负责写的台 服务器上的数据，定时复制给负责读的服务器，通过读写的协作提高系统整体性能。
通 过缓存方式也可以提高数据库的性能， 缓存是数据库或对象在内存中的临时容器，使用缓存可大幅减少数据库的读取操作，改由内存来提供数据。比如可以在 Web Server和DB Server之间增加一层数据缓存层，在系统内存中建立被频繁请求对象的副本，这样一来，不访问数据库也可为程序提供数据，现在应用很广泛的 Memcached就是基于这个原理。

1.4 软件下载应用
静 态资源下载服务器的主要特点是带宽消耗严重，同时对存储性能要求也很高，在下载量极高时，可以采用多台、多点服务器分流形式分担下载负荷，在HTTP服务 器方面，从高性能角度和减少服务器部署的角度考虑，推荐采用Lighttpd HTTP服务器，而不是采用传统的Apache服务器，原因是Apache使用阻塞模式的I/O操作，性能相对较差，并发能力有限，而Lighttpd使 用异步I/O方式，处理资源下载的并发能力远远超过Apache。

1.5 流媒体服务应用
流媒体主要应用在视频会议、视频点播、远程教育、在线直播等方面，这类应用主要的性能瓶颈是网络带宽和存储系统带宽（主要是读操作），面对海量用户，如何保障用户接收到高清晰的、流畅的画面，如何最大限度地节省网络带宽，这些都是流媒体应用要解决的首要问题。
对 于流媒体服务器的优化，可以从存储策略、传输策略、调度策略、代理服务器缓存策略及流媒体服务器的体系结构设计等几个方面进行考虑。在存储方面，需要对视 频的编码格式进行优化，进而节省空间，优化存储性能；在传输方面，可以采用智能流技术控制发送的速率，最大程度保障用户观看视频的流畅性；在调度方面，可 以采用静态调度和动态调度结合的方法；在代理服务器方面，可以采用分段缓存、动态缓存等管理策略；在流媒体体系结构方面，可以采用内存池和线程池技术改善 内存消耗和线程过多对性能造成的影响。