java web开发总结(五)：如何进行系统优化的思考

前两天跟同事讨论，说到高并发系统如何做优化，提到这个问题，他说他有些茫然，有点不知道该如何下手。
我想了想这几年做的各种系统优化工作，正好也简单总结一下，总结起来就是：一个核心，N种手段。
一个核心就是：多、快、准。
N种手段就要围绕上面的核心做的各种处理。

上面这个核心字多点说也就是：更多用户访问、更短响应时间、数据正确性。
优化的过程，我的想法就是先顺藤摸瓜，沿着一个请求发生的路径一路看过去，测量一下每个点上消耗的时间，会发现很多消耗时间多的点，都是值得你去优化的地方。然后再考虑在每个点上发生了拥挤导致响应时间变长了又该怎么解决。
当然也不需要一上来就全面优化，连影响最小的地方也不放过。先优化对你的性能影响最大的地方，效果是最好的，解决主要矛盾才是关键。不同的情况下，会有不同的优化方式。

简单地来看一个浏览器用户访问的流程：
浏览器->服务器->返回结果显示
这么简单地看，可能想得到的优化手段很少，常见的可能就是优化sql，加快数据库处理；加个缓存，加快返回；使用静态文件，减少动态计算。

细分开来看每一个步骤：
1 浏览器发起一个请求，如果本地有缓存会请求本地缓存文件，没有缓存会请求服务器。所以这里就有一个优化点：需要把常用的css和js文件独立成独立的静态文件，一次加载以后，后面直接加载本地缓存。另外IE浏览器内核在请求图片下载时会限制一次只能同时从同一个域名下载两个文件，这里又有优化点，分散图片存储的域名。使用静态文件，减少计算的同时增加本地缓存的使用，减少请求。静态化是常见的一种优化手段。

2 浏览器真实发起请求服务器时，首先被请求到的是服务器的操作系统层，那么服务器的操作系统对外界连接的响应能力，就是你需要了解的东西了。比如linux的内核参数的调整如何影响最大连接数，简单的一个例子就是在一个默认最大文件句柄数只有1024的服务器上，超过这个压力的时候，你如何优化你的程序，也都没有意义。入口只有那么窄，你得把口给扩开。熟悉服务器的性能，调优系统内核也是一个必要的手段。

3 系统层再把连接交给你的server做处理的时候，server的配置这个时候也相当重要。比如apache的最大连接数，tomcat的最大连接数。对server的配置调优很影响性能。比如tomcat在处理静态文件上的能力比apache要差很多，所以在apache+tomcat的负载均衡就能很好地进行动静请求的分离，提高响应速度。又比如tomcat新版本里的NIO技术又比普通IO性能好上不少。对server的了解，要保持跟踪最新动态。

4 server再把数据交给你的程序处理的时候，就到了考验你编程能力的时候了。你得对你的程序的执行效率非常清楚。必须保证每个响应都在尽量短的时间内执行成功。还有比较常见的一些对不常更新的数据使用内存缓存来加快访问。内存永远是最快的。这方面的优化也有非常非常多的事情可以去做，而且跟你的编程息息相关。

5 程序处理的时候，数据库连接池的使用，连接池大小的配置，连接池性能的优化，sql语句的优化，等等都可能影响你的程序的效率，这些地方永远是值得关注的。当然，优秀的算法在这个地方是少不了的。一个好的业务逻辑设计，可能极大提升你的程序性能。对数据库操作的调优也是一个永远的话题。

6 数据传递到数据库进行保存和查询的时候，你就必须对你的数据库的使用有所了解，知道数据库本身的哪些配置可以优化从而带来性能的提升。一个简单的例子就是在内存足够大的时候，增大mysql的内存缓存就可以极大提升它的响应速度。

7 现在server把数据返回给用户了，那么返回的数据的大小又同样影响着结果的显示速度。尽量减小数据的大小，比如开启apache的gzip就能极大压缩常见的静态文件，可以保证用户更快完出数据的下载，同时节省你的服务器使用带宽，老板一定会很高兴的。

8 用户下次访问的时候，同样面临一个优化的方式：是利用上次跟服务器建立好的连接再次通讯呢？还是重现跟服务器建立连接？这就是在server端做配置要考虑的一个问题，在低并发下，保持跟用户建立的socket连接，并且让用户通过这个连接来多次访问，可以提高速度。但是在高并发下，大量这种建立好的连接就意味着其他用户失去了进来的机会。所以这个是需要权衡的。一般情况下最好可以预估一下一个用户可能在多长的时间里连续发起多少个请求，然后可以把用户断开，把资源用来服务其他用户。

9 ajax技术也是在减少大请求，使用更小的局部数据更新来代替整个页面的刷新，加快用户的响应速度，结合静态化能完美改善性能。

这是对一个用户的访问的时候的考虑，然后就要考虑多用户情况的问题(有些是上面提到过的)：
1 操作系统对多用户访问时的一些限制的优化
2 server的并发量的优化
3 多用户并发下，更多地要仔细考虑程序在数据操作的并发上的问题。比如对象的锁，数据库的锁，事务，等待处理的数据的排队方式等等。你需要知道读写分离的好处，应该隔离不同操作间的等待。另外并发带来的锁等待问题需要极大地关注，往往不是在内存就是在数据库里，发生着大量并发锁等待，导致你的程序缓慢。
4 对数据库的锁的机制必须深入了解，比如mysql不同引擎的带来的锁表和行级锁对性能的影响。同时要在自己的逻辑处理上要控制好不同用户同时操作的问题，时刻要绷紧这个弦。多数据集群，读写分离等等机制也是需要深入了解的。

以上是我一些简单的零碎总结，并不全面，也不细致，主要想表达一个思考的过程。不在于你都学会了什么，发现问题，研究问题，解决问题的能力，才是最重要的。
其实每一个点上，基本上你都可以找到N多牛人写的很牛很细致的书来讲具体怎么优化的，需要的时候可以好好去找书来研究一下。
深入去了解每一个点上的优化，你会发现，互联网的魅力真的是奇妙无穷！