高并发解决方案

业务数据库  -》 数据水平分割(分区分表分库)、读写分离

业务应用 -》 逻辑代码优化(算法优化)、公共数据缓存

应用服务器 -》 反向静态代理、配置优化、负载均衡(apache分发,多tomcat实例)

系统环境 -》 JVM调优

页面优化 -》 减少页面连接数、页面尺寸瘦身

应用服务器配置优化,如连接数的优化,每个请求都是独立的连接线程,所以优化此配置可以提高服务器接收HTTP并发请求的能力.当然,也不是支持的连接数越多越好。因为接收过多的HTTP请求,可能会导致服务器处理不了,宕机、瘫痪,类似铁路局购票网的状况。大部分的站点会根据服务器处理能力来设置连接数上限。

提升应用服务器的处理能力:

如多服务器集群,接收1000个请求分发多几个服务器去处理。同时,CPU主频,jvm,代码逻辑都不同程度影响业务计算能力。

如果业务有对数据库进行操作的,那么磁盘的IO读写速率是影响服务器的处理能力的最大因素。

因为无论配置的连接数再多,也需要数据库服务器执行SQL时进行的磁盘IO读写能力支撑才行。关于数据库服务器将读写压力分担。常用的方法我上面已经总结了。。。

-----------------------------------------------------------------------------------------------------------------------

用Java做一个大流量、高并发的网站应该怎么样进行底层构架?采用哪些框架技术比较适合?


通用措施:

1、动态资源和静态资源分离;

2、CDN;

3、负载均衡;

4、分布式缓存;

5、数据库读写分离或数据切分(垂直或水平);

6、服务分布式部署。

没看到对业务的描述,业务不同面对的可能是相差很大的方案,太早介入性能方面的考虑未必是好事,有可能浪费太多时间在一些弯路上,如果实在担心的话,尽量采用一些扩展性强一点点的框架,还是那句话,不要太早走极端。


多台tomcat做负载均衡,即使你效率再高。对于高并发,单台tomcat能管理的thread pool的线程数也是有限的    

tomcat使用apr/nio模式增加吞吐量    

对于大流量,动静分离,tomcat处理静态资源的能力比较差,交给nginx  

缓存是重要的,把实时性要求不高的,或者可以忍受一段时间内的实时,缓存起来。  

使用cdn缓存


1:框架用最熟悉的;

2:优化从最上层的业务逻辑开始;

3:硬件舍得投入。

跟框架没必然联系,另外直接使用serverlet对性能提升微乎其微。关健还在于负载均衡的多层次使用,缓存的合理使用,数据垂直和水平切分,异步方案,多系统间的同步,最后千万别忘了可用性。

框架对性能影响还是很大的,如果部署到分布式架构上的话,系统不仅性能得到了提升,容错性和可扩展性都会大大改善。前台可以用Tuscany进行逻辑划分,子系统分布到不同的服务器上,后台可以使用Hadoop进行分布式存储。但是分布式需要面临很多的技术问题:分布式缓存,分布式数据库等等,对技术人员要求较高。此外,还可以使用nginx做负载均衡分发给tomcat。

框架对性能的影响微乎其微,Java的话挑熟悉的好用的就行了。更重要的是整体架构的设计、数据库的设计和优化、缓存系统等等。用Tomcat的话不要用Apache,小并发量还能用用,一旦请求多了会很麻烦,用Nginx。JVM特别是GC的调优也可以看看。

有几个常用的措施  

1、对常用功能建立缓存模块  

2、网页尽量静态化  

3、使用单独的图片服务器,降低服务器压力,使其不会因为图片加载造成崩溃  

4、使用镜像解决不同网络接入商和不同地域用户访问差异  

5、数据库集群图表散列  

6、加强网络层硬件配置,硬的不行来软的。  

7、终极办法:负载均衡

大流量,高并发的网站主要考虑的是可伸缩性,当用户量,流量增大的时候,可以通过增加机器来分担压力。。至于直接用不用servlet,这个看你的架构。。性能和复杂性一般都不能兼得。。

个人认为框架并不能为系统的性能得到多大的提升,框架能够帮助开发人员提高开发效率,滥用框架反而会导致系统性能的下降。  

建议使用开发团队最熟悉的框架,关注代码本身,防止出现内存溢出的情况。  

大流量,高并发的网站主要的压力应该是在数据库的io操作上,尽量避免系统频繁请求数据库,优化查询语句,合理使用索引,减少sql语句执行的时间。  

可以使用一些缓存技术,如memcache,将频繁读取,不经常变化的数据放入缓存中。

面对大流量,高并发的问题,最好的方法是增加硬件投入。另外,我不认为servlet去处理底层数据是个明智的选择。servlet玩的就是request和response,处理和响应客户端请求为主。推荐一本书《构建高性能WEB站点》。

底层架构是指服务器吗?  

服务器上的集群优化很重要的。  

尝试下 Apache + Tomcat 吧。多个Tomcat集群,Apache做前端,负责静态内容。再加几台服务器,分别做memcached(多台)、数据库服务器。  

Apache和Tomcat之间的沟通采用AJP协议,据说效率很高。  

这么下来,这么多台服务器,足够撑很多用户了。

http://www.zhihu.com/question/19809311

-----------------------------------------------------------------------------------------------------------------------

先学测试吧。不是那种业务功能的测试,是系统的测试。因为要解决大数据量、高并发的问题,我个人的知识与经验是:

1、先用单机测试。用工具产生大并发量去轰击服务器,直至服务器缓慢,甚至接近崩溃;

2、在服务器艰难地工作的时候,用工具测试服务器,仔细分析,是什么使得服务器如此艰难,是 cpu ? 是网络? 还是硬盘 io ?又或者是你的应用?数据库?

3、找到系统瓶颈后,优化,解决这个瓶颈,然后再循环测试。这时你又会发现新的瓶颈,再解决。循环1 - 3步,直到各方面基本平衡为止。

4、当单机无法解决问题的时候,接着开始考虑负载均衡,考虑分布式方案,然后再用 1 - 3 的步骤分析与测试。

最后,你的问题是,要学什么?答案就是:学要完成上述的步骤,解决其中产生的问题所涉及的各种知识。这不是一两本书可以讲得完的。

-----------------------------------------------------------------------------------------------------------------------

大流量: Varnish, Nginx, HAproxy

高并发: Node.js, Nginx, Redis, No-SQL

静态化,CDN

-----------------------------------------------------------------------------------------------------------------------

你需要了解大数据高并发的瓶颈在哪里,一般都是数据库层面的,机械硬盘承载不起非常快速的读写操作,cpu承载不起大量的逻辑运算,所以最基本的解决思路就是:

1.换固态硬盘加快硬盘的读写效率。

2.建立缓存中间件降低对硬盘的读写次数,缓存不用多说了,最最最基本和重要的优化策略。

3.将硬盘的读写或者数据的计算分摊到多台机器上,也就是集群。hadoop就是基于这个层面的。

4.良好的查询算法,降低读的次数,分表,分库,索引等都是基于这层面的。

理论上来讲,在带宽充裕的情况下,只要遵循上面的4个思路进行延伸就可以解决大部分的高并发问题。

-----------------------------------------------------------------------------------------------------------------------

怎样学习才能拥有所谓“高并发”的经验?

这个问题完全可以重定向到如何处理高并发业务场景. 以下只是我工作一年多接触到的一些基础,也许有偏差,要具备高并发的经验确实需要有实际项目,因为业务逻辑其实很容易理清,但是要在高并发的情况下如何找到业务繁忙的热点并进行优化,完全只能凭经验.

假如没有靠谱的公司,接触不到高并发的业务场景怎么办? 从处理技巧上,可以通过大牛学习高并发的架构,比如张宴:张宴的博客 - Web系统架构与底层研发.至少你可以知道处理高并发的业务逻辑是:

  • 前端:异步请求+资源静态化+cdn

  • 后端:请求队列+轮询分发+负载均衡+共享缓存

  • 数据层:redis缓存+数据分表+写队列

  • 存储:raid阵列+热备

  • 网络:dns轮询+DDOS攻击防护

对于高并发并没有什么通用解决方案,必须根据业务场景进行分析,不同的业务场景对于架构的取舍是不一样的.但万变不离其宗,掌握这些处理高并发的分析方法还是很有必要的.

如何学习高并发的工具? 处理高并发的开源轮子其实很多.很多高并发的架构分享都会提及使用的工具,自己多留心,再看看手册,有条件自己搭起来跑一跑. redis,nginx/Tengine,keeplive,DRBD,heartbeat这些小工具还是可以在虚拟机上面多开几台跑起来的.至于大业务场景,除了进大公司没有别的办法,因为有些工具运行的配置要求太高,必须多台服务器配合才能完成.

如何模拟高并发场景? 并不是只有实际生产环境才能测试高并发,其实模拟高并发的轮子也很多,最常用的apache benchmark,winrunner,loadrunner,这些教程很多,用来模拟基本的高并发业务绰绰有余,自己安装试用版,学学如何用,模拟些常用的业务. 如果有精力,业内很喜欢用perl,python,C来写一些针对热点业务的负载脚本.这需要有http协议等网络封包的理论基础.

一些建议 处理高并发要学习的东西实在太多.要在没有实际工作经验的情况下逐一了解太难,也很难深入.对于高并发的学习,我建议除了多阅读高并发架构的文档学习基本的方法论以外,自己要去深入学习网络基础,数据结构和算法.这些都是处理高并发热点的理论基础.



刘天斯:一例千万级pv高性能高并发网站架构

一个支撑千万级PV的网站是非常考验一个架构是否成熟、健壮(本文不涉及软件架构的层面,有兴趣也可以讨论)。现抛出一个系统层面的架构,不保证是最优的方案,但也许适合你。理由是再优秀的架构都不具备通用性,需要根据每种应用特点针对性来设计。希望起到抛砖引玉的作用。

架构说明:

1、架构中直接引入软件名称的模块,是个人推荐使用的,如Haproxy、Hadoop等;

2、关于全局负载均衡,看成本投入情况,可以使用商业的产品,如F5-GTM,开源方案便是自搭智能DNS;

3、本地负载均衡方案,可以考虑F5-LTM或成熟的开源解决方案LVS;

4、代理层为什么推荐大家使用Haproxy?Haproxy是一个非常优秀的反向代理软件,十分高效、稳定。国内top 10的互联网公司都有在使用;

5、缓存层可以使用Squid或Varnish,个人更倾向Varnish。配置灵活、运行稳定,提供非常便利的管理接口。为啥在缓存层前面加一层代理?优点非常多,列举如下:

  • 根据应用配置URI路由规则,集中热点来提高后端缓存的命中率;

  • 轻松划分网站频道、版块,更好对应用进步组织、规划;

  • 对URI进行一般性安全过滤,抵御注入攻击;

  • 弹性调配硬件资源,应对突发事件产生大流量;

  • 可回收宝贵的公网IP资源;

6、应用层开源技术方案非常多且成熟,在此不详细描述;

7、数据库层主流开源解决方案Mysql是首选,主从复制(一主对多从)是目前比较靠谱的模式;

8、关于Nosql,应用场景不多说,可参考“给部门做的Mongodb技术交流PPT”文章,redis、memcached等作为热点数据存储、数据库缓存都非常理想;

9、内网DNS扮演的角色非常重要,一定要消灭code中出现的内网IP地址,很大程度减少因IP变更、服务器故障而修改源码的情况,同时也便于维护;

10、内网LB适用在内部WEB接口、多台数据库Slave、多台Nosql Slave、公共服务等应用的负载均衡,可以使用LVS、Haproxy来实现,可用性要求不高的应用可行直接使用Localhost DNS轮询;

11、hadoop适合海量数据的存储与处理,如做网站日志分析、用户数据挖掘等;

12、管理集群,平台的核心,运维的阵地;

你可能感兴趣的:(java,Web)