并发与性能调优（后续补充）

高并发情况下，我们系统是如何支撑大量的请求的?

• 1、尽量使用缓存技术，
  包括用户缓存，信息缓存还有静态页面缓存，多花点内存来做缓存，可以大大减少与数据库的交互次数和tomcat执行次数，减少不变的数据重复在tomcat和数据库中获取的次数。

• 2、同步转异步，
  对于一些不需要即时结果的操作，可以使用MQ消息机制，达到同步转异步的效果，如秒杀系统，正常流程:先点击秒杀，然后往服务器发送请求，在页面等待响应，这样融入大量请求，服务器压力会特别大，搞不好服务器就会宕机。使用MQ消息队列实现异步的步骤为:点击秒杀，返回请稍后查看结果，请求去MQ队列中排队，等排队执行完成后返回给用户信息。这样就可以大大减少服务器的压力，提升用户体验度。

• 3、合并多个同类型请求为一个请求，
  使用SpringCloud的Hystrix技术来实现。在服务提供者提供了返回单个对象和多个对象的接口，并且单个对象的查询并发数很高，服务提供者负载较高的时候，我们就可以使用请求合并来降低服务提供者的负载。

• 4、数据库方面，
  搭建数据库集群,网站一般读的多写的少，可以按照网站的统计数据来找到一个合适的平衡点，来搭建主从数据库服务，可以实现一主多从,或者多主多从,来减轻单个数据库的压力。可以按照每台数据库服务器的硬件条件，合理分配权重，配合Mycat达到负载均衡。

• 5、高质量代码，
  合理的使用循环和递归，不要为了速度丢了内存，也不要为内存丢了速度，要看业务场景，来合理使用。减少自动处理逻辑，比如字符串拼接,每次拼接都会创建一个字符串 放入常量池，这里可以按照业务场景来使用StringBuilder或者StringBuffer 来进行字符串拼接，能手动处理就手动处理，代码中所有的临时对象，用完之后都赋值为Null,这样可以减少GC的重复排查，效率就会有所提升。所有的资源用完都要回收，如: 10、数据库连接对象等，因为这些资源对GC不是特别友好。减少代码调用链，尽量不要让代码调用链超过10,远程方法调用没事。提供过滤能力，把每个过滤器写的详细一点,把耦合度高的数据放入到同一个过滤器中,如果第一个过滤器没有通过那么后面的过滤器不执行,相对的业务也就不执行了，效率也就提升了。

• 6、网络优化，
  外网转内网，内网转局域网，外网转VPN。配合公司内的网络运维人员，进行网络网段的切换，尽量让服务器群处于内网，或者局域网中，提供访问速度。服务器之间的通讯如果都是局域网内进行的，那么可想而知，访问速度肯定有所提升。

• 7、中间件处理
  搭建Tomcat集群，通过Nginx代理Tomcat服务器做负载均衡，对每个Tomat的调优，合理设置设置Tomcat的最大连接数,因为Tomcat的默认最大并发数为200.适当的加大Tomcat的内存和最多线程数，设置JM的处置大小为服务器可用内存的最大值的80%。关闭DNS查询，开启gzip压缩。
  搭建MQ集群，高并发的时候-一个MQ来处理队列根本不够用，这时可以搭建集群来处理。
  增加Nginx的内存，加大Nginx缓存数据的范围。服务器操作系统都用64位的，因为32位的系统最大内存只能有4G
  图片服务器分离，搭建vsftpd服务器来存储图片数据，通过Nginx代理vsftpd存放路径就可以直接访问到图片，这样响应到页面的只是超链接，并不是图片，这样页面的响应会得到大
  大的提升。

集群如何同步会话状态?

利用Redis 同步session
Redis可以做分布式，正式因为这个功能他才可以用来做session同步。他可以把web服务器中的内存组合起来，形成一个“内存池”，不管是哪个服务器产生的session都可以存放于这个内存池中，其它的都可以使用。
以这种方式来同步session,不会加大数据库的负担,安全性比cookie要大大提高,把session放到内存中，这样比从文件读取也要快很多。

负载均衡的原理?

网站访问量已经越来越大，响应速度越来越慢。
考虑:

• Scale Up ( 也就是Scale vertically)纵向扩展，向上扩展:机器硬件升级，增加配置，如添加CPU、内存。(往往需要购置新机器) ->旧机器不能利用上。
• Scale Out (也就是Scale horizontally)横向扩展，向外扩展:向原有的web、邮件系统添加一个新机器。->旧机器仍然可以发挥作用。

负载均衡技术为scale out服务。

Nginx负载均衡器的特点是:

1. 工作在网络的7层之上，可以针对http应用做–些分流的策略，比如针对域名、目录结构:
2. Nginx安装和配置比较简单，测试起来比较方便；
3. 也可以承担高的负载压力且稳定，一般能支撑超过上万次的并发；
4. Nginx可以通过端口检测到服务器内部的故障，比如根据服务器处理网页返回的状态码、超时等等，并且会把返回错误的请求重新提交到另一个节点，不过其中缺点就是不支持url来检测；
5. Nginx对请求的异步处理可以帮助节点服务器减轻负载；
6. Nginx能支持http和Email,这样就在适用范围上面小很多；
7. 默认有三种调度算法:轮询、weight 以及ip_ hash (可以解决会话保持的问题)，还可以支持第三方的fair和url_hash等调度算法；

怎么提高并发量，请列举你所知道的方案?

• HTML静态化模板引擎
• 图片服务器分离Nginx
• 数据库集群、库表散列数据分片Mycat
• 缓存基于Redis
• 镜像是大型网站常采用的提高性能和数据安全性的方式
• 负载均衡
• CDN加速技术（CDN的实现分为三类：镜像、高速缓存、专线）

谈谈CDN

是什么

CDN (全称 Content Delivery Network)，即内容分发网络
CDN是在现有Internet基础上增加一层新的网络架构，通过部署边缘服务器，采用负载均衡、内容分发、调度等功能，使用户可以就近访问获取所需内容，从而解决网站拥塞情况，提高用户访问响应速度。CDN 的关键技术主要有内容存储和分发技术

于是，用户在上网的时候不用直接访问源站，而是访问离他“最近的”一个 CDN 节点，术语叫「边缘节点」，其实就是缓存了源站内容的代理服务器。如下图：

原理

CDN加速技术主要就是在用户和源站服务器之间增加镜像缓存层，将用户的访问请求引导至镜像缓存节点，而不是直接访问源站。

在CDN加速过程中，全局负载均衡DNS解析服务器会根据用户端源IP地址将用户的访问请求引导至距离用户路由最近、位置最近、负载最轻的缓存服务器上，从而实现最优匹配效果。

整体流程图：

为什么这么快

CDN之所以快，靠的是多节点、多线路、用缓存。

• 多节点
  也就是多服务器，在网络各处放置节点服务器，构成在现有的互联网基础之上的一层智能虚拟网络，CDN系统能够实时地根据网络流量和各节点的连接、负载状况以及到用户的距离和响应时间等综合信息将用户的请求重新导向离用户最近的服务节点上。
• 多线路
  可以有效避免跨线路互联不互通的问题。
• 用缓存
  广泛采用各种缓存服务器，将这些缓存服务器分布到用户访问相对集中的地区或网络中，在用户访问网站时，利用全局负载技术将用户的访问指向距离最近的工作正常的缓存服务器上，由缓存服务器直接响应用户请求。另外，CDN服务器知道源站的资源发生变化后，会通知其它服务器同时更新资源。

总结

1. CDN 目的是为了改善互联网的服务质量，通俗一点说其实就是提高访问速度
2. CDN 构建了全国、全球级别的专网，让用户就近访问专网里的边缘节点，降低了传输延迟，实现了网站加速
3. 通过CDN的负载均衡系统，智能调度边缘节点提供服务，相当于CDN服务的大脑，而缓存系统相当于CDN的心脏，缓存命中直接返回给用户，否则回源

• 一分钟快速理解CDN加速原理
• 什么是CDN加速？CDN加速有哪些作用？
• 什么是CDN加速？
• CDN的工作原理和实现方法

系统的用户有多少?多用户并发访问时如何解决?

• 分布式是以缩短单个任务的执行时间来提升效率的,而集群则是通过提高单位时间内执行的任务数来提升效率。
• 集群主要分为:高可用集群(High Availability Cluster)，负载均衡集群(Load Balance Cluster,nginx即可实现)，科学计算集群(High Performance Computing Cluster)。

分布式是指将不同的业务分布在不同的地；
而集群指的是将几台服务器集中在一起，实现同一业务。
分布式中的每一个节点，都可以做集群。
而集群并不一定就是分布式的。
采用微服务架构，使用技术Spring Cloud的一站式解决方案。

如果有一个特别大的访问量，到数据库上，怎么做优化?

1. SQL语句的优化处理通过慢查询确认执行效率低下的SQL语句,进行拆解和索引的控制
2. 为数据库搭建集群，实现主从复制
3. 实现数据库的读写分离
4. 实现数据的分片处理
5. 采用数据库中间件Mycat

Mycat

Mycat是一个彻底开源的，面向企业应用开发的大数据库集群。

从定义和分类来看，它是一个开源的分布式数据库系统，是一个实现了MySQL协议的服务器，前端用户可以把它看作是一个数据库代理，用MySQL客户端工具和命令行访问，而其后端可以用MySQL原生协议与多个MySQL服务器通信，也可以用JDBC协议与大多数主流数据库服务器通信，其核心功能是分表分库，即将一个大表水平分割为N个小表，存储在后端MySQL服务器里或者其他数据库里。

系统性能定义

• Throughput ，吞吐量。也就是每秒钟可以处理的请求数，任务数。
• Latency， 系统延迟。也就是系统在处理一个请求或一个任务时的延迟。

一般来说，一个系统的性能受到这两个条件的约束，缺一不可。比如，我的系统可以顶得住一百万的并发，但是系统的延迟是2分钟以上，那么，这个一百万的负载毫无意义。系统延迟很短，但是吞吐量很低，同样没有意义。所以，一个好的系统的性能测试必然受到这两个条件的同时作用。 有经验的朋友一定知道，这两个东西的一些关系：

• Throughput越大，Latency会越差。因为请求量过大，系统太繁忙，所以响应速度自然会低。
• Latency越好，能支持的Throughput就会越高。因为Latency短说明处理速度快，于是就可以处理更多的请求。

系统性能测试

经过上述的说明，我们知道要测试系统的性能，需要我们收集系统的Throughput和Latency这两个值。

• 首先，需要定义Latency这个值，比如说，对于网站系统响应时间必需是5秒以内（对于某些实时系统可能需要定义的更短，比如5ms以内，这个更根据不同的业务来定义）
• 其次，开发性能测试工具，一个工具用来制造高强度的Throughput，另一个工具用来测量Latency。对于第一个工具，你可以参考一下“十个免费的Web压力测试工具”，关于如何测量Latency，你可以在代码中测量，但是这样会影响程序的执行，而且只能测试到程序内部的Latency，真正的Latency是整个系统都算上，包括操作系统和网络的延时，你可以使用Wireshark来抓网络包来测量。这两个工具具体怎么做，这个还请大家自己思考去了。
• 最后，开始性能测试。你需要不断地提升测试的Throughput，然后观察系统的负载情况，如果系统顶得住，那就观察Latency的值。这样，你就可以找到系统的最大负载，并且你可以知道系统的响应延时是多少。

再多说一些，

• 关于Latency，如果吞吐量很少，这个值估计会非常稳定，当吞吐量越来越大时，系统的Latency会出现非常剧烈的抖动，所以，我们在测量Latency的时候，我们需要注意到Latency的分布，也就是说，有百分之几的在我们允许的范围，有百分之几的超出了，有百分之几的完全不可接受。也许，平均下来的Latency达标了，但是其中仅有50%的达到了我们可接受的范围。那也没有意义。
• 关于性能测试，我们还需要定义一个时间段。比如：
  • 在某个吞吐量上持续15分钟。因为当负载到达的时候，系统会变得不稳定，当过了一两分钟后，系统才会稳定。
  • 另外，也有可能是，你的系统在这个负载下前几分钟还表现正常，然后就不稳定了，甚至垮了。所以，需要这么一段时间。
    这个值，我们叫做峰值极限。
• 性能测试还需要做Soak Test，也就是在某个吞吐量下，系统可以持续跑一周甚至更长。这个值，我们叫做系统的正常运行的负载极限。

性能测试有很多很复要的东西，比如：burst test等。 这里不能一一详述，这里只说了一些和性能调优相关的东西。总之，性能测试是一细活和累活。

定位性能瓶颈

查看操作系统负载

首先，当我们系统有问题的时候，我们不要急于去调查我们代码，这个毫无意义。我们首要需要看的是操作系统的报告。看看操作系统的CPU利用率，看看内存使用率，看看操作系统的IO，还有网络的IO，网络链接数，等等。Windows下的perfmon是一个很不错的工具，Linux下也有很多相关的命令和工具，比如：SystemTap，LatencyTOP，vmstat, sar, iostat, top, tcpdump等等 。通过观察这些数据，我们就可以知道我们的软件的性能基本上出在哪里。比如：

• 1）先看CPU利用率，如果CPU利用率不高，但是系统的Throughput和Latency上不去了，这说明我们的程序并没有忙于计算，而是忙于别的一些事，比如IO。（另外，CPU的利用率还要看内核态的和用户态的，内核态的一上去了，整个系统的性能就下来了。而对于多核CPU来说，CPU 0 是相当关键的，如果CPU 0的负载高，那么会影响其它核的性能，因为CPU各核间是需要有调度的，这靠CPU0完成）

• 2）然后，我们可以看一下IO大不大，IO和CPU一般是反着来的，CPU利用率高则IO不大，IO大则CPU就小。关于IO，我们要看三个事，一个是磁盘文件IO，一个是驱动程序的IO（如：网卡），一个是内存换页率。这三个事都会影响系统性能。

• 3）然后，查看一下网络带宽使用情况，在Linux下，你可以使用iftop, iptraf, ntop, tcpdump这些命令来查看。或是用Wireshark来查看。

• 4）如果CPU不高，IO不高，内存使用不高，网络带宽使用不高。但是系统的性能上不去。这说明你的程序有问题，比如，你的程序被阻塞了。可能是因为等那个锁，可能是因为等某个资源，或者是在切换上下文。

通过了解操作系统的性能，我们才知道性能的问题，比如：带宽不够，内存不够，TCP缓冲区不够，等等，很多时候，不需要调整程序的，只需要调整一下硬件或操作系统的配置就可以了。

常见的系统瓶颈

下面这些东西是我所经历过的一些问题，也许并不全，也许并不对，大家可以补充指正，我纯属抛砖引玉。关于系统架构方面的性能调优，大家可移步看一下《由12306.cn谈谈网站性能技术》，关于Web方面的一些性能调优的东西，大家可以看看《Web开发中需要了解的东西》一文中的性能一章。我在这里就不再说设计和架构上的东西了。

一般来说，性能优化也就是下面的几个策略：

• 用空间换时间。各种cache如CPU L1/L2/RAM到硬盘，都是用空间来换时间的策略。这样策略基本上是把计算的过程一步一步的保存或缓存下来，这样就不用每次用的时候都要再计算一遍，比如数据缓冲，CDN，等。这样的策略还表现为冗余数据，比如数据镜象，负载均衡什么的。
• 用时间换空间。有时候，少量的空间可能性能会更好，比如网络传输，如果有一些压缩数据的算法（如前些天说的“Huffman 编码压缩算法” 和 “rsync 的核心算法”），这样的算法其实很耗时，但是因为瓶颈在网络传输，所以用时间来换空间反而能省时间。
• 简化代码。最高效的程序就是不执行任何代码的程序，所以，代码越少性能就越高。关于代码级优化的技术大学里的教科书有很多示例了。如：
  • 减少循环的层数，
  • 减少递归，
  • 在循环中少声明变量，
  • 少做分配和释放内存的操作，
  • 尽量把循环体内的表达式抽到循环外，
  • 条件表达的中的多个条件判断的次序，
  • 尽量在程序启动时把一些东西准备好，
  • 注意函数调用的开销（栈上开销），
  • 注意面向对象语言中临时对象的开销，
  • 小心使用异常（不要用异常来检查一些可接受可忽略并经常发生的错误），…… 等等，等等，这连东西需要我们非常了解编程语言和常用的库。
• 并行处理。如果CPU只有一个核，你要玩多进程，多线程，对于计算密集型的软件会反而更慢（因为操作系统调度和切换开销很大），CPU的核多了才能真正体现出多进程多线程的优势。并行处理需要我们的程序有Scalability，不能水平或垂直扩展的程序无法进行并行处理。从架构上来说，这表再为——是否可以做到不改代码只是加加机器就可以完成性能提升？

总之，根据2：8原则来说，20%的代码耗了你80%的性能，找到那20%的代码，你就可以优化那80%的性能。 下面的一些东西都是我的一些经验，我只例举了一些最有价值的性能调优的的方法，供你参考，也欢迎补充。

代码调优

• 字符串操作。这是最费系统性能的事了，无论是strcpy, strcat还是strlen，最需要注意的是字符串子串匹配。所以，能用整型最好用整型。举几个例子，第一个例子是N年前做银行的时候，我的同事喜欢把日期存成字符串（如：2012-05-29 08:30:02），我勒个去，一个select where between语句相当耗时。另一个例子是，我以前有个同事把一些状态码用字符串来处理，他的理由是，这样可以在界面上直接显示，后来性能调优的时候，我把这些状态码全改成整型，然后用位操作查状态，因为有一个每秒钟被调用了150K次的函数里面有三处需要检查状态，经过改善以后，整个系统的性能上升了30%左右。还有一个例子是，我以前从事的某个产品编程规范中有一条是要在每个函数中把函数名定义出来，如：const char fname[]=”functionName()”, 这是为了好打日志，但是为什么不声明成 static类型的呢？
• 多线程调优。有人说，thread is evil，这个对于系统性能在某些时候是个问题。因为多线程瓶颈就在于互斥和同步的锁上，以及线程上下文切换的成本，怎么样的少用锁或不用锁是根本（比如：多版本并发控制(MVCC)在分布式系统中的应用 中说的乐观锁可以解决性能问题），此外，还有读写锁也可以解决大多数是读操作的并发的性能问题。这里多说一点在C++中，我们可能会使用线程安全的智能指针AutoPtr或是别的一些容器，只要是线程安全的，其不管三七二十一都要上锁，上锁是个成本很高的操作，使用AutoPtr会让我们的系统性能下降得很快，如果你可以保证不会有线程并发问题，那么你应该不要用AutoPtr。我记得我上次我们同事去掉智能指针的引用计数，让系统性能提升了50%以上。对于Java对象的引用计数，如果我猜的没错的话，到处都是锁，所以，Java的性能问题一直是个问题。另外，线程不是越多越好，线程间的调度和上下文切换也是很夸张的事，尽可能的在一个线程里干，尽可能的不要同步线程。这会让你有很多的性能。
• 内存分配。不要小看程序的内存分配。malloc/realloc/calloc这样的系统调非常耗时，尤其是当内存出现碎片的时候。我以前的公司出过这样一个问题——在用户的站点上，我们的程序有一天不响应了，用GDB跟进去一看，系统hang在了malloc操作上，20秒都没有返回，重启一些系统就好了。这就是内存碎片的问题。这就是为什么很多人抱怨STL有严重的内存碎片的问题，因为太多的小内存的分配释放了。有很多人会以为用内存池可以解决这个问题，但是实际上他们只是重新发明了Runtime-C或操作系统的内存管理机制，完全于事无补。当然解决内存碎片的问题还是通过内存池，具体来说是一系列不同尺寸的内存池（这个留给大家自己去思考）。当然，少进行动态内存分配是最好的。说到内存池就需要说一下池化技术。比如线程池，连接池等。池化技术对于一些短作业来说（如http服务） 相当相当的有效。这项技术可以减少链接建立，线程创建的开销，从而提高性能。
• 异步操作。我们知道Unix下的文件操作是有block和non-block的方式的，像有些系统调用也是block式的，如：Socket下的select，Windows下的WaitforObject之类的，如果我们的程序是同步操作，那么会非常影响性能，我们可以改成异步的，但是改成异步的方式会让你的程序变复杂。异步方式一般要通过队列，要注间队列的性能问题，另外，异步下的状态通知通常是个问题，比如消息事件通知方式，有callback方式，等，这些方式同样可能会影响你的性能。但是通常来说，异步操作会让性能的吞吐率有很大提升（Throughput），但是会牺牲系统的响应时间（latency）。这需要业务上支持。
• 语言和代码库。我们要熟悉语言以及所使用的函数库或类库的性能。比如：STL中的很多容器分配了内存后，那怕你删除元素，内存也不会回收，其会造成内存泄露的假像，并可能造成内存碎片问题。再如，STL某些容器的size()==0 和 empty()是不一样的，因为，size()是O(n)复杂度，empty()是O(1)的复杂度，这个要小心。Java中的JVM调优需要使用的这些参数：-Xms -Xmx -Xmn -XX:SurvivorRatio -XX:MaxTenuringThreshold，还需要注意JVM的GC，GC的霸气大家都知道，尤其是full GC（还整理内存碎片），他就像“恐龙特级克赛号”一样，他运行的时候，整个世界的时间都停止了。

参考博客

• 性能调优攻略（一定要看看）

性能调优

作为**怎么提高并发量，请列举你所知道的方案?**的补充

1. html静态化

效率最高、消耗最小的就是纯静态化的html页面，所以我们尽可能使我们的网站上的页面采用静态页面来实现，这个最简单的方法其实也是最有效的方法。但是对于大量内容并且频繁更新的网站，我们无法全部手动去挨个实现，于是出现了我们常见的信息发布系统CMS，像我们常访问的各个门户站点的新闻频道，甚至他们的其他频道，都是通过信息发布系统来管理和实现的，信息发布系统可以实现最简单的信息录入自动生成静态页面，还能具备频道管理、权限管理、自动抓取等功能，对于一个大型网站来说，拥有一套高效、可管理的CMS是必不可少的。

除了门户和信息发布类型的网站，对于交互性要求很高的社区类型网站来说，尽可能的静态化也是提高性能的必要手段，将社区内的帖子、文章进行实时的静态化、有更新的时候再重新静态化也是大量使用的策略，像Mop的大杂烩就是使用了这样的策略，网易社区等也是如此。

同时，html静态化也是某些缓存策略使用的手段，对于系统中频繁使用数据库查询但是内容更新很小的应用，可以考虑使用html静态化来实现。比如论坛中论坛的公用设置信息，这些信息目前的主流论坛都可以进行后台管理并且存储在数据库中，这些信息其实大量被前台程序调用，但是更新频率很小，可以考虑将这部分内容进行后台更新的时候进行静态化，这样避免了大量的数据库访问请求。

2. 图片服务器分离
   图片是最消耗资源的，于是我们有必要将图片与页面进行分离，这是基本上大型网站都会采用的策略，他们都有独立的、甚至很多台的图片服务器。这样的架构可以降低提供页面访问请求的服务器系统压力，并且可以保证系统不会因为图片问题而崩溃。

3. 缓存
   为了避免每次都向数据库中取得数据，我们把用户常常访问到的数据放到内存中，甚至缓存十分大的时候我们可以把内存中的缓存放到硬盘中。还有高级的分布式缓存数据库使用，都可以增加系统的抗压力。

4. 分批传送
   java+ajax实现数据分批加载到前端: 这里是java后台的一个action函数，里面有一个类型为List>>的变量perPageList，每次批量加载的固定条数据就存放在里面，比如要加载第二批的数据，那就是通过perPageList.get(1)得到，第currPage+1页就是通过perPageList.get(currPage)得到，其中currPage存放目前需要加载的数据的索引，现在希望把它传给前台去处理，于是我先将它转换为JSONArray类型，即JSONArray.fromObject(loadPageList).toString()

5. 数据库集群

6. DB优化

7. 负载均衡
   负载均衡将是大型网站解决高负荷访问和大量并发请求采用的高端解决办法。

8. CDN加速技术
   CDN的实现分为三类：镜像、高速缓存、专线

9. 数据库乐观锁，
   学习链接：Java乐观锁的实现原理（案例）
   http://www.cnblogs.com/baxianhua/p/9378031.html

10. 数据库读写分离
    学习链接：Spring 实现数据库读写分离
    https://www.cnblogs.com/surge/p/3582248.html

11. 使用消息队列
    学习链接：消息队列概念和使用场景
    https://blog.csdn.net/KingCat666/article/details/78660535

12. 多用存储过程等等
    学习链接：在Java中调用存储过程(详细)
    https://blog.csdn.net/billgates_wanbin/article/details/54834844

参考博客

• 高并发处理与性能调优（原出处）