多线程与高并发10-线程池

线程池

其实在真正的开发中，高并发的情形并直接用多线程，而是用线程池技术的地方比较多，线程的池化技术有很多好处，JDK也提供了线程池相关的类，下面将深入展开进行介绍

线程池的优点

• 降低资源消耗：通过重复利用已创建的线程降低线程创建和销毁造成的消耗

• 提高响应速度：当任务到达时，任务可以不需要等到线程创建就能立即执行

  假设一个服务器完成一项任务所需时间为：T1 创建线程时间，T2 在线程中执行任务的时间，T3 销毁线程时间。   如果：T1 + T3 远大于 T2，则可以采用线程池，以提高服务器性能。线程池技术正是关注如何缩短或调整T1,T3时间的技术，从而提高服务器程序性能的。它把T1，T3分别安排在服务器程序的启动和结束的时间段或者一些空闲的时间段，这样在服务器程序处理客户请求时，不会有T1，T3的开销了

• 提高线程的可管理性：线程是稀缺资源，如果无限制地创建，不仅会消耗系统资源，还会降低系统的稳定性，使用线程池可以进行统一分配、调优和监控

假设一个服务器一天要处理50000个请求，并且每个请求需要一个单独的线程完成。在线程池中，线程数一般是固定的，所以产生线程总数不会超过线程池中线程的数目，而如果服务器不利用线程池来处理这些请求则线程总数为50000。一般线程池大小是远小于50000。所以利用线程池的服务器程序不会为了创建50000而在处理请求时浪费时间，从而提高效率

线程池类结构体系

• Executor是一个接口，它是Executor框架的基础，它将任务的提交与任务的执行分离开来
• ExecutorService接口继承了Executor，在其上做了一些shutdown()、submit()的扩展，可以说是真正的线程池接口
• AbstractExecutorService抽象类实现了ExecutorService接口中的大部分方法---可以看到模版方法，钩子函数是源码中非常常用的设计模式
• ThreadPoolExecutor是线程池的核心实现类，用来执行被提交的任务
• ScheduledExecutorService接口继承了ExecutorService接口，提供了带"周期执行"功能ExecutorService
• ScheduledThreadPoolExecutor是一个实现类，可以在给定的延迟后运行命令，或者定期执行命令。ScheduledThreadPoolExecutor比Timer更灵活，功能更强大

线程池的七个参数

public ThreadPoolExecutor(int corePoolSize,
   int maximumPoolSize,
   long keepAliveTime,
   TimeUnit unit,
   BlockingQueue workQueue,
   ThreadFactory threadFactory,
   RejectedExecutionHandler handler)

corePoolSize 线程池核心线程数

线程池中的核心线程数，当提交一个任务时，线程池创建一个新线程执行任务，直到当前线程数等于corePoolSize

线程池中会维护一个最小的线程数量，即使这些线程处理空闲状态，他们也不会 被销毁，除非设置了allowCoreThreadTimeOut。这里的最小线程数量即是corePoolSize

如果当前线程数为corePoolSize，继续提交的任务被保存到阻塞队列中，等待被执行

如果执行了线程池的prestartAllCoreThreads()方法，线程池会提前创建并启动所有核心线程

maximumPoolSize 线程池最大线程数量

线程池中允许的最大线程数。如果当前阻塞队列满了，且继续提交任务，则创建新的线程执行任务，前提是当前线程数小于maximumPoolSize

keepAliveTime 空闲线程存活时间

线程空闲时的存活时间，即当线程没有任务执行时，继续存活的时间。默认情况下，该参数只在线程数大于corePoolSize时才有用

TimeUnit 空间线程存活时间单位

keepAliveTime的时间单位

workQueue 工作队列

workQueue必须是BlockingQueue阻塞队列。当线程池中的线程数超过它的corePoolSize的时候，线程会进入阻塞队列进行阻塞等待。通过workQueue，线程池实现了阻塞功能

用于保存等待执行的任务的阻塞队列，一般来说，我们应该尽量使用有界队列，因为使用无界队列作为工作队列会对线程池带来如下影响：

1）当线程池中的线程数达到corePoolSize后，新任务将在无界队列中等待，因此线程池中的线程数不会超过corePoolSize。

2）由于1，使用无界队列时maximumPoolSize将是一个无效参数。

3）由于1和2，使用无界队列时keepAliveTime将是一个无效参数。

4）更重要的，使用无界queue可能会耗尽系统资源，有界队列则有助于防止资源耗尽，同时即使使用有界队列，也要尽量控制队列的大小在一个合适的范围

所以我们一般会使用，ArrayBlockingQueue、LinkedBlockingQueue、SynchronousQueue、PriorityBlockingQueue

threadFactory 线程工厂

创建线程的工厂，通过自定义的线程工厂可以给每个新建的线程设置一个具有识别度的线程名，当然还可以更加自由的对线程做更多的设置，比如设置所有的线程为守护线程

Executors静态工厂里默认的threadFactory，线程的命名规则是“pool-数字-thread-数字”

RejectedExecutionHandler 拒绝策略

线程池的饱和策略，当阻塞队列满了，且没有空闲的工作线程，如果继续提交任务，必须采取一种策略处理该任务，线程池提供了4种策略：

（1）AbortPolicy：直接抛出异常，默认策略

（2）CallerRunsPolicy：用调用者所在的线程来执行任务

（3）DiscardOldestPolicy：丢弃阻塞队列中靠最前的任务，并执行当前任务

（4）DiscardPolicy：直接丢弃任务

当然也可以根据应用场景实现RejectedExecutionHandler接口，自定义饱和策略，如记录日志或持久化存储不能处理的任务

扩展线程池

实际上，JDK 的线程池已经为我们预留的接口，在线程池核心方法中，有2 个方法是空的，就是给我们预留的。还有一个线程池退出时会调用的方法。

可以看到，每个任务执行前后都会调用 beforeExecute和 afterExecute方法。相当于执行了一个切面。而在调用 shutdown 方法后则会调用 terminated 方法

线程池的工作机制

1）如果当前运行的线程少于corePoolSize，则创建新线程来执行任务（注意，执行这一步骤需要获取全局锁）

2）如果运行的线程等于或多于corePoolSize，则将任务加入BlockingQueue

3）如果无法将任务加入BlockingQueue（队列已满），则创建新的线程来处理任务

4）如果创建新线程将使当前运行的线程超出maximumPoolSize，任务将被拒绝，并调用RejectedExecutionHandler.rejectedExecution()方法

如果线程任务执行完，线程空闲数过多，那么超时参数开始起作用，超过超时时间，则多于 corePoolSize的线程会自动关闭，（keepAliveTime=0，表示立即停止），如果希望 corePoolSize的线程空闲也自动关闭，通过 allowCoreThreadTimeOut接口进行设置

提交任务

• execute()：方法用于提交不需要返回值的任务，所以无法判断任务是否被线程池执行成功
• submit()：方法用于提交需要返回值的任务。线程池会返回一个future类型的对象，通过这个future对象可以判断任务是否执行成功，并且可以通过future的get()方法来获取返回值，get()方法会阻塞当前线程直到任务完成，而使用get（long timeout，TimeUnit unit）方法则会阻塞当前线程一段时间后立即返回，这时候有可能任务没有执行完

关闭线程池

可以通过调用线程池的shutdown或shutdownNow方法来关闭线程池。它们的原理是遍历线程池中的工作线程，然后逐个调用线程的interrupt方法来中断线程，所以无法响应中断的任务可能永远无法终止。但是它们存在一定的区别，shutdownNow首先将线程池的状态设置成STOP，然后尝试停止所有的正在执行或暂停任务的线程，并返回等待执行任务的列表，而shutdown只是将线程池的状态设置成SHUTDOWN状态，然后中断所有没有正在执行任务的线程

只要调用了这两个关闭方法中的任意一个，isShutdown方法就会返回true。当所有的任务都已关闭后，才表示线程池关闭成功，这时调用isTerminaed方法会返回true。至于应该调用哪一种方法来关闭线程池，应该由提交到线程池的任务特性决定，通常调用shutdown方法来关闭线程池，如果任务不一定要执行完，则可以调用shutdownNow方法。

合理地配置线程池

要想合理地配置线程池，就必须首先分析任务特性，可以从以下几个角度来分析：

• 任务的性质：CPU密集型任务、IO密集型任务和混合型任务
• 任务的优先级：高、中和低
• 任务的执行时间：长、中和短
• 任务的依赖性：是否依赖其他系统资源，如数据库连接

性质不同的任务可以用不同规模的线程池分开处理

CPU密集型任务应配置尽可能小的线程，如配置Ncpu+1个线程的线程池。由于IO密集型任务线程并不是一直在执行任务，则应配置尽可能多的线程，如2*Ncpu。

混合型的任务，如果可以拆分，将其拆分成一个CPU密集型任务和一个IO密集型任务，只要这两个任务执行的时间相差不是太大，那么分解后执行的吞吐量将高于串行执行的吞吐量。如果这两个任务执行时间相差太大，则没必要进行分解。可以通过Runtime.getRuntime().availableProcessors()方法获得当前设备的CPU个数。

对于IO型的任务的最佳线程数，有个公式可以计算

Nthreads = NCPU UCPU (1 + W/C)

其中：

• NCPU是处理器的核的数目
• UCPU是期望的CPU利用率（该值应该介于0和1之间）
• W/C是等待时间与计算时间的比率

等待时间与计算时间我们在Linux下使用相关的vmstat命令或者top命令查看

优先级不同的任务可以使用优先级队列PriorityBlockingQueue来处理。它可以让优先级高的任务先执行

执行时间不同的任务可以交给不同规模的线程池来处理，或者可以使用优先级队列，让执行时间短的任务先执行

依赖数据库连接池的任务，因为线程提交SQL后需要等待数据库返回结果，等待的时间越长，则CPU空闲时间就越长，那么线程数应该设置得越大，这样才能更好地利用CPU

建议使用有界队列。有界队列能增加系统的稳定性和预警能力，可以根据需要设大一点儿，比如几千

假设，我们现在有一个Web系统，里面使用了线程池来处理业务，在某些情况下，系统里后台任务线程池的队列和线程池全满了，不断抛出抛弃任务的异常，通过排查发现是数据库出现了问题，导致执行SQL变得非常缓慢，因为后台任务线程池里的任务全是需要向数据库查询和插入数据的，所以导致线程池里的工作线程全部阻塞，任务积压在线程池里

如果当时我们设置成无界队列，那么线程池的队列就会越来越多，有可能会撑满内存，导致整个系统不可用，而不只是后台任务出现问题

JDK预定义线程池

FixedThreadPool详解

线程数固定，且全部是核心线程，Integer.MAX_VALUE长度的BlockingQueue

适用于为了满足资源管理的需求，而需要限制当前线程数量的应用场景，它适用于负载比较重的服务器

当线程池中的线程数大于corePoolSize时，keepAliveTime为多余的空闲线程等待新任务的

最长时间，超过这个时间后多余的线程将被终止。这里把keepAliveTime设置为0L，意味着多余的空闲线程会被立即终止

FixedThreadPool使用无界队列LinkedBlockingQueue作为线程池的工作队列（队列的容量为Integer.MAX_VALUE）

SingleThreadExecutor

corePoolSize和maximumPoolSize被设置为1。其他参数与FixedThreadPool相同。SingleThreadExecutor使用界无队列LinkedBlockingQueue作为线程池的工作队列（队列的容量为Integer.MAX_VALUE）

CachedThreadPool

大小为0的BlockingQueue，可以起Integer.MAX_VALUE个线程处理，适用于执行很多的短期异步任务的小程序，或者是负载较轻的服务器

这里把keepAliveTime设置为60L，意味着CachedThreadPool中的空闲线程等待新任务的最长时间为60秒，空闲线程超过60秒后将会被终止

FixedThreadPool和SingleThreadExecutor使用无界队列LinkedBlockingQueue作为线程池的工作队列。CachedThreadPool使用没有容量的SynchronousQueue作为线程池的工作队列，但CachedThreadPool的maximumPool是无界的。这意味着，如果主线程提交任务的速度高于maximumPool中线程处理任务的速度时，CachedThreadPool会不断创建新线程。极端情况下，CachedThreadPool会因为创建过多线程而耗尽CPU和内存资源

WorkStealingPool

利用所有运行的处理器数目来创建一个工作窃取的线程池，使用forkJoinPool实现

每个线程有自己的等待队列，自己的队列处理完，会去其他线程尾端偷取任务来进行处理

ScheduledThreadPoolExecutor ---- DelayedWorkQueue实现

使用工厂类Executors来创建。Executors可以创建2种类型的ScheduledThreadPoolExecutor，如下：

• ScheduledThreadPoolExecutor。包含若干个线程的ScheduledThreadPoolExecutor
• SingleThreadScheduledExecutor。只包含一个线程的ScheduledThreadPoolExecutor

ScheduledThreadPoolExecutor适用于需要多个后台线程执行周期任务，同时为了满足资源管理的需求而需要限制后台线程的数量的应用场景。

SingleThreadScheduledExecutor适用于需要单个后台线程执行周期任务，同时需要保证顺序地执行各个任务的应用场景

quartz定时器框架
面试：假如提供一个闹钟服务，订阅这个服务的人特别多，10亿人，怎么优化？nginx把请求分到不同服务器上，各个服务器上再用线程池+消息队列消费