并发篇之线程池
并发篇之线程池
- 1、线程池的基本原理
- 2、为什么要使用线程池（线程池的优点）
- 3、线程池的执行流程
- 4、线程池的核心参数
- 5、线程池的创建
- 6、线程池的关闭（`shutdown`和`shutdownNow`）
- 7、线程池的状态
-
- 7.1、RUNNING
- 7.2、SHUTDOWN
- 7.3、STOP
- 7.4、TIDYING
- 7.5、TERMINATED
- 8、线程池饱和策略（拒绝策略）
- 9、线程池的工作队列
- 10、线程池异常处理
- 11、常用线程池
-
- 11.1、newFixedThreadPool（固定数目线程的线程池）
- 11.2、newCachedThreadPool（可缓存线程的线程池）
- 11.3、newSingleThreadExecutor（单线程的线程池）
- 11.4、newScheduledThreadPool（定时及周期执行的线程池）
- 12、如何合理的配置线程池
- 13、实现Runnable接口和Callable接口的区别（如何拿到线程池返回值）
- 14、执行execute（）方法和submit（）方法的区别
- 15、prestartCoreThread（）方法和prestartAllCoreThreads（）方法
- 16、怎么理解无界队列和有界队列
- 17、使用无界队列的线程池会导致内存飙升吗？
- 18、说说几种常见的线程池及使用场景？
- 19、单机上一个线程正在处理服务，如果忽然断电了怎么办（正在处理和阻塞队列里的请求怎么处理）
1、线程池的基本原理
线程池会预先创建一定数量的线程对象，放入到缓冲池中，比如创建了三个线程对象，任务过来之后，要从线程池中取，假如同时来了四个任务，只能执行三个任务，第四个任务需要进入等待队列中排队，等待某个任务执行完毕释放线程后，第四个任务就可以执行了。当同时来了很多个任务，等待队列被排满了，线程池就会创建新的线程对象去执行任务，但线程池的容量是有限的，当线程数达到了线程池的最大容量，这个时候再来任务，线程池就会拒绝任务
2、为什么要使用线程池（线程池的优点）
- 降低资源消耗：通过重复利用已创建的线程降低线程创建和销毁造成的消耗
- 提高响应速度：当任务到达时，任务可以不需要的等到线程创建就能立即执行
- 提高线程的可管理性：线程是稀缺资源，如果无限制的创建，不仅会消耗系统资源，还会降低系统的稳定性，使用线程池可以进行统一的分配，调优和监控
3、线程池的执行流程
- 提交一个任务，线程池里存活的核心线程数小于corePoolSize，线程池会创建一个核心线程去处理提交的任务
- 如果线程池核心线程数已满，即线程数已经等于corePoolSize，一个新提交的任务，会被放进任务队列workQueue排队等待执行‘
- 当线程池里面存活的线程数已经等于corePoolSize，并且任务队列workQueue也满，判断线程数是否达到maximumPoolSize，即最大线程数是否已满，如果没达到，创建一个非核心线程执行提交的任务
- 如果当前的线程数达到了maximumPoolSize还有新的任务过来的话，直接采用拒绝策略处理
4、线程池的核心参数
corePoolSize：线程池核心线程数maximumPoolSize：线程池最大线程数keepAliveTime：线程池中非核心线程空闲的存活时间大小unit：线程空闲存活时间单位workQueue：存放任务的阻塞队列threadFactory：用于设置创建线程的工厂，可以给创建的线程设置有意义的名字，方便排查问题handler：线程池的饱和策略
5、线程池的创建
《阿里巴巴Java开发手册》中强制线程池不允许使用 Executors 去创建，而是通过ThreadPoolExecutor 的方式，这样的处理方式让写的同学更加明确线程池的运行规则，规避资源耗尽的风险
Executors 返回线程池对象的弊端如下：
FixedThreadPool 和 SingleThreadExecutor ：允许请求的队列长度为Integer.MAX_VALUE，可能堆积大量的请求，从而导致 OOM。
CachedThreadPool 和ScheduledThreadPool ： 允许创建的线程数量为Integer.MAX_VALUE ，可能会创建大量线程，从而导致 OOM。
所以我们创建线程池主要是通过ThreadPoolExecutor类来完成
6、线程池的关闭（shutdown和shutdownNow）
关闭线程池，可以通过shutdown和shutdownNow这两个方法。它们的原理都是遍历线程池中所有的线程，然后依次中断线程。
shutdown和shutdownNow还是有不一样的地方：
shutdownNow首先将线程池的状态设置为STOP,然后尝试停止所有的正在执行和未执行任务的线程，并返回等待执行任务的列表；shutdown只是将线程池的状态设置为SHUTDOWN状态，然后中断所有没有正在执行任务的线程
可以看出 shutdown 方法会将正在执行的任务继续执行完，而 shutdownNow 会直接中断正在执行的任务。调用了这两个方法的任意一个，isShutdown方法都会返回 true，当所有的线程都关闭成功，才表示线程池成功关闭，这时调用isTerminated方法才会返回 true。
7、线程池的状态
线程池有这几个状态：
- RUNNING
- SHUTDOWN
- STOP
- TIDYING
- TERMINATED
7.1、RUNNING
- 该状态的线程池会接收新任务，并处理阻塞队列中的任务;
- 调用线程池的shutdown()方法，可以切换到SHUTDOWN状态;
- 调用线程池的shutdownNow()方法，可以切换到STOP状态;
7.2、SHUTDOWN
- 该状态的线程池不会接收新任务，但会处理阻塞队列中的任务；
- 队列为空，并且线程池中执行的任务也为空,进入TIDYING状态;
7.3、STOP
- 该状态的线程不会接收新任务，也不会处理阻塞队列中的任务，而且会中断正在运行的任务；
- 线程池中执行的任务为空,进入TIDYING状态;
7.4、TIDYING
- 该状态表明所有的任务已经运行终止，记录的任务数量为0。
- terminated()执行完毕，进入TERMINATED状态
7.5、TERMINATED
- 该状态表示线程池彻底终止
8、线程池饱和策略（拒绝策略）
- AbortPolicy (抛出一个异常，默认的)
- DiscardPolicy (直接丢弃任务)
- DiscardOldestPolicy（丢弃队列里最老的任务，将当前这个任务继续提交给线程池）
- CallerRunsPolicy（交给线程池调用所在的线程进行处理)
9、线程池的工作队列
- ArrayBlockingQueue（有界队列）：有界队列，是一个用数组实现的有界阻塞队列，按FIFO排序
- LinkedBlockingQueue（无界队列）：可设置容量队列，基于链表结构的阻塞队列，按FIFO排序任务，容量可以选择进行设置，不设置的话，将是一个无边界的阻塞队列，最大长度为Integer.MAX_VALUE，吞吐量通常要高于ArrayBlockingQuene；newFixedThreadPool线程池使用了这个队列
- DelayQueue（延迟队列）：延迟队列，是一个任务定时周期的延迟执行的队列。根据执行的执行时间从小到大排序，否则根据插入到队列的先后排序。newScheduledThreadPool线程池使用了这个队列。
- PriorityBlockingQueue（优先级队列）：优先级队列，是具有优先级的无阻塞队列。
- SynchronousQueue（同步队列）：同步队列，一个不存元素的阻塞队列，每个插入操作必须等到另一个线程调用移除操作，否则插入操作一直处于阻塞状态，吞吐量通常要高于LinkedBlockingQueue，newCachedThreadPool线程池使用了这个队列。
10、线程池异常处理
- 在任务代码try/catch捕获异常
- 通过Future对象的get方法接收抛出的异常，再处理
- 为工作者线程设置UncaughtExceptionHandler，在uncaughtException方法中处理异常
11、常用线程池
- newFixedThreadPool（固定数目线程的线程池）
- newCachedThreadPool（可缓存线程的线程池）
- newSingleThreadExecutor（单线程的线程池）
- newScheduledThreadPool（定时及周期执行的线程池）
11.1、newFixedThreadPool（固定数目线程的线程池）
特点：
- 核心线程数和最大线程数大小一样
- 没有所谓的非空闲时间，即keepAliveTime为0
- 阻塞队列为无界队列LinkedBlockingQueue
工作机制：
- 提交任务
- 如果线程数少于核心线程，创建核心线程执行任务
- 如果线程数等于核心线程，把任务添加到LinkedBlockingQueue阻塞队列
- 如果线程执行完任务，去阻塞队列取任务，继续执行
面试题：使用无界队列的线程池会导致内存飙升吗？
会的，newFixedThreadPool使用了无界的阻塞队列LinkedBlockingQueue，如果线程获取一个任务后，任务的执行时间比较长，会导致队列的任务越积越多，导致机器内存使用不停飙升，最终导致OOM
适用场景
FixedThreadPool适用于处理CPU密集型的任务，确保CPU在长期被工作线程使用的情况下，尽可能的少的分配线程，即适用执行长期的任务
11.2、newCachedThreadPool（可缓存线程的线程池）
特点：
- 核心线程数为0
- 最大线程数为Integer.MAX_VALUE
- 阻塞队列是SynchronousQueue
- 非核心线程空闲存活时间为60秒
当提交任务的速度大于处理任务的速度时，每次提交一个任务，就必然会创建一个线程。极端情况下会创建过多的线程，耗尽CPU的和内存资源。由于空闲60秒的线程会被终止，长时间保持空闲的CachedThreadPool不会占用资源
工作机制
- 提交任务
- 因为没有核心线程，所以任务直接加到SynchronousQueue队列
- 判断是否有空闲线程，如果有，就去取出执行任务‘
- 如果没有空闲线程，就新建一个线程执行
- 执行完任务的线程，还可以存活60秒，如果在这期间，接到任务，可以继续活下去；否则，被销毁。
适用场景
用于并发执行大量短期的小任务
11.3、newSingleThreadExecutor（单线程的线程池）
特点：
- 核心线程数为1
- 最大线程数为1
- 阻塞队列是LinkedBlockingQueue
- 空闲存活时间为0
工作机制
- 提交任务
- 线程池是否有一条线程在，如果没有，新建线程执行任务
- 如果有，将任务加到阻塞队列
- 当前唯一的线程，从队列取任务，执行完一个，再继续取，一个人（一条线程）夜以继日的干活
适用场景
适用于串行执行任务的场景，一个任务一个任务的执行
11.4、newScheduledThreadPool（定时及周期执行的线程池）
特点：
- 最大线程数为Integer.MAX_VALUE
- 阻塞队列是DelayedWorkQueue
- 空闲存活时间为0
- scheduleAtFixedRate() ：按某种速率周期执行
- scheduleWithFixedDelay()：在某个延迟后执行
工作机制
- 添加一个任务
- 线程池中的线程从DelayQueue中取任务
- 线程从DelayQueue中获取time大于等于当前时间的task
- 执行完后修改这个task的time为下次被执行的时间
- 这个task放回DelayQueue队列中
适用场景
周期性执行任务的场景，需要限制线程数量的场景
面试题：说说几种常见的线程池及使用场景？
回答这四种经典线程池 ：newFixedThreadPool，newSingleThreadExecutor，newCachedThreadPool，newScheduledThreadPool，分线程池特点，工作机制，使用场景分开描述，再分析可能存在的问题，比如newFixedThreadPool内存飙升问题 即可
12、如何合理的配置线程池
想要合理的配置线程池，首先要分析任务特性，可以从以下几个角度：
- 任务的性质：CPU密集型任务，IO密集型任务，混合型任务
- 任务的优先级：高、中、低
- 任务的执行时间：长、中、短
- 任务的依赖性：是否依赖其他系统资源，如数据库连接
任务性质：
- CPU密集型：CPU密集的意思是该任务需要大量计算，CPU高速运行，没有阻塞。想要CPU高速运行，就要减少线程切换的次数，所以CPU密集型任务创建的线程数应该等于CPU核数
- IO密集型任务：任务需要大量的IO操作，如果线程数较少，会导致CPU运算力大量浪费，所以IO密集型任务需要创建的线程数应该是CPU核数的2倍
- 混合型任务：对混合型任务可以进行拆分，拆分成一个CPU密集型任务和一个IO密集型任务
任务优先级：
优先级不同的任务可以使用优先级队列PriorityBlockingQueue来处理。它可以让优先级高的任务先得到执行，需要注意的是如果一直有优先级高的任务提交到队列里，那么优先级低的任务可能永远不能执行
任务的执行时间：
执行时间不同的任务可以交给不同规模的线程池来处理，或者也可以使用优先队列，让执行时间短的任务先执行
任务的依赖性：
依赖数据库连接池的任务，因为线程提交SQL后需要等待数据库返回结果，如果等待的时间越长CPU空闲的时间就越长，那么线程数应该设置越大，这样才能更好的利用CPU
阻塞队列最好是使用有界队列，如果采用无界队列的话，一旦任务积压在阻塞队列中的话就会占用过多的内存资源，甚至会使得系统崩溃
13、实现Runnable接口和Callable接口的区别（如何拿到线程池返回值）
如果想让线程池执行任务的话需要实现的Runnable接口或Callable接口。Runnable接口或Callable接口实现类都可以被ThreadPoolExecutor或ScheduledThreadPoolExecutor 执行。两者的区别在于Runnable接口不会返回结果，但是Callable接口可以返回结果
14、执行execute（）方法和submit（）方法的区别
1.execute（）方法用于提交不需要返回值的任务，所以无法判断任务是否被线程池执行成功与否
2. submit（）方法用于提交需要返回值的任务。线程池会返回一个future类型的对象，通过这个future对象可以判断任务是否执行成功，并且可以通过future的get（）方法来获得返回值，get（）方法会阻塞当前线程直到任务完成，而使用get(long timeout，TimeUnit unit) 方法则会阻塞当前线程一段时间后立即返回，这时候有可能任务没有执行完
15、prestartCoreThread（）方法和prestartAllCoreThreads（）方法
如果线程池调用了prestartCoreThread()或者 prestartAllCoreThreads()，线程池创建的时候所有的核心线程都会被创建并且启动
16、怎么理解无界队列和有界队列
- 有界队列即长度有限，满了以后ArrayBlockingQueue会插入阻塞。
- 无界队列就是里面能放无数的东西而不会因为队列长度限制被阻塞，但是可能会出现OOM异常。
17、使用无界队列的线程池会导致内存飙升吗？
会的，newFixedThreadPool使用了无界的阻塞队列LinkedBlockingQueue，如果线程获取一个任务后，任务的执行时间比较长，会导致队列的任务越积越多，导致机器内存使用不停飙升，最终导致OOM
18、说说几种常见的线程池及使用场景？
回答这四种经典线程池 ：newFixedThreadPool，newSingleThreadExecutor，newCachedThreadPool，newScheduledThreadPool，分线程池特点，工作机制，使用场景分开描述，再分析可能存在的问题，比如newFixedThreadPool内存飙升问题 即可
19、单机上一个线程正在处理服务，如果忽然断电了怎么办（正在处理和阻塞队列里的请求怎么处理）
经过网上查阅，发现基本是没有一个明确的回答的。不过思考过后一番，我感觉实现思路和MySQL的redo，undo功能很相似，我们可以对正在处理和阻塞队列的任务做事物管理或者对阻塞队列中的任务持久化处理，并且当断电或者系统崩溃，操作无法继续下去的时候，可以通过回溯日志的方式来撤销正在处理的已经执行成功的操作。然后重新执行整个阻塞队列。
即：
阻塞队列持久化，正在处理事物控制。断电之后正在处理的回滚，日志恢复该次操作。服务器重启后阻塞队列中的数据再加载