线程池深入理解
一 使用线程池的好处
合理利用线程池能够带来三个好处。第一：降低资源消耗。通过重复利用已创建的线程降低线程创建和销毁造成的消耗。第二：提高响应速度。当任务到达时，任务可以不需要的等到线程创建就能立即执行。第三：提高线程的可管理性。线程是稀缺资源，如果无限制的创建，不仅会消耗系统资源，还会降低系统的稳定性，使用线程池可以进行统一的分配，调优和监控。
二 在何种情况下使用线程池
要想合理的配置线程池，就必须首先分析任务特性，可以从以下几个角度来进行分析：
1. 任务的性质：CPU密集型任务，IO密集型任务和混合型任务。
2. 任务的优先级：高，中和低。
3. 任务的执行时间：长，中和短。
4. 任务的依赖性：是否依赖其他系统资源，如数据库连接。
任务性质不同的任务可以用不同规模的线程池分开处理。CPU密集型任务配置尽可能少的线程数量，如配置Ncpu+1个线程的线程池。IO密集型任务则由于需要等待IO操作，线程并不是一直在执行任务，则配置尽可能多的线程（对数据库写入操作来说大部分时间都放在了IO上，因此会耗费大量时间在等待提交数据后的结果。此时应该配置肯能多的线程），如2*Ncpu。混合型的任务，如果可以拆分，则将其拆分成一个CPU密集型任务和一个IO密集型任务，只要这两个任务执行的时间相差不是太大，那么分解后执行的吞吐率要高于串行执行的吞吐率，如果这两个任务执行时间相差太大，则没必要进行分解。我们可以通过Runtime.getRuntime().availableProcessors()方法获得当前设备的CPU个数。
优先级不同的任务可以使用优先级队列PriorityBlockingQueue来处理。它可以让优先级高的任务先得到执行，需要注意的是如果一直有优先级高的任务提交到队列里，那么优先级低的任务可能永远不能执行。
执行时间不同的任务可以交给不同规模的线程池来处理，或者也可以使用优先级队列，让执行时间短的任务先执行。
依赖数据库连接池的任务，因为线程提交SQL后需要等待数据库返回结果，如果等待的时间越长CPU空闲时间就越长，那么线程数应该设置越大，这样才能更好的利用CPU。
建议使用有界队列，有界队列能增加系统的稳定性和预警能力，可以根据需要设大一点，比如几千。有一次我们组使用的后台任务线程池的队列和线程池全满了，不断的抛出抛弃任务的异常，通过排查发现是数据库出现了问题，导致执行SQL变得非常缓慢，因为后台任务线程池里的任务全是需要向数据库查询和插入数据的，所以导致线程池里的工作线程全部阻塞住，任务积压在线程池里。如果当时我们设置成无界队列，线程池的队列就会越来越多，有可能会撑满内存，导致整个系统不可用，而不只是后台任务出现问题。当然我们的系统所有的任务是用的单独的服务器部署的，而我们使用不同规模的线程池跑不同类型的任务，但是出现这样问题时也会影响到其他任务。当然，我们也可以写一个监控程序，实时尚未写入数据库并缓存在工作队列中的数据总量，并动态的通过sleep方法来降低写入数据库的压力,具体可以参见多线程批量向数据库中插入数据项目链接：
http://pan.baidu.com/s/1eQEkfZG
三线程池原理
我们可以通过ThreadPoolExecutor来创建一个线程池。创建一个线程池需要输入几个参数：
newThreadPoolExecutor(corePoolSize, maximumPoolSize,
keepAliveTime,milliseconds,runnableTaskQueue, threadFactory,handler);
corePoolSize（上图中核心线程池数量线程池的基本大小）：当提交一个任务到线程池时，线程池会创建一个线程来执行任务，即使其他空闲的基本线程能够执行新任务也会创建线程，等到需要执行的任务数大于线程池基本大小时就不再创建。如果调用了线程池的prestartAllCoreThreads方法，线程池会提前创建并启动所有基本线程。
· runnableTaskQueue（上图中的workqueue任务队列）：用于保存等待执行的任务的阻塞队列。可以选择以下几个阻塞队列。
1. ArrayBlockingQueue：是一个基于数组结构的有界阻塞队列，此队列按 FIFO（先进先出）原则对元素进行排序。
2. LinkedBlockingQueue：一个基于链表结构的阻塞队列，此队列按FIFO（先进先出）排序元素，吞吐量通常要高于ArrayBlockingQueue。静态工厂方法Executors.newFixedThreadPool()使用了这个队列。
3. SynchronousQueue：一个不存储元素的阻塞队列。每个插入操作必须等到另一个线程调用移除操作，否则插入操作一直处于阻塞状态，吞吐量通常要高于LinkedBlockingQueue，静态工厂方法Executors.newCachedThreadPool使用了这个队列。
4. PriorityBlockingQueue：一个具有优先级得无限阻塞队列。
· maximumPoolSize（线程池最大大小）：线程池允许创建的最大线程数。如果队列满了，并且已创建的线程数小于最大线程数，则线程池会再创建新的线程执行任务。值得注意的是如果使用了无界的任务队列这个参数就没什么效果。
从上图我们可以看出，当提交一个新任务到线程池时，线程池的处理流程如下：
1. 首先线程池判断基本线程池是否已满？没满，创建一个工作线程来执行任务。满了，则进入下个流程。
2. 其次线程池判断工作队列是否已满？没满，则将新提交的任务存储在工作队列里。满了，则进入下个流程。
3. 最后线程池判断整个线程池是否已满？没满，则创建一个新的工作线程来执行任务，满了，则交给饱和策略来处理这个任务。
处理流程
举例说明：
假设coresize设置为4，maximumPoolSize设置为6，工作队列为有界队列workequeque其大小为3，。假如此时线程池中没有任何任务，等待插入执行的任务依次为t1,t2,t3,t4,t5,t6,t7,t8….tn。限制条件为每个任务t执行时间都很长。
由于coresize为4，从t1到t4不需要等待直接创建4个线程开始执行。等到t5进入时候，由于coresize已经满了，但是workqueque还有三个位置空着，则t5进入workqueque，同理t6,t7也进入队列中等待。此时任务t8进入，
此时状态为（1）coresize已满
（2）worqueue已满
（3）maximumPoolSize- coresize=2（还有两个位置，可以创建新线程）
但是线程池中的线程数尚未达到最大值6（当前线程池有4个线程正在运行），于是线程池为t8新建一个线程。此时会出现一个情况即虽然t8进入线程池的时间比t5、t6、t7晚，但是t8会先于在workqueue中等待的（t5、t6、t7）执行
同样t9过来后状态
此时状态为（1）coresize已满
（2）worqueue已满
（3）maximumPoolSize- coresize=2（t8开启了线程，还有1个位置，可以创建新线程）t9也会先执行。
当t10过来时候发现
（1）coresize已满
（2）worqueue已满
（3）maximumPoolSize- coresize=2（t8、t9开启了线程还有0个位置，不可以创建新线程）t10会被线程池拒绝执行。我们可以自己实现RejectedExecutionHandler接口，如下所示。当任务被拒绝执行的时候会自动调用我们的接口。
package com.journaldev.threadpool;
import java.util.concurrent.RejectedExecutionHandler;
import java.util.concurrent.ThreadPoolExecutor;
public class RejectedExecutionHandlerImpl implements RejectedExecutionHandler {
public void rejectedExecution(Runnable r, ThreadPoolExecutor executor) {
System.out.println(r.toString() + " is rejected");
}
}
· ThreadFactory：用于设置创建线程的工厂，可以通过线程工厂给每个创建出来的线程设置更有意义的名字，Debug和定位问题时非常又帮助。
RejectedExecutionHandler（饱和策略）：当队列和线程池都满了，说明线程池处于饱和状态，那么必须采取一种策略处理提交的新任务。这个策略默认情况下是AbortPolicy，表示无法处理新任务时抛出异常。以下是JDK1.5提供的四种策略。n AbortPolicy：直接抛出异常。
1. CallerRunsPolicy：只用调用者所在线程来运行任务。
2. DiscardOldestPolicy：丢弃队列里最近的一个任务，并执行当前任务。
3. DiscardPolicy：不处理，丢弃掉。
4. 当然也可以根据应用场景需要来实现RejectedExecutionHandler接口自定义策略。如记录日志或持久化不能处理的任务。
· keepAliveTime（线程活动保持时间）：线程池的工作线程空闲后，保持存活的时间。所以如果任务很多，并且每个任务执行的时间比较短，可以调大这个时间，提高线程的利用率。
· TimeUnit（线程活动保持时间的单位）：可选的单位有天（DAYS），小时（HOURS），分钟（MINUTES），毫秒(MILLISECONDS)，微秒(MICROSECONDS,千分之一毫秒)和毫微秒(NANOSECONDS,千分之一微秒)。
线程池监控方法
通过线程池提供的参数进行监控。线程池里有一些属性在监控线程池的时候可以使用
· taskCount：线程池需要执行的任务数量（只要被线程池接受的任务都计入在内）。
· completedTaskCount：线程池在运行过程中已完成的任务数量。小于或等于taskCount。
· largestPoolSize：线程池曾经创建过的最大线程数量。通过这个数据可以知道线程池是否满过。如等于线程池的最大大小，则表示线程池曾经满了。
· getPoolSize:线程池的线程数量。即使所有任务完成后，线程还会继续存活一段时间，可以具体参考下TimeUnit（线程活动保持时间的单位）。
· getActiveCount：获取活动的线程数。
四 代码学习实例
1）等待运行的任务类
package com.journaldev.threadpool;
public class WorkerThread implements Runnable {
private String command;
public WorkerThread(String s){
this.command=s;
}
public void run() {
System.out.println(Thread.currentThread().getName()+" Start. Command = "+command);
processCommand();
System.out.println(Thread.currentThread().getName()+" End.");
}
private void processCommand() {
try {
Thread.sleep(5000);
} catch (InterruptedException e) {
e.printStackTrace();
}
}
@Override
public String toString(){
return ("线程："+this.command);
}
}
package com.journaldev.threadpool;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;
import java.util.concurrent.TimeUnit;
public class SimpleThreadPool {
public static void main(String[] args) {
ExecutorService executor = Executors.newFixedThreadPool(5);
for (int i = 0; i < 10; i++) {
Runnable worker = new WorkerThread(" "+ i);
executor.execute(worker);
System.out.println("worker "+i+" added");
//不存在阻塞 前五个任务直接进入线程池开启线程执行 后五项任务加入工作队列等待执行
}
executor.shutdown();
try {
while(!executor.awaitTermination(1, TimeUnit.SECONDS))
{}
} catch (InterruptedException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
/* while (!executor.isTerminated()) {
}//一直循环 直到全部任务完成
*/ System.out.println("Finished all threads");
}
}
3） 下面是一个自定义实现RejectedExecutionHandler 接口的例子：
package com.journaldev.threadpool;
import java.util.concurrent.RejectedExecutionHandler;
import java.util.concurrent.ThreadPoolExecutor;
public class RejectedExecutionHandlerImpl implements RejectedExecutionHandler {
public void rejectedExecution(Runnable r, ThreadPoolExecutor executor) {
System.out.println(r.toString() + " is rejected");
}
}4） ThreadPoolExecutor提供了使用它我们可以找出执行者，池大小，活动线程数和任务数的当前状态的几种方法。所以，我有一个监视线程，这将在一定的时间间隔打印的执行人的信息。
package com.journaldev.threadpool;
import java.util.concurrent.ThreadPoolExecutor;
public class MyMonitorThread implements Runnable
{
private ThreadPoolExecutor executor;
private int seconds;
private boolean run=true;
public MyMonitorThread(ThreadPoolExecutor executor, int delay)
{
this.executor = executor;
this.seconds=delay;
}
public void shutdown(){
this.run=false;
}
public void run()
{
while(run){
System.out.println(
String.format("[monitor] [%d/%d] Active: %d, Completed: %d, Task: %d, isShutdown: %s, isTerminated: %s",
this.executor.getPoolSize(),//线程池中保存着的线程数
this.executor.getCorePoolSize(),//线程池基本大小
this.executor.getActiveCount(),//当前活动的线程大小
this.executor.getCompletedTaskCount(),//已经完成的任务数量
this.executor.getTaskCount(),//所有任务总量
this.executor.isShutdown(),//是否已经关闭（不再接受新的任务）
this.executor.isTerminated()));//是否所所有任务完成 只要保存着
try {
Thread.sleep(seconds*1000);
} catch (InterruptedException e) {
e.printStackTrace();
}
}
}
}5） 这里是实现线程池的例子使用线程池：
package com.journaldev.threadpool;
import java.util.concurrent.ArrayBlockingQueue;
import java.util.concurrent.Executors;
import java.util.concurrent.ThreadFactory;
import java.util.concurrent.ThreadPoolExecutor;
import java.util.concurrent.TimeUnit;
public class WorkerPool {
public static void main(String args[]) throws InterruptedException{
//RejectedExecutionHandler implementation
RejectedExecutionHandlerImpl rejectionHandler = new RejectedExecutionHandlerImpl();
//Get the ThreadFactory implementation to use
ThreadFactory threadFactory = Executors.defaultThreadFactory();
//creating the ThreadPoolExecutor
ThreadPoolExecutor executorPool = new ThreadPoolExecutor(2, 4, 10, TimeUnit.SECONDS, new ArrayBlockingQueue(2), threadFactory, rejectionHandler);
//start the monitoring thread
MyMonitorThread monitor = new MyMonitorThread(executorPool, 3);
Thread monitorThread = new Thread(monitor);
monitorThread.start();
//submit work to the thread pool
for(int i=0; i<10; i++){
executorPool.execute(new WorkerThread("cmd"+i));
}
executorPool.shutdown();//执行此方法会立刻执行，一定要加上此句，否则会认为线程池还会有新的任务
/*shutdown方法的作用：（1）将线程池设置为shutdown状态（2）中断没有正在执行任务的线程（因为线程池中会一直维护着若干个线程处于活动状态，中断没有正 在执行任务的线程意味着关闭空闲线程）（3）线程池不能再接受新的任务，但会一直等待已经添加到工作队列中的任务完成。*/
//不加的话executorPool.awaitTermination(1, TimeUnit.SECONDS)会一直为false
try {
//每隔一秒检测线程池是否完成所有任务 也可以使用 while (!executor.isTerminated())
while(!executorPool.awaitTermination(1, TimeUnit.SECONDS))
{}
}
catch (InterruptedException e)
{e.printStackTrace();}
}
pool-1-thread-1 Start. Command = cmd0
pool-1-thread-2 Start. Command = cmd1
线程：cmd6 is rejected
线程：cmd7 is rejected
线程：cmd8 is rejected
pool-1-thread-4 Start. Command = cmd5
pool-1-thread-3 Start. Command = cmd4
线程：cmd9 is rejected
[monitor] [0/2] Active: 2, Completed: 0, Task: 4, isShutdown: false, isTerminated: false
[monitor] [4/2] Active: 4, Completed: 0, Task: 6, isShutdown: true, isTerminated: false
pool-1-thread-1 End.
pool-1-thread-2 End.
pool-1-thread-1 Start. Command = cmd2
pool-1-thread-2 Start. Command = cmd3
pool-1-thread-4 End.
pool-1-thread-3 End.
[monitor] [2/2] Active: 2, Completed: 4, Task: 6, isShutdown: true, isTerminated: false
[monitor] [2/2] Active: 2, Completed: 4, Task: 6, isShutdown: true, isTerminated: false
pool-1-thread-2 End.
pool-1-thread-1 End.
[monitor] [0/2] Active: 0, Completed: 6, Task: 6, isShutdown: true, isTerminated: true
具体原因可以参考上面线程池处理流程举例说明。测试项目源代码下载链接
http://pan.baidu.com/s/1dK666