阿里Java开发手册明确java开发使用 ThreadPoolExecutor 的方式创建线程池
3. 【强制】线程资源必须通过线程池提供,不允许在应用中自行显式创建线程。
说明:使用线程池的好处是减少在创建和销毁线程上所花的时间以及系统资源的开销,解决资源不足的问题。
如果不使用线程池,有可能造成系统创建大量同类线程而导致消耗完内存或者 “过度切换”的问题。
4. 【强制】线程池不允许使用 Executors 去创建,而是通过 ThreadPoolExecutor 的方式,
这样的处理方式让写的同学更加明确线程池的运行规则,规避资源耗尽的风险。
说明: Executors 返回的线程池对象的弊端如下:
1) FixedThreadPool 和 SingleThreadPool :
允许的请求队列长度为 Integer.MAX_VALUE ,可能会堆积大量的请求,从而导致 OOM 。
2) CachedThreadPool 和 ScheduledThreadPool :
允许的创建线程数量为 Integer.MAX_VALUE ,可能会创建大量的线程,从而导致 OOM 。
java五种常见线程池
threadPool = Executors.newCachedThreadPool();//有缓冲的线程池,线程数 JVM 控制
threadPool = Executors.newFixedThreadPool(3);//固定大小的线程池
threadPool = Executors.newScheduledThreadPool(2);//定时任务线程数
threadPool = Executors.newSingleThreadExecutor();//单线程的线程池,只有一个线程在工作
threadPool = new ThreadPoolExecutor(...);//默认线程池,可控制参数比较多
ThreadPoolExecutor创建线程池
//五个参数的构造函数,少了ThreadFactory 和 拒绝策略,使用默认的
public ThreadPoolExecutor(int corePoolSize,
int maximumPoolSize,
long keepAliveTime,
TimeUnit unit,
BlockingQueue workQueue)
//六个参数的构造函数,少了拒绝策略,即使用默认的
public ThreadPoolExecutor(int corePoolSize,
int maximumPoolSize,
long keepAliveTime,
TimeUnit unit,
BlockingQueue workQueue,
ThreadFactory threadFactory)
//六个参数的构造函数,少了threadFactory,即使用默认的
public ThreadPoolExecutor(int corePoolSize,
int maximumPoolSize,
long keepAliveTime,
TimeUnit unit,
BlockingQueue workQueue,
RejectedExecutionHandler handler)
//七个参数的构造函数,全
public ThreadPoolExecutor(int corePoolSize,
int maximumPoolSize,
long keepAliveTime,
TimeUnit unit,
BlockingQueue workQueue,
ThreadFactory threadFactory,
RejectedExecutionHandler handler)
corePoolSize - 线程池大小,即核心线程的最大数量
默认线程池创建之后,线程池中的线程数为0,当任务过来就会创建一个核心线程去执行,当线程数小于核心线程数时,即使有空闲线程,线程池也会优先创建新线程处理。直到核心线程数达到corePoolSize 之后,就会被到达的任务放在缓存队列中。(注意是到达的任务)。
核心线程会一直存活,即使没有任务需要执行
如果执行了线程池的prestartAllCoreThreads()方法,线程池会提前创建并启动所有核心线程。
maximumPoolSize - 线程池的最大线程数,即核心线程+非核心线程的最大数量。
keepAliveTime - 针对非核心线程,当非核心线程的空闲时间超过keepAliveTime,则会被销毁
unit - keepAliveTime 的时间单位。
workQueue - 用来储存等待执行任务的队列。
threadFactory - 线程工厂。
handler - 拒绝策略。
(本人拙见:核心线程:体制员工 ,非核心线程:合同工)
流程
- 如果当前运行的线程少于corePoolSize,则创建新线程来执行任务(注意这一个步骤需要获取全局锁)。
- 如果运行的线程等于或多于corePoolSize,则将任务加入BlockingQueue。
- 如果无法将任务加入BlockingQueue(队列已满),则创建新的线程来处理任务(注意这一个步骤需要获取全局锁)。
- 如果创建的新线程将使当前运行的线程超出maximumPoolSize,任务将被执行饱和(拒绝)策略。ThreadPoolExecutor 采用上述的设计思路,是为执行execute()方法时,尽可能避免获取全局锁(一个严重的可伸缩瓶颈)。在ThreadPoolExecutor完成预热之后,几乎所有的execute()方法调用都是在执行步骤2,而步骤2不需要获取全局锁。
workQueue(用于保存等待被执行的任务的阻塞队列)
- ArrayBlockingQueue :一个由数组结构组成的有界阻塞队列,按FIFO排序任务。
new ArrayBlockingQueue(100)
- LinkedBlockingQueue : 一个由链表结构组成的有界阻塞队列,按FIFO排序任务,吞吐量通常要高于ArrayBlockingQueue。
new LinkedBlockingQueue<>();
- SynchronousQueue: 一个不存储元素的阻塞队列。每个插入操作必须等到另一个线程调用移除操作,否则插入操作一直处于阻塞状态,吞吐量通常高于LinkedBlockingQueue。
- PriorityBlockingQueue :一个支持优先级排序的无界阻塞队列。
threadFactory (线程工厂)
自定义ThreadFactory可以实现自定义线程的名称、组以及优先级等信息,甚至可以任性的将线程设置为守护线程。总之,自定义ThreadFactory可以更加自由的设置线程池中所有线程的状态。
class MyTreadFactory implements ThreadFactory {
private final AtomicInteger mThreadNum = new AtomicInteger(1);
@Override
public Thread newThread(Runnable r) {
Thread t = new Thread(r, "my-thread-" + mThreadNum.getAndIncrement());
System.out.println(t.getName() + " has been created");
return t;
}
}
handler (处理并发量大的情况下,拒绝策略对程序健壮性非常有用)
RejectedExecutionHandler handler = new ThreadPoolExecutor.AbortPolicy ();
- AbortPolicy (默认): 丢弃任务并抛出RejectedExecutionException异常。
public void rejectedExecution(Runnable r, ThreadPoolExecutor e) {
throw new RejectedExecutionException("Task " + r.toString() +
" rejected from " +e.toString());
}
- DiscardPolicy:也是丢弃任务,但是不抛出异常。
public void rejectedExecution(Runnable r, ThreadPoolExecutor e) {
}
- DiscardOldestPolicy:丢弃队列最前面的任务,然后重新尝试执行任务(重复此过程)
public void rejectedExecution(Runnable r, ThreadPoolExecutor e) {
if (!e.isShutdown()) {
e.getQueue().poll();
e.execute(r);
}
}
- CallerRunsPolicy:由调用线程处理该任务
public void rejectedExecution(Runnable r, ThreadPoolExecutor e) {
if (!e.isShutdown()) {
r.run();
}
}
如果你要自定义,添加写日志记录啥的
public static class MyIgnorePolicy implements RejectedExecutionHandler {
@Override
public void rejectedExecution(Runnable r, ThreadPoolExecutor e) {
doLog(r, e);
}
private void doLog(Runnable r, ThreadPoolExecutor e) {
// 可做日志记录等
System.err.println( r.toString() + " rejected");
// System.out.println("completedTaskCount: " + e.getCompletedTaskCount());
}
}
线程池的关闭
ThreadPoolExecutor提供了两个方法,用于线程池的关闭,分别是shutdown()和shutdownNow(),其中:
shutdown():不会立即终止线程池,而是要等所有任务缓存队列中的任务都执行完后才终止,但再也不会接受新的任务
-
shutdownNow():立即终止线程池,并尝试打断正在执行的任务,并且清空任务缓存队列,返回尚未执行的任务
1、RUNNING
状态说明:线程池处于RUNNING状态,能够接收新任务,以及对已添加的任务进行处理。
状态切换:线程池的初始化状态是RUNNING。换句话说,线程池一旦被创建,就处于RUNNING状态,并且线程池中的任务数为0。2、SHUTDOWN
状态说明:线程池处于SHUTDOWN状态,不接收新任务,能够处理已经添加的任务。
状态切换:调用shutdown()方法时,线程池由RUNNING -> SHUTDOWN。3、STOP
状态说明:线程池处于STOP状态,不接收新任务,不处理已提交的任务,并且会中断正在处理的任务。
状态切换:调用线程池中的shutdownNow()方法时,线程池由(RUNNING or SHUTDOWN) -> STOP。4、TIDYING
状态说明:当所有的任务已经停止,ctl记录“任务数量”为0,线程池会变为TIDYING状态。当线程池处于TIDYING状态时,会执行钩子函数 terminated()。terminated()在ThreadPoolExecutor类中是空, 的,若用户想在线程池变为TIDYING时,进行相应处理,可以通过重载 terminated()函数来实现。
状态切换:当线程池在SHUTDOWN状态下,阻塞队列为空并且线程池中执行任务也为空时,就会由SHUTDOWN -> TIDYING。当线程池在STOP状态下,线程池中执行的任务为空时,就会由STOP-> TIDYING。5、TERMINATED
状态说明:线程池线程池彻底停止,线程池处于TERMINATED状态,
状态切换:线程池处于TIDYING状态时,执行完terminated()之后, 就会由TIDYING->TERMINATED。
submit()和execute()的区别
任务分两类:一类是实现了Runnable接口的类,一类是实现了Callable接口的类。两者都可以被ExecutorService执行,它们的区别是:
execute(Runnable x) 没有返回值。可以执行任务,但无法判断任务是否成功完成。——实现Runnable接口的任务
submit(Runnable x) 返回一个future。可以用这个future来判断任务是否成功完成。——实现Callable接口和Runnable接口的任务,如果为Runnable,则get得到的为null:
使用submit方法还有一个特点就是,他的异常可以在主线程中catch到。而使用execute方法执行任务是捕捉不到异常的。
future.get()方法是会有阻塞性,在调用submit提交任务之后,future.get()一直等到任务执行完毕,拿到了返回的返回值,主线程才会继续运行。
设置合理的线程池大小
任务一般可分为:CPU密集型、IO密集型、混合型,对于不同类型的任务需要分配不同大小的线程池。
- CPU密集型任务
尽量使用较小的线程池,一般为CPU核心数+1。
因为CPU密集型任务使得CPU使用率很高,若开过多的线程数,只能增加上下文切换的次数,因此会带来额外的开销。
IO密集型任务
可以使用稍大的线程池,一般为2*CPU核心数。 - IO密集型任务CPU使用率并不高,因此可以让CPU在等待IO的时候去处理别的任务,充分利用CPU时间。
- 混合型任务
可以将任务分成IO密集型和CPU密集型任务,然后分别用不同的线程池去处理。
只要分完之后两个任务的执行时间相差不大,那么就会比串行执行来的高效。
因为如果划分之后两个任务执行时间相差甚远,那么先执行完的任务就要等后执行完的任务,最终的时间仍然取决于后执行完的任务,而且还要加上任务拆分与合并的开销,得不偿失。
public class ThreadTest {
//自定义ThreadFactory
private static class NameTreadFactory implements ThreadFactory {
private final AtomicInteger mThreadNum = new AtomicInteger(1);
@Override
public Thread newThread(Runnable r) {
Thread t = new Thread(r, "my-thread-" + mThreadNum.getAndIncrement());
System.out.println(t.getName() + " has been created");
return t;
}
}
//自定义拒绝策略
private static class MyIgnorePolicy implements RejectedExecutionHandler {
@Override
public void rejectedExecution(Runnable r, ThreadPoolExecutor e) {
doLog(r, e);
}
private void doLog(Runnable r, ThreadPoolExecutor e) {
// 日志记录
System.err.println( r.toString() + " rejected");
}
}
private final static ThreadPoolExecutor executor = new ThreadPoolExecutor
(10, 30, 2000, TimeUnit.MILLISECONDS,
new ArrayBlockingQueue(100),new NameTreadFactory(),new MyIgnorePolicy());
public static void main(String[] args) throws ExecutionException, InterruptedException {
//execute
executor.execute(()->{
try {
Thread.sleep(5000);
} catch (InterruptedException e) {
e.printStackTrace();
}
System.out.println("execute,无返回值");
});
//submit
Future future = executor.submit(()->{
try {
Thread.sleep(10000);
} catch (InterruptedException e) {
e.printStackTrace();
}
return "submit,有返回值Future";
});
System.out.println(future.get());
System.out.println("结束");
}
}
打印结果
my-thread-1 has been created
my-thread-2 has been created
execute,无返回值
submit,有返回值Future
结束