Thinking in java 之并发其五:强大的 JUC 包
一、前言
java 的 java.util.concurrent 是 java 用于提供一些并发程序所需功能的类包。它的功能全面且强大,在前面,我们已经使用过原子基本变量,BlockingQueue 等类。现在,我们需要更加深入的去了解 JUC 的强大功能。
二、CountDownLatch
该类用来同步一个或多个任务,强制它们等待由其他任务执行的一组操作完成。
在 CountDownLatch 对象中设置一个初始的计数值,任何在这个对象上调用 wait() 的方法都讲阻塞,直至这个计数值到达0。其他任务在结束工作时,可以在该对象上调用 countDown() 来减小这个数值。同事,CountDownLatch 只能出发一次,计数值不能被重置。如果有重置的需要,可以使用 CyclicBarrier。
先来看一个使用 CountDownLatch 的简单示例:
package JUCTest;
import java.util.Random;
import java.util.concurrent.CountDownLatch;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;
import java.util.concurrent.TimeUnit;
class TaskPortion implements Runnable{
private static int counter = 0;
private final int id = counter++;
private static Random rand = new Random(47);
private final CountDownLatch countDownLatch;
public TaskPortion(CountDownLatch countDownLatch) {
this.countDownLatch = countDownLatch;
}
@Override
public void run() {
try {
doWork();
countDownLatch.countDown();
}catch(InterruptedException e) {
System.out.println("Exit");
}
}
public void doWork() throws InterruptedException{
TimeUnit.MILLISECONDS.sleep(rand.nextInt(20000));
System.out.println(this + " complete");
}
public String toString() {
return "TaskPorition : " + id;
}
}
class WaitingTask implements Runnable{
private static int counter = 0;
private final int id = counter++;
private final CountDownLatch countDownLatch;
public WaitingTask(CountDownLatch countDownLatch) {
this.countDownLatch = countDownLatch;
}
@Override
public void run() {
try {
countDownLatch.await();
System.out.println("latch barrier pass for " + this);
}catch(InterruptedException e) {
System.out.println(this + "interrupted");
}
}
public String toString() {
return "TaskPorition : " + id;
}
}
public class CountDownLatchDemo {
static final int SIZE = 10;
public static void main(String args[]) {
ExecutorService exec = Executors.newCachedThreadPool();
CountDownLatch latch = new CountDownLatch(SIZE);
for(int i=0;i<10;i++) {
exec.execute(new WaitingTask(latch));
}
for(int i=0;i
通过前面章节的内容,我们可以很容一个实现 “A 任务 等到 B 任务完成之后再去执行” 的功能,而在上述例子中,B 任务是由 10 个子任务构成的。通过 CountDownLatch 我们没完成一个子任务,就会是 countDownLatch 减1。等待所有子任务完成,countDownLatch 变为0后,启动 A 任务。
二、CyclicBarrier
countDownLatch 可以使某个任务完成之后进入阻塞状态,阻塞状态持续到其他相关任务全部完成之后(countDownLatch 变为0)。CyclicBarrier 类似于countDownLatch ,和 countDownLatch 的区别在于。在所有任务完成之后,CyclicBarrier 的计数器会重置。
先看一个简单的示例:
package JUCTest;
import java.util.ArrayList;
import java.util.List;
import java.util.Random;
import java.util.concurrent.BrokenBarrierException;
import java.util.concurrent.CyclicBarrier;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;
import java.util.concurrent.TimeUnit;
class Horse implements Runnable{
private static int counter = 0;
private final int id = counter++;
private int strides = 0;
private static Random rand = new Random(47);
private static CyclicBarrier barrier;
public Horse(CyclicBarrier b) {
barrier = b;
}
public synchronized int getStrides() {
return strides;
}
@Override
public void run() {
try {
while(!Thread.interrupted()) {
synchronized(this) {
strides += rand.nextInt(3);
}
barrier.await();
}
}catch(InterruptedException e) {
e.printStackTrace();
}catch(BrokenBarrierException e) {
throw new RuntimeException(e);
}
}
public String toString() {
return "Horse " + id +" ";
}
public String tracks(){
StringBuilder s = new StringBuilder();
for(int i=0;i horses = new ArrayList();
private ExecutorService exec = Executors.newCachedThreadPool();
private CyclicBarrier barrier;
public HorseRace(int nHorses,final int pause) {
barrier = new CyclicBarrier(nHorses,new Runnable() {
public void run() {
StringBuilder s = new StringBuilder();
for(int i=0;i= FINISH_LINE) {
System.out.println(horse + "Won!");
exec.shutdownNow();
return;
}
}
try {
TimeUnit.MILLISECONDS.sleep(pause);
}catch(InterruptedException e) {
System.out.println("barrier-action sleep interrupted");
}
}
});
for(int i=0;i
上述程序是一个模拟赛马的操作,一共有75个栅栏,每个马的速度都不一样的,所以每次打印每只马跨越了多少栅栏时,会出现你追我赶的情况。但是程序内在逻辑是怎么样呢?
我们可以把马对应成一个任务,马跨域栅栏是一次 run() 方法内部走完了一次循环。
CyclicBarrier 就相当于一堵墙,它横在所有马的前方,当马完成一次操作(随机跨越1~3个栅栏),它来到了墙面前,被墙挡住(代码是通过 await() 实现的)。等所有的马(具体几只是在 CyclicBarrier 的构造函数里确定的)都来到墙面前的时候,墙打开,所有马进行下一次操作。
可以推测出来,CyclicBarrier 内部一定有一个计数器(通过查看源码可以知道 在构造函数里是把值赋给 final int parties 和 int count 的,前者是 final 无法改变用于重置计数器使用,后者用于计数),我们没调用一次 await() 方法,这个计数器就会减1。直到我们调用了 parties 次 await() 计数器变为 0 。然后所有任务可以进行一下步,同时,计数器变为 parties ,继续阻塞任务进入再下一步的操作,直到它再次为0;
ps: 通过源码可以肯定我们的推测,事实上 每次我们调用 await(), count 就会递减,而当 count 为 0 时,就会调用 nextGeneration 方法。nextGeneration 会把计数器重置,同时会唤醒阻塞的任务。顺便一提的事,CyclicBarrier 实现阻塞和唤醒的方式是使用 Condition (前面有具体内容)。
在 CyclicBarrier 的构造函数里还有一个 Runnable,它会在计数器为 0 的时候启动。
三、DelayQueue
在 JUC 中,除了之前提到的,LinkedBlockingQueue、ArrayBlockingQueue 和 SynchronousQueue 之外,还有其他几种 Queue, DelayQueue 就是其中之一。
DelayQueue 是一个无界的 BlockingQueue,用于放置实现了 Delayed 接口的对象,其中对象只能在其到期才能从队列中取走。并且该队列是有序的,我们需要实现 compareTo 方法用来作为排序的标准。当从 DelayQueue 获取对象时,只会获取延迟到期的对象。
package JUCTest;
import java.util.ArrayList;
import java.util.List;
import java.util.Random;
import java.util.concurrent.DelayQueue;
import java.util.concurrent.Delayed;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;
import java.util.concurrent.TimeUnit;
class DelayedTask implements Runnable,Delayed{
private static int counter = 0;
private final int id = counter++;
private final int delta;
private final long trigger;
protected static List squence = new ArrayList();
public DelayedTask(int delayInMilliseconds) {
delta = delayInMilliseconds;
trigger = System.nanoTime() + TimeUnit.NANOSECONDS.convert(delta, TimeUnit.MILLISECONDS);
squence.add(this);
}
@Override
public void run() {
System.out.println(this);
}
@Override
public int compareTo(Delayed o) {
DelayedTask that = (DelayedTask) o;
if(trigger < that.trigger) return 1;
if(trigger > that.trigger) return 1;
return 0;
}
@Override
public long getDelay(TimeUnit unit) {
return unit.convert(trigger - System.nanoTime(),TimeUnit.NANOSECONDS);
}
public String toString() {
return String.format("[%1$-4d]", delta) + " Task " + id;
}
public String summary() {
return "("+id+":"+delta+")";
}
public static class EndSentinel extends DelayedTask{
private ExecutorService exec;
public EndSentinel(int delay,ExecutorService e) {
super(delay);
exec=e;
}
public void run() {
for(DelayedTask pt : squence) {
System.out.print(pt.summary() + " ");
}
System.out.println(" ");
System.out.println(this + " Calling shutdownNow()");
exec.shutdownNow();
}
}
}
class DelayedTaskConsumer implements Runnable{
private DelayQueue q;
public DelayedTaskConsumer(DelayQueue q) {
this.q = q;
}
@Override
public void run() {
try {
while(!Thread.interrupted()) {
q.take().run();
}
}catch(InterruptedException e) {
e.printStackTrace();
}
System.out.println("Finished DelayedTaskConsumer");
}
}
public class DelayQueueDemo {
public static void main(String[] args) {
Random rand = new Random(47);
ExecutorService exec = Executors.newCachedThreadPool();
DelayQueue queue = new DelayQueue();
for(int i=0;i<20;i++) {
queue.put(new DelayedTask(rand.nextInt(5000)));
}
queue.add(new DelayedTask.EndSentinel(5000, exec));
exec.execute(new DelayedTaskConsumer(queue));
}
}
在上面这个例子中,我们让 DelayedTask 实现了 Runnable 和 Delayed 接口。除了 run() 方法之外,我们同时实现了 compareTo() 和 getDelay() 方法。然后输出的结果表明,任务从队列总出来的顺序是按照 getDelay() 所获得的值来确定的。
我们使用变量 delta 来作为延迟时间的,System.nanoTime() 会获得一个纳秒为单位的数字,这个数字单独使用没有任何意义,但是,在程序的两个位置都使用 System.nanoTime() 并且把这两个值相减,就能得到一个精准的时间差。在构造函数里 trigger 被赋值为 System.nanoTime() + delta,而在 getDelay() 中返回的值是 trigger - System.nanoTime()(第二次使用,后面用 System.nanoTime()2 做区别),那么返回的值其实是,System.nanoTime() + delta - System.nanoTime()2,System.nanoTime()2 - System.nanoTime() 可以认为使我们给 trigger 赋值和程序调用 getDelay() 之间的时间差,当时间差,也就是经过的时间 > delta (设定的延迟时间) 时,对象才能出列。换句话说 getDelay() 返回的值 < 0 才能出列。
但是对象出列除了延迟时间到达之外这个条件之外,还得满足它在对列的首位,所以我们必须使用 compareTo() 来规定一个排列的顺序,使得延迟时间到达最短的放在队首位置。所以我们用 trigger 来尽行比较。注意,这里的排队应该是最块走完延迟时间的排前面,而不是延迟时间最短的排前面。比如,A的延迟时间为 1s 他是在第 10s 中的时候放进去的,B的延迟时间为 2 s 它是在第 4s 的时候放进去的,那么B应该排在A前面。
那么,如果我们使用错误的方式来排队,比如把延迟时间到达最晚的放在前面。就会导致效率低下,程序会等到最长的延迟时间到达才会有出列操作。
四、PriorityBlockingQueue
顾名思义,他是以优先级作为排序顺序来给队列中的对象排序的。而排序的方法,依旧是通过 compareTo 方法实现,其实,DelayQueue 可以看做是一种特殊的优先级排序,除了排序之外,他还有延迟的附加条件。所以对于 PriorityBlockingQueue 我们不做过多的说明。
五、SheduledExecutor
SheduledExecutor 可以使任务按照设定的计划去执行,通常,我们需要在指定的时间执行某项任务,或者在一定的周期内循环的执行某项目,就会使用到 SheduledExecutor。
package JUCTest;
import java.util.ArrayList;
import java.util.Calendar;
import java.util.Collections;
import java.util.List;
import java.util.Random;
import java.util.concurrent.ScheduledThreadPoolExecutor;
import java.util.concurrent.TimeUnit;
public class GreenhouseScheduler {
private volatile boolean light = false;
private volatile boolean water = false;
private String thermostat = "Day";
public synchronized String getThermostat() {
return thermostat;
}
public synchronized void setThermostat(String thermostat) {
this.thermostat = thermostat;
}
ScheduledThreadPoolExecutor scheduler = new ScheduledThreadPoolExecutor(10);
public void schedule(Runnable event,long delay) {
scheduler.schedule(event, delay, TimeUnit.MILLISECONDS);
}
public void repeat(Runnable event,long initialDelay,long period) {
scheduler.scheduleAtFixedRate(event, initialDelay, period, TimeUnit.MILLISECONDS);
}
class LightOn implements Runnable{
public void run() {
System.out.println("Turn on lights");
light = true;
}
}
class LightOff implements Runnable{
public void run() {
System.out.println("Turn off lights");
light = false;
}
}
class WaterOn implements Runnable{
public void run() {
System.out.println("Turning greenhoulse water on");
water = true;
}
}
class WaterOff implements Runnable{
public void run() {
System.out.println("Turning greenhoulse water off");
water = false;
}
}
class ThermostatNight implements Runnable{
public void run() {
System.out.println("Thermostat to night setting");
setThermostat("Night");
}
}
class ThermostatDay implements Runnable{
public void run() {
System.out.println("Thermostat to day setting");
}
}
class Bell implements Runnable{
public void run() {
System.out.println("Bing!");
}
}
class Terminate implements Runnable{
public void run() {
System.out.println("Terminating!");
scheduler.shutdown();
new Thread() {
public void run() {
for(DataPoint p : data) {
System.out.println(p);
}
}
};
}
}
static class DataPoint{
final Calendar time;
final float temperature;
final float humidity;
public DataPoint(Calendar d,float temp,float hum) {
time = d;
temperature = temp;
humidity = hum;
}
public String toString() {
return time.getTime() + String.format(" temperature:, %1s$.1f humidity: %2$.2f",temperature);
}
}
private Calendar lastTime = Calendar.getInstance();
{
lastTime.set(Calendar.MINUTE, 30);
lastTime.set(Calendar.SECOND, 00);
}
private float lastTemp = 65.0f;
private int tempDirection = 1;
private float lastHumidity = 50.0f;
private int humidityDirection = 1;
private Random rand = new Random(47);
List data = Collections.synchronizedList(new ArrayList());
class CollectData implements Runnable{
public void run() {
System.out.println("Collecting date");
synchronized(GreenhouseScheduler.this) {
lastTime.set(Calendar.MINUTE,lastTime.get(Calendar.MINUTE) + 30);
}
if(rand.nextInt(5) == 4) {
tempDirection = -tempDirection;
}
lastTemp = lastTemp + tempDirection*(1.0f + rand.nextFloat());
if(rand.nextInt(5) == 4) {
humidityDirection = -humidityDirection;
}
lastHumidity = lastHumidity + humidityDirection * rand.nextFloat();
data.add(new DataPoint((Calendar)lastTime.clone(),lastTemp,lastHumidity));
}
}
public static void main(String[] args) {
GreenhouseScheduler gh = new GreenhouseScheduler();
gh.schedule(gh.new ThermostatNight(),5000);
gh.repeat(gh.new Bell(), 0, 1000);
gh.repeat(gh.newThermostatNight(), 0, 2000);
gh.repeat(gh.new LightOn(), 0, 200);
gh.repeat(gh.new LightOff(), 0, 400);
gh.repeat(gh.new WaterOn(), 0, 600);
gh.repeat(gh.new WaterOff(), 0, 800);
gh.repeat(gh.new ThermostatDay(), 0, 1400);
gh.repeat(gh.new CollectData(), 500, 500);
}
}
这里我们引入了一个新的线程池—— ScheduledThreadPoolExecutor,他添加和执行任务的方法不在是 Executor,而是 schedule 和 schedule。schedule 除了需要提供一个 Runnable 作为参数以外,还要提供一个延迟时间,和时间单位。延迟时间和时间单位共同决定了任务在什么时候被启动。scheduleAtFixedRate 还需额外提供一个周期时间,在到达延迟时间之后,每过一个周期,任务就会执行一次。
在上面的示例中,我们创建了一个温室,温室需要进行开关灯、防水、收集数据等操作。
我们一共设置了1个单一任务和8个循环任务。在程序进行到 5s 中时,所有任务被中断。
六、Semaphore
无论是使用 synchronized 亦或是 lock 的方式,都能保证某项资源只能被一个任务获取和使用。但有时候,我们或许会希望能够允许指定数量的任务来获取同一个资源。JUC 为我们提供了 Semaphore 来实现这方面的需求。
在 Thinking in Java 的关于 Semaphore 的示例中,首先创建了一个使用 Semaphore 来进行控制的对象池,然后通过这个对象池来实现“允许指定数量的任务来获取同一个资源”这一功能,我们先看代码。
在看示例钱,我们需要简单理解下 Semaphore 的运作方式,Seamaphore 的构造方法里,包含两个参数:permits(int),fair(bool)。permits 就是所谓的计数器的值,即我们希望资源能同时被多少任务访问。而 fair 是一个布尔值,它决定我们使用的是公平锁还是非公平锁,关于公平锁,在之后的拓展章节再详细叙述。
创建完 Semaphore 之后,我们通过它的 aquire() 来获取进入资源的权限,此时计数器 -1,通过它的 release() 方法,来释放一个权限,此时计数器 +1。
以下是 Thinking in Java 示例中所用的对象池:
package JUCTest;
import java.util.ArrayList;
import java.util.List;
import java.util.concurrent.Semaphore;
public class Pool {
private int size;
private List items = new ArrayList();
private volatile boolean[] checkedOut;
private Semaphore available;
public Pool(Class classObject,int size) {
this.size = size;
checkedOut = new boolean[size];
available = new Semaphore(10,true);
for(int i=0;i
在 pool 的构造函数中,我们创建一个可以放置对象(泛型 )的 List,初始化 Semaphore。同时使用了 newInstance() 的方式创建了 size 个对象。
在更详细的说明之前,先来看看这个对象池的应用。首先,我们需要新建一个类:
package JUCTest;
public class Fat {
private volatile double d;
private static int counter = 0;
private int id = counter++;
public Fat() {
for(int i=1;i<10000;i++) {
d += (Math.PI + Math.E);
}
}
public void operation() {
System.out.println("this");
}
public String toString() {
return "Fat id: " + id;
}
}
然后,我么通过 Pool 来对该对象进行管理:
package JUCTest;
import java.util.ArrayList;
import java.util.List;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;
import java.util.concurrent.Future;
import java.util.concurrent.TimeUnit;
class CheckoutTask implements Runnable {
private static int counter = 0;
private final int id = counter++;
private Pool pool;
public CheckoutTask(Pool pool) {
this.pool = pool;
}
public void run() {
try {
T item = pool.checkOut();
System.out.println(this + " checked out " + item);
TimeUnit.SECONDS.sleep(1);
System.out.println(this + "cheked in " + item);
pool.checkIn(item);
}catch(InterruptedException e) {
System.out.println("InterruptedException");
}
}
public String toString() {
return "CheckoutTesk " + id + " ";
}
}
public class SemaphoreDemo{
final static int SIZE = 25;
public static void main(String[] args) throws InterruptedException {
final Pool pool = new Pool(Fat.class,SIZE);
ExecutorService exec = Executors.newCachedThreadPool();
List lists = new ArrayList();
for(int i=0;i blocked = exec.submit(new Runnable() {
public void run() {
try {
pool.checkOut();
}catch(InterruptedException e) {
System.out.println("Check out Interrupted");
}
}
});
TimeUnit.SECONDS.sleep(2);
blocked.cancel(true);
System.out.println("Check in object in " + lists);
for(Fat f : lists) {
pool.checkIn(f);
}
for(Fat f : lists) {
pool.checkIn(f);
}
exec.shutdown();
}
}
在 SemaphoreDemo 中,创建了一个容量为 SIZE 的 pool,在 pool 的构造方法中,我们根据传入的模板参数,创建了 SIZE 个 Fat 对象,然后所有的 Fat 的对象全部通过 checkout 从 pool 里取出。
在最后往 pool 中 checkin Fat 时,我们发现不论我们往里添加了多个对象,在 pool 中始终最多只有 SIZE 个对象。那么后来的添加的对象哪里去了?checkin 的操作并没有消失,也没有出错,只是被阻塞了,如果我们此时通过 checkout 释放出一些位置,那些消失的 Fat 就会顺利的插入到 pool 里。
那么这是如何实现的?
在 Checkout() 中,我们再获取到 Fat 对象前,需要进行一次 acquire() 每次的 acquire 操作,都会使得 Semaphore 中的计数器 -1,当技术器为 0 时,我们继续进行 checkout()(或者继续进行 checkout() 里的 acquire() 操作),就会被阻塞。直到我们使用 checkin() (或者说是 checkin() 里的 release()),使得计数器 +1。被阻塞的 checkout 操作才会继续执行。
在上面的代码中,我们先进行了 SIZE 次 checkout() 操作,然后,再新建一个任务继续使用 checkout 操作,其被阻塞,直到我们将其中断。后台输出 Check out Interrupted,如果我们在 blocked.cancel(true) ——中断操作之前,执行 checkin 操作,就会使阻塞的任务能够继续进行下去。
七、Exchanger
Exchanger 是在两个任务之间交换对象的栅栏。当 A 和 B 任务进入栅栏时,它们各自拥有一个对象 C 和 D,当他们离开时,拥有的对象互换,即 A 拥有 D,B 有用 C。在创建 A 和 B 时,需要把他们和同一个 Exchanger 绑定。
package JUCTest;
import java.util.concurrent.Exchanger;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;
import java.util.concurrent.TimeUnit;
class ExchangerProducer implements Runnable{
private Exchanger exchanger;
public ExchangerProducer(Exchanger exchanger) {
this.exchanger = exchanger;
}
@Override
public void run() {
for(int i=1;i<10;i++) {
Integer data = i;
System.out.println(i + " : producer before exchange : " + data);
try {
data = exchanger.exchange(data);
} catch (InterruptedException e) {
System.out.println("Interrupted...");
}
System.out.println(i + ": producer after exchange : " + data);
}
}
}
class ExchagerConsumer implements Runnable{
private Exchanger exchanger;
public ExchagerConsumer(Exchanger exchanger) {
this.exchanger = exchanger;
}
@Override
public void run() {
for(int i=1;i<10;i++) {
Integer data = i * 2;
System.out.println(i + " : consumer before exchange : " + data);
try {
data = exchanger.exchange(data);
} catch (InterruptedException e) {
System.out.println("Interrupted...");
}
System.out.println(i + " : consumer after exchange : " + data);
}
}
}
public class ExchagerDemo {
public static void main(String[] args) throws InterruptedException {
Exchanger exchanger = new Exchanger();
ExchangerProducer exchangerProducer = new ExchangerProducer(exchanger);
ExchagerConsumer exchagerConsumer = new ExchagerConsumer(exchanger);
ExecutorService exec = Executors.newCachedThreadPool();
exec.execute(exchangerProducer);
exec.execute(exchagerConsumer);
TimeUnit.SECONDS.sleep(3);
exec.shutdownNow();
}
}
在上面的示例中,producer 负责生产奇数,consumer 负责生产偶数,在 producer 或者 consumer 生产完一个数之后,会将其放入 Exchanger 中等待交换,双方进入到阻塞状态,等待交换完成之后,任务继续进行。