sheng的学习笔记-BlockingQueue（阻塞队列）

一. 前言

在新增的Concurrent包中，BlockingQueue很好的解决了多线程中，如何高效安全“传输”数据的问题。通过这些高效并且线程安全的队列类，为我们快速搭建高质量的多线程程序带来极大的便利。本文详细介绍了BlockingQueue家庭中的所有成员，包括他们各自的功能以及常见使用场景。

当阻塞队列是空时，从队列中获取元素的操作会被阻塞，直到其他的线程往空的队列中插入新的元素。

当阻塞队列是满时，从队列中添加元素的操作会被阻塞，直到其他线程从队列中移除一个或多个元素使得队列变得空闲器来后继续新增。

线程1往阻塞队列中添加元素，而线程2从阻塞队列中移除元素

在多线程领域：所谓阻塞，在某些情况下会挂起线程（阻塞），一旦条件满足，被挂起的线程又会被自动唤醒。

二. 认识BlockingQueue

阻塞队列，顾名思义，首先它是一个队列，而一个队列在数据结构中所起的作用大致如下图所示：

 

从上图我们可以很清楚看到，通过一个共享的队列，可以使得数据由队列的一端输入，从另外一端输出。

常用的队列主要有以下两种：（当然通过不同的实现方式，还可以延伸出很多不同类型的队列，DelayQueue就是其中的一种）。

• 先进先出（FIFO）：先插入的队列的元素也最先出队列，类似于排队的功能。从某种程度上来说这种队列也体现了一种公平性。
• 后进先出（LIFO）：后插入队列的元素最先出队列，这种队列优先处理最近发生的事件。

多线程环境中，通过队列可以很容易实现数据共享，比如经典的“生产者”和“消费者”模型中，通过队列可以很便利地实现两者之间的数据共享。假设我们有若干生产者线程，另外又有若干个消费者线程。如果生产者线程需要把准备好的数据共享给消费者线程，利用队列的方式来传递数据，就可以很方便地解决他们之间的数据共享问题。但如果生产者和消费者在某个时间段内，万一发生数据处理速度不匹配的情况呢？理想情况下，如果生产者产出数据的速度大于消费者消费的速度，并且当生产出来的数据累积到一定程度的时候，那么生产者必须暂停等待一下（阻塞生产者线程），以便等待消费者线程把累积的数据处理完毕，反之亦然。然而，在concurrent包发布以前，在多线程环境下，我们每个程序员都必须去自己控制这些细节，尤其还要兼顾效率和线程安全，而这会给我们的程序带来不小的复杂度。好在此时，强大的concurrent包横空出世了，而它也给我们带来了强大的BlockingQueue。（在多线程领域：所谓阻塞，在某些情况下会挂起线程（即阻塞），一旦条件满足，被挂起的线程又会自动被唤醒），下面两幅图演示了BlockingQueue的两个常见阻塞场景：

如上图所示：当队列中没有数据的情况下，消费者端的所有线程都会被自动阻塞（挂起），直到有数据放入队列。

 

 如上图所示：当队列中填满数据的情况下，生产者端的所有线程都会被自动阻塞（挂起），直到队列中有空的位置，线程被自动唤醒。

这也是我们在多线程环境下，为什么需要BlockingQueue的原因。作为BlockingQueue的使用者，我们再也不需要关心什么时候需要阻塞线程，什么时候需要唤醒线程，因为这一切BlockingQueue都给你一手包办了。既然BlockingQueue如此神通广大，让我们一起来见识下它的常用方法。
 

三. BlockingQueue的核心方法

1.放入数据

• offer(E e)：表示如果可能的话，将e加到BlockingQueue里，即如果BlockingQueue可以容纳，则返回true，否则返回false（本方法不阻塞当前执行方法的线程）。
• offer(E e, long timeout, TimeUnit unit)：可以设定等待的时间，如果在指定的时间内，还不能往队列中加入e，则返回失败。
• put(E e)：把e加到BlockingQueue里，如果BlockQueue没有空间，则调用此方法的线程被阻塞，直到BlockingQueue里面有空间再继续。
• add(E e): 如果可以在不违反容量限制的情况下立即将指定元素插入此队列，则在成功时返回true ，如果当前没有可用空间则IllegalStateException 。 当使用容量受限的队列时，通常最好使用offer

2.获取数据

• poll(long timeout, TimeUnit unit)：从BlockingQueue取出一个队首的对象，如果在指定时间内，队列一旦有数据可取，则立即返回队列中的数据。否则时间超时还没有数据可取，返回失败。
• take()：取走BlockingQueue里排在首位的对象，若BlockingQueue为空，阻塞进入等待状态直到BlockingQueue有新的数据被加入。
• drainTo(Collection c)：一次性从BlockingQueue获取所有可用的数据对象（还可以指定获取数据的个数drainTo(Collection c, int maxElements)），通过该方法，可以提升获取数据效率；不需要多次分批加锁或释放锁。

3.删除数据

• remove(Object o):从此队列中移除指定元素的单个实例（如果存在）。则返回true 。

无法向一个 BlockingQueue 中插入 null。如果你试图插入 null，BlockingQueue 将会抛出一个 NullPointerException。
可以访问到 BlockingQueue 中的所有元素，而不仅仅是开始和结束的元素。比如说，你将一个对象放入队列之中以等待处理，但你的应用想要将其取消掉。那么你可以调用诸如 remove(o) 方法来将队列之中的特定对象进行移除。但是这么干效率并不高(译者注：基于队列的数据结构，获取除开始或结束位置的其他对象的效率不会太高)，因此你尽量不要用这一类的方法，除非你确实不得不那么做。
 

BlockingQueue的实现类：

 ArrayBlockingQueue：由数组结构组成的有界阻塞队列

LinkedBlockingQueue：由链表组成的有界阻塞队列（大小默认Integer.MAX_VALUE）

SynchronousQueue：不存储元素的阻塞队列，也即单个元素的队列

PriorityBlockingQueue：支持优先级排序的无界阻塞队列

DelayQueue：使用优先级队列实现的延迟无界阻塞队列

LinkedTransferQueue：由链表结构组成的无界阻塞队列

LinkedBlockingDeque：由链表结构组成的双向阻塞队列

1. ArrayBlockingQueue

基于数组的阻塞队列实现，在ArrayBlockingQueue内部，维护了一个定长数组，以便缓存队列中的数据对象，这是一个常用的阻塞队列，除了一个定长数组外，ArrayBlockingQueue内部还保存着两个整形变量，分别标识着队列的头部和尾部在数组中的位置。

ArrayBlockingQueue在生产者放入数据和消费者获取数据，都是共用同一个锁对象，由此也意味着两者无法真正并行运行，这点尤其不同于LinkedBlockingQueue。

ArrayBlockingQueue和LinkedBlockingQueue间还有一个明显的不同之处在于，前者在插入或删除元素时不会产生或销毁任何额外的对象实例，而后者则会生成一个额外的Node对象。这在长时间内需要高效并发地处理大批量数据的系统中，其对于GC的影响还是存在一定的区别。而在创建ArrayBlockingQueue时，我们还可以控制对象的内部锁是否采用公平锁，默认采用非公平锁。

重要字段：

/** The queued items */
final Object[] items;

/** items index for next take, poll, peek or remove */
int takeIndex;

/** items index for next put, offer, or add */
int putIndex;

/** Number of elements in the queue */
int count;

/** Main lock guarding all access */
final ReentrantLock lock;

/** Condition for waiting takes */
private final Condition notEmpty;

/** Condition for waiting puts */
private final Condition notFull;

put(E e)方法

put(E e)方法在队列不满的情况下，将会将元素添加到队列尾部，如果队列已满，将会阻塞，直到队列中有剩余空间可以插入。该方法的实现如下：

public void put(E e) throws InterruptedException {

   //检查元素是否为null，如果是，抛出NullPointerException       
   checkNotNull(e);
   final ReentrantLock lock = this.lock;

   //加锁       
   lock.lockInterruptibly();
   try {
       //如果队列已满，阻塞，等待队列成为不满状态           
       while (count == items.length)
           notFull.await();
       //将元素入队           
       enqueue(e);
   } finally {
       lock.unlock();
   }
}

E take()方法

take()方法用于取走队头的元素，当队列为空时将会阻塞，直到队列中有元素可取走时将会被释放。其实现如下：

public E take() throws InterruptedException {

    final ReentrantLock lock = this.lock;
    //首先加锁       
    lock.lockInterruptibly();

    try {
        //如果队列为空，阻塞           
        while (count == 0)
            notEmpty.await();
        //队列不为空，调用dequeue()出队           
        return dequeue();
    } finally {
        //释放锁           
        lock.unlock();
    }
}

ArrayBlockingQueue总结：

ArrayBlockingQueue的并发阻塞是通过ReentrantLock和Condition来实现的，ArrayBlockingQueue内部只有一把锁，意味着同一时刻只有一个线程能进行入队或者出队的操作。

2.LinkedBlockingQueue

基于链表的阻塞队列，同ArrayBlockingQueue类似，其内部也维持着一个数据缓冲队列（该队列由一个链表构成），当生产者往队列中放入一个数据时，队列会从生产者手中获取数据，并缓存在队列内部，而生产者立即返回；只有当队列缓冲区达到最大缓存容量时（LinkedBlockingQueue可以通过构造函数指定该值），才会阻塞生产者线程，直到消费者从队列中消费掉一份数据，生产者线程会被唤醒，反之对于消费者这端的处理也基于同样的原理。而LinkedBlockingQueue之所以能够高效的处理并发数据，还因为其对于生产者端和消费者端分别采用了独立的锁来控制数据同步，这也意味着在高并发的情况下生产者和消费者可以并行地操作队列中的数据，以此来提高整个队列的并发性能。为了维持线程安全，LinkedBlockingQueue使用一个AtomicInterger类型的变量表示当前队列中含有的元素个数，所以可以确保两个线程之间操作底层队列是线程安全的。
如果构造一个LinkedBlockingQueue对象，而没有指定其容量大小，LinkedBlockingQueue会默认一个类似无限大小的容量（Integer.MAX_VALUE），这样的话，如果生产者的速度一旦大于消费者的速度，也许还没有等到队列满阻塞产生，系统内存就有可能已被消耗殆尽了
 

LinkedBlockingQueue可以指定容量，内部维持一个队列，所以有一个头节点head和一个尾节点last，内部维持两把锁，一个用于入队，一个用于出队，还有锁关联的Condition对象。

重要字段：

//容量，如果没有指定，该值为Integer.MAX_VALUE;
private final int capacity;

//当前队列中的元素
private final AtomicInteger count =new AtomicInteger();

//队列头节点，始终满足head.item==null
transient Node head;

//队列的尾节点，始终满足last.next==null
private transient Node last;

//用于出队的锁
private final ReentrantLock takeLock =new ReentrantLock();

//当队列为空时，保存执行出队的线程
private final Condition notEmpty = takeLock.newCondition();

//用于入队的锁
private final ReentrantLock putLock =new ReentrantLock();

//当队列满时，保存执行入队的线程
private final Condition notFull = putLock.newCondition();

put(E e)方法

put(E e)方法用于将一个元素插入到队列的尾部，其实现如下：

public void put(E e)throws InterruptedException {
	//不允许元素为null
    if (e ==null)
		throw new NullPointerException();
		
    int c = -1;
    //以当前元素新建一个节点
    Node node =new Node(e);
    final ReentrantLock putLock =this.putLock;
    final AtomicInteger count =this.count;

    //获得入队的锁
    putLock.lockInterruptibly();
    try {
       //如果队列已满，那么将该线程加入到Condition的等待队列中
        while (count.get() == capacity) {
             notFull.await();
        }
       //将节点入队
        enqueue(node);
        //得到插入之前队列的元素个数
        c = count.getAndIncrement();
        //如果还可以插入元素，那么释放等待的入队线程
        if (c +1 < capacity){
              notFull.signal();
        }
	}finally {
        //解锁
        putLock.unlock();
    }
//通知出队线程队列非空
    if (c ==0)
		signalNotEmpty();
}

E take()方法

take()方法用于得到队头的元素，在队列为空时会阻塞，知道队列中有元素可取。其实现如下：

public E take() throws InterruptedException {
    E x;
    int c = -1;
    final AtomicInteger count = this.count;
    final ReentrantLock takeLock = this.takeLock;
    //获取takeLock锁       
    takeLock.lockInterruptibly();
    try {
        //如果队列为空，那么加入到notEmpty条件的等待队列中           
        while (count.get() == 0) {
            notEmpty.await();
        }
        //得到队头元素           
        x = dequeue();
        //得到取走一个元素之前队列的元素个数           
        c = count.getAndDecrement();
        //如果队列中还有数据可取，释放notEmpty条件等待队列中的第一个线程           
        if (c > 1)
			notEmpty.signal();
    } finally {
        takeLock.unlock();
    }
    //如果队列中的元素从满到非满，通知put线程       
       if (c == capacity)
        	signalNotFull();
    return x;
}

remove()方法

remove()方法用于删除队列中一个元素，如果队列中不含有该元素，那么返回false；有的话则删除并返回true。入队和出队都是只获取一个锁，而remove()方法需要同时获得两把锁，其实现如下：

public boolean remove(Object o) {
        //因为队列不包含null元素，返回false     
        if (o == null) return false;
        //获取两把锁        
        fullyLock();
        try {
            //从头的下一个节点开始遍历           
            for (Node trail = head, p = trail.next;
                p != null;
                trail = p, p = p.next) {
                //如果匹配，那么将节点从队列中移除，trail表示前驱节点               
               if (o.equals(p.item)) {
                    unlink(p, trail);
                    return true;
                }
            }
            return false;
        } finally {
            //释放两把锁         
            fullyUnlock();
        }
}

void fullyLock() {
     putLock.lock();
     takeLock.lock();
}

LinkedBlockingQueue总结:

LinkedBlockingQueue是允许两个线程同时在两端进行入队或出队的操作的，但一端同时只能有一个线程进行操作，这是通过两把锁来区分的；

为了维持底部数据的统一，引入了AtomicInteger的一个count变量，表示队列中元素的个数。count只能在两个地方变化，一个是入队的方法（可以+1），另一个是出队的方法（可以-1），而AtomicInteger是原子安全的，所以也就确保了底层队列的数据同步。

ArrayBlockingQueue和LinkedBlockingQueue的对比：

ArrayBlockingQueue：
一个对象数组+一把锁+两个条件
入队与出队都用同一把锁
在只有入队高并发或出队高并发的情况下，因为操作数组，且不需要扩容，性能很高
采用了数组，必须指定大小，即容量有限

LinkedBlockingQueue：
一个单向链表+两把锁+两个条件
两把锁，一把用于入队，一把用于出队，有效的避免了入队与出队时使用一把锁带来的竞争。
在入队与出队都高并发的情况下，性能比ArrayBlockingQueue高很多
采用了链表，最大容量为整数最大值，可看做容量无限
 

3. DelayQueue

DelayQueue = Delayed + BlockingQueue。队列中的元素必须实现Delayed接口。

public class DelayQueue extends AbstractQueue
    implements BlockingQueue {

在创建元素时，可以指定多久可以从队列中获取到当前元素。只有在延时期满才能从队列中获取到当前元素。

应用场景

• 缓存系统的设计：可以用DelayQueue保存缓存元素的有效期。然后用一个线程循环的查询DelayQueue队列，一旦能从DelayQueue中获取元素时，表示缓存有效期到了。
• 定时任务调度：使用DelayQueue队列保存当天将会执行的任务和执行时间，一旦从DelayQueue中获取到任务就开始执行。比如Java中的TimerQueue就是使用DelayQueue实现的。
• 发大量的券，分批量发，系统资源不能一次承受太大请求，只能每秒发多少张，将海量的任务，批量处理

延迟队列实际上也是个优先级队列，时间越小的越优先执行，时间为0表示应该执行，优先级是按照时间来进行比较的，所以也需要实现compareTo比较方法。

4. PriorityBlockingQueue

基于优先级的阻塞队列（优先级的判断通过构造函数传入的Compator对象来决定），但需要注意的是PriorityBlockingQueue并不会阻塞数据生产者，而只会在没有可消费的数据时，阻塞数据的消费者。因此使用的时候要特别注意，生产者生产数据的速度绝对不能快于消费者消费数据的速度，否则时间一长，会最终耗尽所有的可用堆内存空间。在实现PriorityBlockingQueue时，内部控制线程同步的锁采用的是公平锁。

注意 PriorityBlockingQueue 对于具有相等优先级(compare() == 0)的元素并不强制任何特定行为。
同时注意，如果你从一个 PriorityBlockingQueue 获得一个 Iterator 的话，该 Iterator 并不能保证它对元素的遍历是以优先级为序的。

5. SynchronousQueue

• SynchronousQueue没有容量，与其他的阻塞队列不同，SynchronousQueue是一个不存储元素的阻塞队列，每一个put操作必须要等待一个take操作，否则不能继续添加元素，反之亦然。

• 适合传递性场景。

• 性能高于ArrayBlockingQueue和LinkedBlockingQueue。

示例代码

BlockingQueue queue = new SynchronousQueue<>();
new Thread(()->{
    try {
        queue.put("1");
        queue.put("2");
        queue.put("3");
    } catch (InterruptedException e) {
        e.printStackTrace();
    }
},"t1").start();
new Thread(()->{
    try {
        System.out.println(queue.take());
        System.out.println(queue.take());
        System.out.println(queue.take());
    } catch (InterruptedException e) {
        e.printStackTrace();
    }
},"t2").start();

创建线程池时，参数runnableTaskQueue（任务队列），用于保存等待执行的任务的阻塞队列可以选择SynchronousQueue。静态工厂方法Executors.newCachedThreadPool()使用了这个队列。

使用示例代码

下面代码拷贝过来的，没运行过，但我觉得写的简单容易懂

这个例子主要模拟了生产者和消费者之间的工作流程，是一个简单的消费者等待生产者生产产品供消费者消费的场景。

生产者：

package com.gefufeng;

import java.util.concurrent.BlockingQueue;

public class Producter implements Runnable{
 private BlockingQueue blockingQueue;
 
 public Producter(BlockingQueue blockingQueue){
 this.blockingQueue = blockingQueue;
 }

 @Override
 public void run() {
 try {
  blockingQueue.put("我生产的" + Thread.currentThread().getName());
  System.out.println("我生产的" + Thread.currentThread().getName());
 } catch (InterruptedException e) {
  // TODO Auto-generated catch block
  e.printStackTrace();
  System.out.println("生产失败");
 }
 
 }
 
}

消费者：

package com.gefufeng;

import java.util.concurrent.BlockingQueue;

public class Customer implements Runnable{
 private BlockingQueue blockingQueue;
 
 public Customer(BlockingQueue blockingQueue){
 this.blockingQueue = blockingQueue;
 }

 @Override
 public void run() {
 for(;;){
  try {
  String threadName = blockingQueue.take();
  System.out.println("取出：" + threadName);
  } catch (InterruptedException e) {
  // TODO Auto-generated catch block
  e.printStackTrace();
  System.out.println("取出失败");
  }
 }
 }

}

执行类：

package com.gefufeng;

import java.util.concurrent.ArrayBlockingQueue;

public class Executer {
 
 public static void main(String[] args) {
 ArrayBlockingQueue arrayBlockingQueue = new ArrayBlockingQueue(2);
 Producter producter = new Producter(arrayBlockingQueue);
 Customer cusotmer = new Customer(arrayBlockingQueue);
 new Thread(cusotmer).start();
 for(;;){
  try {
  Thread.sleep(2000);
  new Thread(producter).start();
  } catch (InterruptedException e) {
  // TODO Auto-generated catch block
  e.printStackTrace();
  }
 }

 }

}

首先是消费者循环等待产品，当第一次循环时执行blockingQueue.take()，是拿不出任何产品的，于是进入阻塞状态，两秒后，生产者生产了一个产品，于是blockingQueue拿到产品，打印了日志，然后消费者执行第二次循环，发现blockingQueue.take()又没拿到产品，于是又进入阻塞状态。。。依次循环

参考文章

BlockingQueue（阻塞队列）详解_codingXT的博客-CSDN博客_blockqueue

【面试】并发编程中的7个blockqueue使用场景？_慕课手记

BlockQueue阻塞队列 - 码农教程

java 中 阻塞队列BlockingQueue详解及实例 - 编程语言 - 亿速云