JAVA多线程基础 之十一 并发队列Queue
并发队列Queue
在并发队列上JDK提供了两套实现，一个是以ConcurrentLinkedQueue为代表的高性能非阻塞队列，一个是以BlockingQueue接口为代表的阻塞队列，无论哪种都继承自Queue。
下面这张图是 Java 并发类库提供的各种各样的线程安全队列实现，注意，图中并未将非线程安全部分包含进来。
Queue 阻塞队列与非阻塞队列
阻塞队列与普通队列的区别在于，当队列是空的时，从队列中获取元素的操作将会被阻塞，或者当队列是满时，往队列里添加元素的操作会被阻塞。试图从空的阻塞队列中获取元素的线程将会被阻塞，直到其他的线程往空的队列插入新的元素。同样，试图往已满的阻塞队列中添加新元素的线程同样也会被阻塞，直到其他的线程使队列重新变得空闲起来，如从队列中移除一个或者多个元素，或者完全清空队列.（前四个为非阻塞队列，后四个为阻塞队列）
1.ArrayDeque, （数组双端队列）
2.PriorityQueue, （优先级队列）
3.ConcurrentLinkedQueue, （基于链表的并发队列）
4.DelayQueue, （延期阻塞队列）（阻塞队列实现了BlockingQueue接口）
5.ArrayBlockingQueue, （基于数组的并发阻塞队列）
6.LinkedBlockingQueue, （基于链表的FIFO阻塞队列）
7.LinkedBlockingDeque, （基于链表的FIFO双端阻塞队列）
8.PriorityBlockingQueue, （带优先级的无界阻塞队列）
9.SynchronousQueue （并发同步阻塞队列）
ConcurrentLinkedDeque
ConcurrentLinkedQueue : 是一个适用于高并发场景下的队列，通过无锁的方式，实现了高并发状态下的高性能，通常ConcurrentLinkedQueue性能好于BlockingQueue.它是一个基于链接节点的无界线程安全队列。该队列的元素遵循先进先出的原则。头是最先加入的，尾是最近加入的，该队列不允许null元素。
ConcurrentLinkedQueue重要方法:
add 和offer() 都是加入元素的方法(在ConcurrentLinkedQueue中这俩个方法没有任何区别)
poll() 和peek() 都是取头元素节点，区别在于前者会删除元素，后者不会。
import java.util.concurrent.ConcurrentLinkedDeque; ConcurrentLinkedDeque q = new ConcurrentLinkedDeque();
//添加元素 FIFO
q.offer("a");
q.offer("b");
q.offer("c");
q.offer("d");
q.offer("e");
//从头获取元素,删除该元素
System.out.println(q.poll());
//从头获取元素,不刪除该元素
System.out.println(q.peek());
//获取总长度
System.out.println(q.size());BlockingQueue
阻塞队列（BlockingQueue）是一个支持两个附加操作的队列。这两个附加的操作是：
在队列为空时，获取元素的线程会等待队列变为非空。
当队列满时，存储元素的线程会等待队列可用。
阻塞队列常用于生产者和消费者的场景，生产者是往队列里添加元素的线程，消费者是从队列里拿元素的线程。阻塞队列就是生产者存放元素的容器，而消费者也只从容器里拿元素。
BlockingQueue即阻塞队列，从阻塞这个词可以看出，在某些情况下对阻塞队列的访问可能会造成阻塞。被阻塞的情况主要有如下两种：
1. 当队列满了的时候进行入队列操作
2. 当队列空了的时候进行出队列操作
因此，当一个线程试图对一个已经满了的队列进行入队列操作时，它将会被阻塞，除非有另一个线程做了出队列操作；同样，当一个线程试图对一个空队列进行出队列操作时，它将会被阻塞，除非有另一个线程进行了入队列操作。
在Java中，BlockingQueue的接口位于java.util.concurrent 包中(在Java5版本开始提供)，由上面介绍的阻塞队列的特性可知，阻塞队列是线程安全的。
在新增的Concurrent包中，BlockingQueue很好的解决了多线程中，如何高效安全“传输”数据的问题。通过这些高效并且线程安全的队列类，为我们快速搭建高质量的多线程程序带来极大的便利。本文详细介绍了BlockingQueue家庭中的所有成员，包括他们各自的功能以及常见使用场景。
认识BlockingQueue
阻塞队列，顾名思义，首先它是一个队列，而一个队列在数据结构中所起的作用大致如下图所示：
从上图我们可以很清楚看到，通过一个共享的队列，可以使得数据由队列的一端输入，从另外一端输出；
常用的队列主要有以下两种：（当然通过不同的实现方式，还可以延伸出很多不同类型的队列，DelayQueue就是其中的一种）
先进先出（FIFO）：先插入的队列的元素也最先出队列，类似于排队的功能。从某种程度上来说这种队列也体现了一种公平性。
后进先出（LIFO）：后插入队列的元素最先出队列，这种队列优先处理最近发生的事件。
多线程环境中，通过队列可以很容易实现数据共享，比如经典的“生产者”和“消费者”模型中，通过队列可以很便利地实现两者之间的数据共享。假设我们有若干生产者线程，另外又有若干个消费者线程。如果生产者线程需要把准备好的数据共享给消费者线程，利用队列的方式来传递数据，就可以很方便地解决他们之间的数据共享问题。但如果生产者和消费者在某个时间段内，万一发生数据处理速度不匹配的情况呢？理想情况下，如果生产者产出数据的速度大于消费者消费的速度，并且当生产出来的数据累积到一定程度的时候，那么生产者必须暂停等待一下（阻塞生产者线程），以便等待消费者线程把累积的数据处理完毕，反之亦然。然而，在concurrent包发布以前，在多线程环境下，我们每个程序员都必须去自己控制这些细节，尤其还要兼顾效率和线程安全，而这会给我们的程序带来不小的复杂度。好在此时，强大的concurrent包横空出世了，而他也给我们带来了强大的BlockingQueue。（在多线程领域：所谓阻塞，在某些情况下会挂起线程（即阻塞），一旦条件满足，被挂起的线程又会自动被唤醒）
下面两幅图演示了BlockingQueue的两个常见阻塞场景：
ArrayBlockingQueue
ArrayBlockingQueue是一个有边界的阻塞队列，它的内部实现是一个数组。有边界的意思是它的容量是有限的，我们必须在其初始化的时候指定它的容量大小，容量大小一旦指定就不可改变。
ArrayBlockingQueue是以先进先出的方式存储数据，最新插入的对象是尾部，最新移出的对象是头部。下面
是一个初始化和使用ArrayBlockingQueue的例子：
|
网吧有届队列：
import java.util.concurrent.ArrayBlockingQueue;
/**
* Created by zhanghaipeng on 2018/11/12.
*/
public class WangbaArray{
public static ArrayBlockingQueue queue = new ArrayBlockingQueue(5);
private boolean isOpen = true;
public void open() {
isOpen = true;
}
public void close() {
isOpen = false;
}
public static void main(String[] args){
System.out.println("网吧开始营业");
WangbaArray wangba = new WangbaArray();
wangba.open();
new Thread(new Runnable() {
@Override
public void run() {
while (wangba.isOpen)
{
WangminArray wangmin ;
for (int i = 0; i < 10; i++) {
wangmin = new WangminArray("网民" + i, "id" + i,System.currentTimeMillis());
wangba.action(wangmin);
try {
Thread.sleep(1000);
} catch (InterruptedException e) {
e.printStackTrace();
}
}
}
}
}).start();
new Thread(new Runnable() {
@Override
public void run() {
while (wangba.isOpen)
{
try {
Thread.sleep(3000);
} catch (InterruptedException e) {
e.printStackTrace();
}
wangba.stop();
}
}
}).start();
}
private void action(WangminArray wangmin) {
Boolean b = queue.offer(wangmin);
System.out.println(wangmin + " 进入网吧" + b);
}
private void stop() {
try {
WangminArray wangmin = queue.take();
System.out.println(wangmin + " 离开网吧");
} catch (InterruptedException e) {
e.printStackTrace();
}
}
}
class WangminArray{
//身份证号
String id;
//姓名
String name;
public Long getInTime() {
return inTime;
}
public void setInTime(Long inTime) {
this.inTime = inTime;
}
//进入网吧时间
Long inTime;
@Override
public String toString() {
return "WangminArray{" +
"id='" + id + '\'' +
", name='" + name + '\'' +
", inTime=" + inTime +
'}';
}
public WangminArray(String id, String name, Long inTime) {
this.id = id;
this.name = name;
this.inTime = inTime;
} public String getId() {
return id;
}
public void setId(String id) {
this.id = id;
}
public String getName() {
return name;
}
public void setName(String name) {
this.name = name;
}
}
LinkedBlockingQueue
LinkedBlockingQueue阻塞队列大小的配置是可选的，如果我们初始化时指定一个大小，它就是有边界的，如果不指定，它就是无边界的。说是无边界，其实是采用了默认大小为Integer.MAX_VALUE的容量 。它的内部实现是一个链表。
和ArrayBlockingQueue一样，LinkedBlockingQueue 也是以先进先出的方式存储数据，最新插入的对象是尾部，最新移出的对象是头部。下面是一个初始化和使LinkedBlockingQueue的例子：
|
无届队列例子
import java.util.concurrent.LinkedBlockingQueue;
public class WangbaLinked{
public static LinkedBlockingQueue queue = new LinkedBlockingQueue();
private boolean isOpen = true;
public void open() {
isOpen = true;
}
public void close() {
isOpen = false;
}
public static void main(String[] args){
System.out.println("网吧开始营业");
WangbaLinked wangba = new WangbaLinked();
wangba.open();
new Thread(new Runnable() {
@Override
public void run() {
while (wangba.isOpen)
{
WangminLinked wangmin ;
for (int i = 0; i < 10; i++) {
wangmin = new WangminLinked("网民" + i, "id" + i,System.currentTimeMillis());
wangba.action(wangmin);
try {
Thread.sleep(1000);
} catch (InterruptedException e) {
e.printStackTrace();
}
}
}
}
}).start();
new Thread(new Runnable() {
@Override
public void run() {
while (wangba.isOpen)
{
try {
Thread.sleep(3000);
} catch (InterruptedException e) {
e.printStackTrace();
}
wangba.stop();
}
}
}).start();
}
private void action(WangminLinked wangmin) {
Boolean b = queue.offer(wangmin);
System.out.println(wangmin + " 进入网吧" + b);
}
private void stop() {
try {
WangminLinked wangmin = queue.take();
System.out.println(wangmin + " 离开网吧");
} catch (InterruptedException e) {
e.printStackTrace();
}
}
}
class WangminLinked{
//身份证号
String id;
//姓名
String name;
public Long getInTime() {
return inTime;
}
public void setInTime(Long inTime) {
this.inTime = inTime;
}
//进入网吧时间
Long inTime;
@Override
public String toString() {
return "WangminLinked{" +
"id='" + id + '\'' +
", name='" + name + '\'' +
", inTime=" + inTime +
'}';
}
public WangminLinked(String id, String name, Long inTime) {
this.id = id;
this.name = name;
this.inTime = inTime;
}
public String getId() {
return id;
}
public void setId(String id) {
this.id = id;
}
public String getName() {
return name;
}
public void setName(String name) {
this.name = name;
}
} 使用BlockingQueue模拟生产者与消费者
public class ProducerCunsumerSample {
public static void main(String[] args){
LinkedBlockingQueue q = new LinkedBlockingQueue(3);
Producer p = new Producer(q);
Consumer c = new Consumer(q);
p.start();
p.startup();
c.start();
try {
Thread.sleep(20*1000);
} catch (InterruptedException e) {
e.printStackTrace();
}
p.shutdown();
}
}
class Producer extends Thread{
private LinkedBlockingQueue linkedBlockingQueue;
private AtomicInteger atomicInteger = new AtomicInteger(0);
public static volatile boolean flag = false;
public Producer(LinkedBlockingQueue linkedBlockingQueue){
this.linkedBlockingQueue = linkedBlockingQueue;
}
public void startup(){
this.flag = true;
}
public void shutdown(){
this.flag = false;
}
@Override
public void run() {
while (flag) {
int number = atomicInteger.incrementAndGet();
try {
boolean res = linkedBlockingQueue.offer(number,1, TimeUnit.MILLISECONDS);
if (res)
{
System.out.println("存入 " + number + " " + res);
}else
{
System.out.println("存入 " + number + " " + res);
atomicInteger.decrementAndGet();
}
Thread.sleep(1000);
} catch (InterruptedException e) {
e.printStackTrace();
}
}
}
}
class Consumer extends Thread{
LinkedBlockingQueue linkedBlockingQueue;
public Consumer(LinkedBlockingQueue linkedBlockingQueue){
this.linkedBlockingQueue = linkedBlockingQueue;
}
@Override
public void run() {
while (Producer.flag) {
Object number = linkedBlockingQueue.poll();
if (null != number && !"".equals(number))
{
System.out.println("取元素 " + number);
}else
{
System.out.println("取元素失败");
}
try {
sleep(300);
} catch (InterruptedException e) {
e.printStackTrace();
}
}
}
}
PriorityBlockingQueue
PriorityBlockingQueue是一个没有边界的队列，它的排序规则和 java.util.PriorityQueue一样。需要注意，PriorityBlockingQueue中允许插入null对象。
所有插入PriorityBlockingQueue的对象必须实现 java.lang.Comparable接口，队列优先级的排序规则就是按照我们对这个接口的实现来定义的。
另外，我们可以从PriorityBlockingQueue获得一个迭代器Iterator，但这个迭代器并不保证按照优先级顺序进行迭代。
注：add方法时不排序，take的时候进行比较并取出。
网吧例子：
import java.util.concurrent.PriorityBlockingQueue;
/**
* Created by zhanghaipeng on 2018/11/12.
*/
public class WangbaPriority {
public static PriorityBlockingQueue queue = new PriorityBlockingQueue(5);
private boolean isOpen = true;
public void open() {
isOpen = true;
}
public void close() {
isOpen = false;
}
private void action(WangminPriority wangmin) {
Boolean b = queue.offer(wangmin);
System.out.println(wangmin + " 进入网吧" + b);
}
private void stop() {
try {
WangminPriority wangmin = queue.take();
System.out.println(wangmin + " 离开网吧");
} catch (InterruptedException e) {
e.printStackTrace();
}
}
public static void main(String[] args){
System.out.println("网吧开始营业");
WangbaPriority wangba = new WangbaPriority();
wangba.open();
new Thread(new Runnable() {
@Override
public void run() {
while (wangba.isOpen)
{
WangminPriority wangmin ;
for (int i = 0; i < 10; i++) {
wangmin = new WangminPriority((int) System.currentTimeMillis(), "网民" + i,System.currentTimeMillis());
wangba.action(wangmin);
try {
Thread.sleep(1500);
} catch (InterruptedException e) {
e.printStackTrace();
}
}
}
}
}).start();
new Thread(new Runnable() {
@Override
public void run() {
while (wangba.isOpen)
{
try {
Thread.sleep(1800);
} catch (InterruptedException e) {
e.printStackTrace();
}
wangba.stop();
}
}
}).start();
}
}
class WangminPriority implements Comparable{
//身份证号
Integer id;
//姓名
String name;
public Long getInTime() {
return inTime;
}
public void setInTime(Long inTime) {
this.inTime = inTime;
}
//进入网吧时间
Long inTime;
@Override
public String toString() {
return "WangminArray{" +
"id='" + id + '\'' +
", name='" + name + '\'' +
", inTime=" + inTime +
'}';
}
public WangminPriority(Integer id, String name, Long inTime) {
this.id = id;
this.name = name;
this.inTime = inTime;
}
public Integer getId() {
return id;
}
public void setId(Integer id) {
this.id = id;
}
public String getName() {
return name;
}
public void setName(String name) {
this.name = name;
}
@Override
public int compareTo(Object o) {
WangminPriority o1 = (WangminPriority)o;
return this.getId()-o1.getId()>0 ? 1 : 0 ;
}
} SynchronousQueue
SynchronousQueue队列内部仅允许容纳一个元素。当一个线程插入一个元素后会被阻塞，除非这个元素被另一个线程消费。
import java.util.concurrent.SynchronousQueue;
/**
* Created by zhanghaipeng on 2018/11/12.
*/
public class WangbaSynchronous {
public static SynchronousQueue queue = new SynchronousQueue();
private boolean isOpen = true;
public void open() {
isOpen = true;
}
public void close() {
isOpen = false;
}
private void action(WangminSynchronous wangmin) {
Boolean b = queue.offer(wangmin);
System.out.println(wangmin + " 进入网吧" + b);
}
private void stop() {
try {
WangminSynchronous wangmin = queue.take();
System.out.println(wangmin + " 离开网吧");
} catch (InterruptedException e) {
e.printStackTrace();
}
}
public static void main(String[] args){
System.out.println("网吧开始营业");
WangbaSynchronous wangba = new WangbaSynchronous();
wangba.open();
new Thread(new Runnable() {
@Override
public void run() {
while (wangba.isOpen)
{
try {
Thread.sleep(1000);
} catch (InterruptedException e) {
e.printStackTrace();
}
wangba.stop();
}
}
}).start();
try {
Thread.sleep(1000);
} catch (InterruptedException e) {
e.printStackTrace();
}
new Thread(new Runnable() {
@Override
public void run() {
while (wangba.isOpen)
{
WangminSynchronous wangmin ;
for (int i = 0; i < 10; i++) {
wangmin = new WangminSynchronous((int) System.currentTimeMillis(), "网民" + i,System.currentTimeMillis());
wangba.action(wangmin);
try {
Thread.sleep(1000);
} catch (InterruptedException e) {
e.printStackTrace();
}
}
}
}
}).start();
}
}
class WangminSynchronous{
//身份证号
Integer id;
//姓名
String name;
public Long getInTime() {
return inTime;
}
public void setInTime(Long inTime) {
this.inTime = inTime;
}
//进入网吧时间
Long inTime;
@Override
public String toString() {
return "WangminArray{" +
"id='" + id + '\'' +
", name='" + name + '\'' +
", inTime=" + inTime +
'}';
}
public WangminSynchronous(Integer id, String name, Long inTime) {
this.id = id;
this.name = name;
this.inTime = inTime;
}
public Integer getId() {
return id;
}
public void setId(Integer id) {
this.id = id;
}
public String getName() {
return name;
}
public void setName(String name) {
this.name = name;
}
} 注：
-
- take时才可以add
- 调用add方法不意味着往集合里加元素，
DelayQueue
带有延时时间的队列，其中的元素只有当其指定的延迟时间到了，才能从队列中获取到改元素。DelayQueue中的元素必须实现Delayed接口，DelayQueue是一个没有大小限制的队列，应用场景很多，比如对缓存超时时的数据进行移除、任务超时处理、空闲连接的关闭等等。
模拟网吧：
public class Wangba implements Runnable {
private DelayQueue queue = new DelayQueue<>();
public boolean isOpen;
public void open(){
this.isOpen = true;
}
public void close(){
this.isOpen = false;
}
@Override
public void run() {
while (isOpen)
{
Wangmin wangmin = null;
try {
wangmin = queue.take();
} catch (InterruptedException e) {
e.printStackTrace();
}
stop(wangmin);
}
}
public static void main(String[] args){
System.out.println("网吧开始营业");
Wangba wangba = new Wangba();
Thread t = new Thread(wangba);
t.start();
wangba.open();
Wangmin wangmin ;
for (int i = 0; i < 10; i++) {
wangmin = new Wangmin("网民" + i, "id"+i, 5000 * 1 + System.currentTimeMillis());
wangba.action(wangmin);
try {
Thread.sleep(1000);
} catch (InterruptedException e) {
e.printStackTrace();
}
}
wangba.close();
}
public void action(Wangmin wangmin){
queue.add(wangmin);
System.out.println(wangmin.toString() + " online");
}
public void stop(Wangmin wangmin){
System.out.println(wangmin.toString() + " offline");
}
}
class Wangmin implements Delayed{
//身份证号
String id;
//姓名
String name;
//截止时间
private long endTime;
//定义时间工具类
private TimeUnit timeUnit = TimeUnit.SECONDS;
@Override
public String toString() {
return "Wangmin{" +
"id=" + id +
", name='" + name + '\'' +
", endTime=" + endTime +
'}';
}
@Override
public long getDelay(TimeUnit unit) {
long delayTime = endTime - System.currentTimeMillis();
return delayTime;
}
@Override
public int compareTo(Delayed o) {
Wangmin w = (Wangmin)o;
long t = this.getDelay(this.timeUnit)-w.getDelay(this.timeUnit);
return t > 0 ? 1:0;
}
public Wangmin(String id, String name, long endTime) {
this.id = id;
this.name = name;
this.endTime = endTime;
}
public String getId() {
return id;
}
public void setId(String id) {
this.id = id;
}
public String getName() {
return name;
}
public void setName(String name) {
this.name = name;
}
public long getEndTime() {
return endTime;
}
public void setEndTime(long endTime) {
this.endTime = endTime;
}
} DeQueue
Deque(interface)允许在队列的头部活尾部进行出队和入队操作。
LinkedblockingDeque是一个线程安全的双端队列实现，可以说他是最为复杂的一种队列，在内部实现维护了前端和后端节点，但是其没有实现读写分离，因此同一时间只能有一个线程对其进行操作。在高并发中性能要远低于其他Blockingqueue。更要低于jdk早期有一个非线程安全的Deque就是 ArrayDeque了,Concurrentlinkedqueue,java6里添加了LinkedDeque来弥补多线程场景下线程安全的问题。
LinkedBlockingDeque deque = new LinkedBlockingDeque();
deque.addFirst("a");
deque.addLast("b");