在并发编程中使用HashMap可能导致程序死循环。而使用线程安全的HashTable效率又非
常低下,基于以上两个原因,便有了ConcurrentHashMap的登场机会。
- 线程不安全的HashMap: 在多线程环境下,使用HashMap进行put操作会引起死循环,导致CPU利用率接近100%,所以在并发情况下不能使用HashMap。HashMap在并发执行put操作时会引起死循环,是因为多线程会导致HashMap的Entry链表形成环形数据结构
- 效率低下的HashTable。HashTable容器使用synchronized来保证线程安全,但在线程竞争激烈的情况下HashTable的效率非常低下。
- ConcurrentHashMap的锁分段技术可有效提升并发访问率。假如容器里有多把锁,每一把锁用于锁容器其中一部分数据,那么当多线程访问容器里不同数据段的数据时,线程间就不会存在锁竞争,从而可以有效提高并发访问效率。
ConcurrentHashMap是由Segment数组结构和HashEntry数组结构组成。
- Segment:是一种可重入锁(ReentrantLock),在ConcurrentHashMap里扮演锁的角色。
- HashEntry:用于存储数据。
ConcurrentHashMap初始化方法是通过initialCapacity、loadFactor、concurrencyLevel等几个参数来初始化segment数组、段偏移量segmentShift、段掩码segmentMask和每个segment里的HashEntry数组来实现的。
if (concurrencyLevel > MAX_SEGMENTS)
concurrencyLevel = MAX_SEGMENTS;
int sshift = 0;
int ssize = 1;
while (ssize < concurrencyLevel) {
++sshift;
ssize <<= 1;
}
segmentShift = 32 - sshift;
segmentMask = ssize - 1;
this.segments = Segment.newArray(ssize);
由上面的代码可知,segments数组的长度ssize是通过concurrencyLevel计算得出的。为了能通过按位与的散列算法来定位segments数组的索引,必须保证segments数组的长度是2的N次方(power-of-two size),所以必须计算出一个大于或等于concurrencyLevel的最小的2的N次方值来作为segments数组的长度。
这两个全局变量需要在定位segment时的散列算法里使用,sshift等于ssize从1向左移位的
次数,在默认情况下concurrencyLevel等于16,1需要向左移位移动4次,所以sshift等于4。segmentShift用于定位参与散列运算的位数,segmentShift等于32减sshift,所以等于28.
segmentMask是散列运算的掩码,等于ssize减1,即15,掩码的二进制各个位的值都是1。
初始化每个segment输入参数initialCapacity是ConcurrentHashMap的初始化容量,loadfactor是每个segment的负载因子。负载因子=尺寸/容量 Size/Capacity
if (initialCapacity > MAXIMUM_CAPACITY)
initialCapacity = MAXIMUM_CAPACITY;
int c = initialCapacity / ssize;
if (c * ssize < initialCapacity)
++c;
int cap = 1;
while (cap < c)
cap <<= 1;
for (int i = 0; i < this.segments.length; ++i)
this.segments[i] = new Segment<K,V>(cap, loadFactor);
上面代码中的变量cap就是segment里HashEntry数组的长度,它等于initialCapacity除以ssize的倍数c,如果c大于1,就会取大于等于c的2的N次方值,所以cap不是1,就是2的N次方。segment的容量threshold=(int)cap*loadFactor
既然ConcurrentHashMap使用分段锁Segment来保护不同段的数据,那么在插入和获取元素
的时候,必须先通过散列算法定位到Segment。可以看到ConcurrentHashMap会首先使用
Wang/Jenkins hash的变种算法对元素的hashCode进行一次再散列。
Segment的get操作实现非常简单和高效。先经过一次再散列,然后使用这个散列值通过散
列运算定位到Segment,再通过散列算法定位到元素。
public V get(Object key) {
int hash = hash(key.hashCode());
return segmentFor(hash).get(key, hash);
}
get操作的高效之处在于整个get过程不需要加锁。原因是它的get方法里将要使用的共享变量都定义成volatile类型,如用于统计当前Segement大小的count字段和用于存储值的HashEntry的value。定义成volatile的变量,能够在线程之间保持可见性,能够被多线程同时读,并且保证不会读到过期的值,但是只能被单线程写(有一种情况可以被多线程写,就是写入的值不依赖于原值),在get操作里只需要读不需要写共享变量count和value,所以可以不用加锁。并且get操作还不会获取过期的值,是因为根据Java内存模型的happen before原则,对volatile字段的写入操作先于读操作,即使两个线程同时修改和获取volatile变量,get操作也能拿到最新的值,
由于put方法里需要对共享变量进行写入操作,所以为了线程安全,在操作共享变量时必
须加锁。put方法首先定位到Segment,然后在Segment里进行插入操作。插入操作需要经历两个步骤,第一步判断是否需要对Segment里的HashEntry数组进行扩容,第二步定位添加元素的位置,然后将其放在HashEntry数组里。
- 是否需要扩容:在插入元素前会先判断Segment里的HashEntry数组是否超过容量(threshold),如果超过阈值,则对数组进行扩容。
- 如何扩容:在扩容的时候,首先会创建一个容量是原来容量两倍的数组,然后将原数组里的元素进行再散列后插入到新的数组里。为了高效,ConcurrentHashMap不会对整个容器进行扩容,而只对某个segment进行扩容。
虽然相加时可以获取每个Segment的count的最新值,但是可能累加前使用的count发生了变化,那么统计结果就不准了。所以,最安全的做法是在统计size的时候把所有Segment的put、remove和clean方法全部锁住,但是这种做法显然非常低效。
解决方案:
在累加count操作过程中,之前累加过的count发生变化的几率非常小,所以ConcurrentHashMap的做法是先尝试2次通过不锁住Segment的方式来统计各个Segment大小,如果统计的过程中,容器的count发生了变化,则再采用加锁的方式来统计所有Segment的大小。ConcurrentHashMap使用modCount变量,在put、remove和clean方法里操作元素前都会将变量modCount进行加1,那么在统计size前后比较modCount是否发生变化,从而得知容器的大小是否发生变化。
如果要实现一个线程安全的队列有两种方式:
- 阻塞方式:可以用一个锁(入队和出队用同一把锁)或两个锁(入队和出队用不同的锁)等方式来实现。
- 非阻塞方式:可以使用循环CAS的方式来实现
ConcurrentLinkedQueue是一个基于链接节点的无界线程安全队列,它采用先进先出的规则对节点进行排序,当我们添加一个元素的时候,它会添加到队列的尾部;当我们获取一个元素时,它会返回队列头部的元素。它采用了“wait-free”算法(即CAS算法)来实现。
入队列就是将入队节点添加到队列的尾部。
ConcurrentLinkedQueue如队列主要是做两件事情:
- 第一是将入队节点设置成当前队列尾节点的下一个节点;
- 第二是更新tail节点,如果tail节点的next节点不为空,则将入队节点设置成tail节点,如果tail节点的next节点为空,则将入队节点设置成tail的next节点
public boolean offer(E e) {
//判断元素e是否为null
checkNotNull(e);
//// 入队前,创建一个入队节点
final Node<E> newNode = new Node<E>(e);
// 创建一个指向tail节点的引用
// p用来表示队列的尾节点,默认情况下等于tail节点。
for (Node<E> t = tail, p = t;;) {
//获取p节点的next节点 q
Node<E> q = p.next;
if (q == null) {
//如q为null,说明p是尾节点。这个时候找到了尾节点,现在添加入队节点
// p is last node
//使用casNext将入队节点设置为尾节点的next节点。首先判断p的next节点是否为null。如果为null则设置newNode为p的next节点。如果不为null则返回false。
if (p.casNext(null, newNode)) {
// Successful CAS is the linearization point
// for e to become an element of this queue,
// and for newNode to become "live".
// 如果尾节点p和t不相等,说明同一时刻有其他线程更新了尾节点,则需要将当前节点设置为tail节点。
if (p != t) // hop two nodes at a time
casTail(t, newNode); // Failure is OK.
return true;
}
// Lost CAS race to another thread; re-read next
}
else if (p == q)
// We have fallen off list. If tail is unchanged, it
// will also be off-list, in which case we need to
// jump to head, from which all live nodes are always
// reachable. Else the new tail is a better bet.
p = (t != (t = tail)) ? t : head;
else
// Check for tail updates after two hops.
p = (p != t && t != (t = tail)) ? t : q;
}
}
从源代码角度来看,整个入队过程主要做两件事情:第一是定位出尾节点;第二是使用
CAS算法将入队节点设置成尾节点的next节点,如不成功则重试。
出队列的就是从队列里返回一个节点元素,并清空该节点对元素的引用。
从图中可知,并不是每次出队时都更新head节点,当head节点里有元素时,直接弹出head节点里的元素,而不会更新head节点。只有当head节点里没有元素时,出队操作才会更新head节点。这种做法也是通过hops变量来减少使用CAS更新head节点的消耗,从而提高出队效率。
public E poll() {
restartFromHead:
for (;;) {
//p表示head节点,需要出对的节点
for (Node<E> h = head, p = h, q;;) {
//获取p节点的元素
E item = p.item;
// 如果p节点的元素不为空,使用CAS设置p节点引用的元素为null,
// 如果成功则返回p节点的元素。
if (item != null && p.casItem(item, null)) {
// Successful CAS is the linearization point
// for item to be removed from this queue.
//// 将p节点下一个节点设置成head节点
if (p != h) // hop two nodes at a time
updateHead(h, ((q = p.next) != null) ? q : p);
return item;
}
//// 如果p的下一个节点也为空,说明这个队列已经空了
else if ((q = p.next) == null) {
//更新头节点
updateHead(h, p);
return null;
}
else if (p == q)
continue restartFromHead;
else
p = q;
}
}
}
首先获取头节点的元素,然后判断头节点元素是否为空,如果为空,表示另外一个线程已
经进行了一次出队操作将该节点的元素取走,如果不为空,则使用CAS的方式将头节点的引
用设置成null,如果CAS成功,则直接返回头节点的元素,如果不成功,表示另外一个线程已经进行了一次出队操作更新了head节点,导致元素发生了变化,需要重新获取头节点。
阻塞队列(BlockingQueue)是一个支持两个附加操作的队列。这两个附加的操作支持阻塞
的插入和移除方法。
- 支持阻塞的插入方法:意思是当队列满时,队列会阻塞插入元素的线程,直到队列不
满。- 支持阻塞的移除方法:意思是在队列为空时,获取元素的线程会等待队列变为非空。
Java中的阻塞队列提供了以下四种操作方式:
抛出异常:当队列满时,如果再往队列里插入元素,会抛出IllegalStateException(“Queuefull”)异常。当队列空时,从队列里获取元素会抛出NoSuchElementException异常。
返回特殊值:当往队列插入元素时,会返回元素是否插入成功,成功返回true。如果是移
除方法,则是从队列里取出一个元素,如果没有则返回null。
一直阻塞:当阻塞队列满时,如果生产者线程往队列里put元素,队列会一直阻塞生产者
线程,直到队列可用或者响应中断退出。当队列空时,如果消费者线程从队列里take元素,队列会阻塞住消费者线程,直到队列不为空。
超时退出:当阻塞队列满时,如果生产者线程往队列里插入元素,队列会阻塞生产者线程
一段时间,如果超过了指定的时间,生产者线程就会退出。
ArrayBlockingQueue是一个用数组实现的有界阻塞队列。此队列按照先进先出(FIFO)的原则对元素进行排序。默认情况下不保证线程公平的访问队列,所谓公平访问队列是指阻塞的线程,可以按照阻塞的先后顺序访问队列,即先阻塞线程先访问队列。
public class ArrayblockingQueueTest {
public static void main(String[] args) {
ArrayBlockingQueue<Integer> queue=new ArrayBlockingQueue<Integer>(5);
new Thread(new Runnable() {
@Override
public void run() {
int count=1;
while (true){
try {
queue.put(count++);
} catch (InterruptedException e) {
e.printStackTrace();
}
System.out.println("添加元素成功:"+count);
}
}
}).start();
new Thread(new Runnable() {
@Override
public void run() {
while (true){
Integer remove = null;
try {
remove = queue.take();
} catch (InterruptedException e) {
e.printStackTrace();
}
System.out.println("remove元素成功:"+remove);
}
}
}).start();
}
}
LinkedBlockingQueue是一个用链表实现的有界阻塞队列。此队列的默认和最大长度为
Integer.MAX_VALUE。此队列按照先进先出的原则对元素进行排序。
public class LinkedblockingQueueTest {
public static void main(String[] args) {
LinkedBlockingQueue<Integer> queue=new LinkedBlockingQueue<Integer>(5);
new Thread(new Runnable() {
@Override
public void run() {
int count=1;
while (true){
try {
queue.put(count++);
} catch (InterruptedException e) {
e.printStackTrace();
}
System.out.println("添加元素成功:"+count);
}
}
}).start();
new Thread(new Runnable() {
@Override
public void run() {
while (true){
Integer remove = null;
try {
remove = queue.take();
} catch (InterruptedException e) {
e.printStackTrace();
}
System.out.println("remove元素成功:"+remove);
}
}
}).start();
}
}
PriorityBlockingQueue是一个支持优先级的无界阻塞队列。默认情况下元素采取自然顺序
升序排列。也可以自定义类实现compareTo()方法来指定元素排序规则,或者初始化
PriorityBlockingQueue时,指定构造参数Comparator来对元素进行排序。需要注意的是不能保证同优先级元素的顺序。
public class PriorityBlockingQueueTest {
//支持优先级的无界队列,可以不断的put因为支持扩容。但是当队列元素为空时,get操作就会阻塞。
public static PriorityBlockingQueue<User> queue = new PriorityBlockingQueue<User>(3);
public static void main(String[] args) {
queue.put(new User(1,"wu"));
queue.put(new User(5,"wu5"));
queue.put(new User(23,"wu23"));
queue.put(new User(55,"wu55"));
queue.put(new User(9,"wu9"));
queue.put(new User(3,"wu3"));
for (User user : queue) {
try {
System.out.println(queue.take().name);
} catch (InterruptedException e) {
e.printStackTrace();
}
}
try {
User user = queue.take();
System.out.println(user);
} catch (InterruptedException e) {
}
}
//静态内部类
static class User implements Comparable<User>{
public User(int age,String name) {
this.age = age;
this.name = name;
}
int age;
String name;
/**
* 排序 o this
* this compareTo o
* @param o
* @return
*/
@Override
public int compareTo(User o) {
return this.age > o.age ? 1 : -1;
}
}
}
DelayQueue是一个支持延时获取元素的无界阻塞队列。队列使用PriorityQueue来实现。队
列中的元素必须实现Delayed接口,在创建元素时可以指定多久才能从队列中获取当前元素。只有在延迟期满时才能从队列中提取元素。
DelayQueue运用场景:
- 缓存系统的设计:可以用DelayQueue保存缓存元素的有效期,使用一个线程循环查询
DelayQueue,一旦能从DelayQueue中获取元素时,表示缓存有效期到了。- 定时任务调度:使用DelayQueue保存当天将会执行的任务和执行时间,一旦从
DelayQueue中获取到任务就开始执行,比如TimerQueue就是使用DelayQueue实现的。
public class DelayedQueueTest {
public static void main(String[] args) {
DelayQueue<DelayTask> queue = new DelayQueue<>();
queue.add(new DelayTask("1", new Date()));
queue.add(new DelayTask("2", new Date(System.currentTimeMillis()+5000)));
queue.add(new DelayTask("3", new Date(System.currentTimeMillis()+1000)));
queue.add(new DelayTask("4", new Date(System.currentTimeMillis()+2000)));
System.out.println("queue put done");
while(!queue.isEmpty()) {
try {
DelayTask task = queue.take();
System.out.println(task.name + ":" + System.currentTimeMillis());
} catch (InterruptedException e) {
e.printStackTrace();
}
}
}
static class DelayTask implements Delayed {
private String name;
private Date taskTime;
public DelayTask(String name, Date taskTime) {
this.name = name;
this.taskTime = taskTime;
}
@Override
public int compareTo( Delayed o) {
DelayTask delayTask = (DelayTask) o;
long diff = taskTime.getTime() - delayTask.getTaskTime().getTime();
if (diff > 0) {
return 1;
} else if (diff == 0) {
return 0;
} else {
return -1;
}
}
@Override
public long getDelay(TimeUnit unit) {
return unit.convert(taskTime.getTime() - System.currentTimeMillis(), TimeUnit.MILLISECONDS);
}
public String getName() {
return name;
}
public void setName(String name) {
this.name = name;
}
public Date getTaskTime() {
return taskTime;
}
public void setTaskTime(Date taskTime) {
this.taskTime = taskTime;
}
}
}
运行结果:
queue put done
1:1546048299863
3:1546048300864
4:1546048301863
2:1546048304862
SynchronousQueue是一个不存储元素的阻塞队列。每一个put操作必须等待一个take操作,
否则不能继续添加元素。
它支持公平访问队列。默认情况下线程采用非公平性策略访问队列。使用以下构造方法
可以创建公平性访问的SynchronousQueue,如果设置为true,则等待的线程会采用先进先出的顺序访问队列。
public SynchronousQueue(boolean fair) {
transferer = fair new TransferQueue() : new TransferStack();
}
public class SynchronousQueueTest {
public static void main(String[] args) throws InterruptedException {
SynchronousQueue<Integer> synchronousQueue=new SynchronousQueue<>();
new Thread(new Runnable() {
@Override
public void run() {
try {
Thread.sleep(1000);
synchronousQueue.take();
Thread.sleep(1000);
synchronousQueue.take();
Thread.sleep(1000);
synchronousQueue.take();
Thread.sleep(1000);
synchronousQueue.take();
} catch (InterruptedException e) {
e.printStackTrace();
}
}
}).start();
synchronousQueue.put(1);
System.out.println("1");
synchronousQueue.put(2);
System.out.println("2");
synchronousQueue.put(3);
System.out.println("3");
synchronousQueue.put(4);
System.out.println("4");
}
}
运行结果:
1
2
3
4
LinkedTransferQueue是一个由链表结构组成的无界阻塞TransferQueue队列。相对于其他阻塞队列,LinkedTransferQueue多了tryTransfer和transfer方法。
- transfer方法: 如果当前有消费者正在等待接收元素(消费者使用take()方法或带时间限制的poll()方法时),transfer方法可以把生产者传入的元素立刻transfer(传输)给消费者。如果没有消费者在等待接收元素,transfer方法会将元素存放在队列的tail节点,并等到该元素被消费者消费了才返回。
- tryTransfer方法: tryTransfer方法是用来试探生产者传入的元素是否能直接传给消费者。如果没有消费者等待接收元素,则返回false。和transfer方法的区别是tryTransfer方法无论消费者是否接收,方法立即返回,而transfer方法是必须等到消费者消费了才返回。
public class LinkedTransferQueueTest {
public static void main(String[] args) {
LinkedTransferQueue<Integer> queue=new LinkedTransferQueue<Integer>();
new Thread(new Runnable() {
@Override
public void run() {
while (true){
Integer remove = null;
try {
remove = queue.take();
} catch (InterruptedException e) {
e.printStackTrace();
}
System.out.println("remove元素成功:"+remove);
}
}
}).start();
new Thread(new Runnable() {
@Override
public void run() {
try {
Thread.sleep(1000);
boolean b = queue.tryTransfer(20);
System.out.println(b);
queue.transfer(100);
} catch (InterruptedException e) {
e.printStackTrace();
}
}
}).start();
}
}
LinkedBlockingDeque是一个由链表结构组成的双向阻塞队列。所谓双向队列指的是可以
从队列的两端插入和移出元素。双向队列因为多了一个操作队列的入口,在多线程同时入队
时,也就减少了一半的竞争。相比其他的阻塞队列,LinkedBlockingDeque多addFirst、addLast、offerFirst、offerLast、peekFirst和peekLast等方法。
LinkedBlockingDeque基于双向链表实现的阻塞队列,根据构造传入的容量大小决定有界还是无界,默认不传的话,大小Integer.Max。
public class LinkedBlockingDequeTest {
public static void main(String[] args) {
LinkedBlockingDeque<Integer> queue=new LinkedBlockingDeque<Integer>(5);
new Thread(new Runnable() {
@Override
public void run() {
int count=1;
while (true){
try {
queue.putFirst(count++);
} catch (InterruptedException e) {
e.printStackTrace();
}
System.out.println("添加元素成功:"+count);
}
}
}).start();
new Thread(new Runnable() {
@Override
public void run() {
while (true){
Integer remove = null;
try {
remove = queue.takeLast();
} catch (InterruptedException e) {
e.printStackTrace();
}
System.out.println("remove元素成功:"+remove);
}
}
}).start();
}
}
Fork/Join框架是Java 7提供的一个用于并行执行任务的框架,是一个把大任务分割成若干
个小任务,最终汇总每个小任务结果后得到大任务结果的框架。
Fork/Join框架的流程图
工作窃取(work-stealing)算法是指某个线程从其他队列里窃取任务来执行。假如我们需要做一个比较大的任务,可以把这个任务分割为若干互不依赖的子任务,为了减少线程间的竞争,把这些子任务分别放到不同的队列里,并为每个队列创建一个单独的线程来执行队列里的任务,线程和队列一一对应。比如A线程负责处理A队列里的任务。但是,有的线程会先把自己队列里的任务干完,而其他线程对应的队列里还有任务等待处理。干完活的线程与其等着,不如去帮其他线程干活,于是它就去其他线程的队列里窃取一个任务来执行
工作窃取算法流程图:
- 工作窃取算法的优点:充分利用线程进行并行计算,减少了线程间的竞争。
- 工作窃取算法的缺点:在某些情况下还是存在竞争,比如双端队列里只有一个任务时。并且该算法会消耗了更多的系统资源,比如创建多个线程和多个双端队列。
public class CountTask extends RecursiveTask<Integer> {
private static final int THRESHOLD = 2; // 阈值
private int start;
private int end;
public CountTask(int start, int end) {
this.start = start;
this.end = end;
}
@Override
protected Integer compute() {
int sum = 0;
// 如果任务足够小就计算任务
boolean canCompute = (end - start) <= THRESHOLD;
if (canCompute) {
for (int i = start; i <= end; i++) {
sum += i;
}
} else {
// 如果任务大于阈值,就分裂成两个子任务计算
int middle = (start + end) / 2;
CountTask leftTask = new CountTask(start, middle);
CountTask rightTask = new CountTask(middle + 1, end);
//执行子任务
leftTask.fork();
rightTask.fork();
//等待子任务执行完,并得到其结果
int leftResult = leftTask.join();
int rightResult = rightTask.join();
//合并子任务
sum = leftResult + rightResult;
}
return sum;
}
public static void main(String[] args) {
ForkJoinPool forkJoinPool = new ForkJoinPool();
// 生成一个计算任务,负责计算1+2+3+4
CountTask task = new CountTask(1, 4);
// 执行一个任务
Future<Integer> result = forkJoinPool.submit(task);
try {
System.out.println(result.get());
} catch (InterruptedException e) {
} catch (ExecutionException e) {
}
}
}
ForkJoinTask提供了isCompletedAbnormally()方法来检查任务是否已经抛出异常或已经被取消
if(task.isCompletedAbnormally())
{
System.out.println(task.getException());
}
ForkJoinPool由ForkJoinTask数组和ForkJoinWorkerThread数组组成,ForkJoinTask数组负责将存放程序提交给ForkJoinPool的任务,而ForkJoinWorkerThread数组负责执行这些任务。
我们调用ForkJoinTask的fork方法时,程序会调用ForkJoinWorkerThread的pushTask方法异步地执行这个任务,然后立即返回结果。
public final ForkJoinTask<V> fork() {
((ForkJoinWorkerThread) Thread.currentThread())
.pushTask(this);
return this;
}
pushTask方法把当前任务存放在ForkJoinTask数组队列里。然后再调用ForkJoinPool的
signalWork()方法唤醒或创建一个工作线程来执行任务.
final void pushTask(ForkJoinTask<> t) {
ForkJoinTask<>[] q; int s, m;
if ((q = queue) != null) { // ignore if queue removed
long u = (((s = queueTop) & (m = q.length - 1)) << ASHIFT) + ABASE;
UNSAFE.putOrderedObject(q, u, t);
queueTop = s + 1; // or use putOrderedInt
if ((s -= queueBase) <= 2)
pool.signalWork();
else if (s == m)
growQueue();
}
}
Join方法的主要作用是阻塞当前线程并等待获取结果。让我们一起看看ForkJoinTask的join方法的实现。
在doJoin()方法里,首先通过查看任务的状态,看任务是否已经执行完成,如果执行完成,则直接返回任务状态;如果没有执行完,则从任务数组里取出任务并执行。如果任务顺利执行完成,则设置任务状态为NORMAL,如果出现异常,则记录异常,并将任务状态设置为EXCEPTIONAL。