java-01-ConcurrentHashMap

前言

以前写过介绍HashMap的文章,文中提到过HashMap在put的时候,插入的元素超过了容量(由负载因子决定)的范围就会触发扩容操作,就是rehash,这个会重新将原数组的内容重新hash到新的扩容数组中,在多线程的环境下,存在同时其他的元素也在进行put操作,如果hash值相同,可能出现同时在同一数组下用链表表示,造成闭环,导致在get时会出现死循环,所以HashMap是线程不安全的。

我们来了解另一个键值存储集合HashTable,它是线程安全的,它在所有涉及到多线程操作的都加上了synchronized关键字来锁住整个table,这就意味着所有的线程都在竞争一把锁,在多线程的环境下,它是安全的,但是无疑是效率低下的。

其实HashTable有很多的优化空间,锁住整个table这么粗暴的方法可以变相的柔和点,比如在多线程的环境下,对不同的数据集进行操作时其实根本就不需要去竞争一个锁,因为他们不同hash值,不会因为rehash造成线程不安全,所以互不影响,这就是锁分离技术,将锁的粒度降低,利用多个锁来控制多个小的table,这就是这篇文章的主角ConcurrentHashMap JDK1.7版本的核心思想。

ConcurrentHashMap

JDK1.7的实现

在JDK1.7版本中,ConcurrentHashMap的数据结构是由一个Segment数组和多个HashEntry组成,如下图所示:

1

Segment数组的意义就是将一个大的table分割成多个小的table来进行加锁,也就是上面的提到的锁分离技术,而每一个Segment元素存储的是HashEntry数组+链表,这个和HashMap的数据存储结构一样

初始化

ConcurrentHashMap的初始化是会通过位与运算来初始化Segment的大小,用ssize来表示,如下所示

int sshift = 0;

int ssize = 1;

while (ssize < concurrencyLevel) {

++sshift;

ssize <<= 1;

}

如上所示,因为ssize用位于运算来计算(ssize <<=1),所以Segment的大小取值都是以2的N次方,无关concurrencyLevel的取值,当然concurrencyLevel最大只能用16位的二进制来表示,即65536,换句话说,Segment的大小最多65536个,没有指定concurrencyLevel元素初始化,Segment的大小ssize默认为16

每一个Segment元素下的HashEntry的初始化也是按照位于运算来计算,用cap来表示,如下所示

int cap = 1;

while (cap < c)

cap <<= 1;

如上所示,HashEntry大小的计算也是2的N次方(cap <<=1), cap的初始值为1,所以HashEntry最小的容量为2

put操作

对于ConcurrentHashMap的数据插入,这里要进行两次Hash去定位数据的存储位置

static class Segment extends ReentrantLock implements Serializable {

从上Segment的继承体系可以看出,Segment实现了ReentrantLock,也就带有锁的功能,当执行put操作时,会进行第一次key的hash来定位Segment的位置,如果该Segment还没有初始化,即通过CAS操作进行赋值,然后进行第二次hash操作,找到相应的HashEntry的位置,这里会利用继承过来的锁的特性,在将数据插入指定的HashEntry位置时(链表的尾端),会通过继承ReentrantLock的tryLock()方法尝试去获取锁,如果获取成功就直接插入相应的位置,如果已经有线程获取该Segment的锁,那当前线程会以自旋的方式去继续的调用tryLock()方法去获取锁,超过指定次数就挂起,等待唤醒。

get操作

ConcurrentHashMap的get操作跟HashMap类似,只是ConcurrentHashMap第一次需要经过一次hash定位到Segment的位置,然后再hash定位到指定的HashEntry,遍历该HashEntry下的链表进行对比,成功就返回,不成功就返回null。

size操作

计算ConcurrentHashMap的元素大小是一个有趣的问题,因为他是并发操作的,就是在你计算size的时候,他还在并发的插入数据,可能会导致你计算出来的size和你实际的size有相差(在你return size的时候,插入了多个数据),要解决这个问题,JDK1.7版本用两种方案。

try {

for (;;) {

    if (retries++ == RETRIES_BEFORE_LOCK) {

        for (int j = 0; j < segments.length; ++j) ensureSegment(j).lock(); // force creation

    }

    sum = 0L;

    size = 0;

    overflow = false;

    for (int j = 0; j < segments.length; ++j) {

        Segment seg = segmentAt(segments, j);

        if (seg != null) { sum += seg.modCount; int c = seg.count; if (c < 0 || (size += c) < 0)

           overflow = true;

        } }

    if (sum == last) break;

    last = sum; } }

finally {

if (retries > RETRIES_BEFORE_LOCK) {

    for (int j = 0; j < segments.length; ++j)

        segmentAt(segments, j).unlock();

}

}

第一种方案他会使用不加锁的模式去尝试多次计算ConcurrentHashMap的size,最多三次,比较前后两次计算的结果,结果一致就认为当前没有元素加入,计算的结果是准确的;

第二种方案是如果第一种方案不符合,他就会给每个Segment加上锁,然后计算ConcurrentHashMap的size返回。

JDK1.8的实现

JDK1.8的实现已经摒弃了Segment的概念,而是直接用Node数组+链表+红黑树的数据结构来实现,并发控制使用Synchronized和CAS来操作,整个看起来就像是优化过且线程安全的HashMap,虽然在JDK1.8中还能看到Segment的数据结构,但是已经简化了属性,只是为了兼容旧版本。

2

在深入JDK1.8的put和get实现之前要知道一些常量设计和数据结构,这些是构成ConcurrentHashMap实现结构的基础,下面看一下基本属性:

// node数组最大容量:2^30=1073741824

private static final int MAXIMUM_CAPACITY = 1 << 30;

// 默认初始值,必须是2的幕数

private static final int DEFAULT_CAPACITY = 16;

//数组可能最大值,需要与toArray()相关方法关联

static final int MAX_ARRAY_SIZE = Integer.MAX_VALUE - 8;

//并发级别,遗留下来的,为兼容以前的版本

private static final int DEFAULT_CONCURRENCY_LEVEL = 16;

// 负载因子

private static final float LOAD_FACTOR = 0.75f;

// 链表转红黑树阀值,> 8 链表转换为红黑树

static final int TREEIFY_THRESHOLD = 8;

//树转链表阀值,小于等于6(tranfer时,lc、hc=0两个计数器分别++记录原bin、新binTreeNode数量,<=UNTREEIFY_THRESHOLD 则untreeify(lo))

static final int UNTREEIFY_THRESHOLD = 6;

static final int MIN_TREEIFY_CAPACITY = 64;

private static final int MIN_TRANSFER_STRIDE = 16;

private static int RESIZE_STAMP_BITS = 16;

// 2^15-1,help resize的最大线程数

private static final int MAX_RESIZERS = (1 << (32 - RESIZE_STAMP_BITS)) - 1;

// 32-16=16,sizeCtl中记录size大小的偏移量

private static final int RESIZE_STAMP_SHIFT = 32 - RESIZE_STAMP_BITS;

// forwarding nodes的hash值

static final int MOVED = -1;

// 树根节点的hash值

static final int TREEBIN = -2;

// ReservationNode的hash值

static final int RESERVED = -3;

// 可用处理器数量

static final int NCPU = Runtime.getRuntime().availableProcessors();

//存放node的数组

transient volatile Node[] table;

/*控制标识符,用来控制table的初始化和扩容的操作,不同的值有不同的含义

*当为负数时:-1代表正在初始化,-N代表有N-1个线程正在 进行扩容

*当为0时:代表当时的table还没有被初始化

*当为正数时:表示初始化或者下一次进行扩容的大小

private transient volatile int sizeCtl;

基本属性定义了ConcurrentHashMap的一些边界以及操作时的一些控制,下面看一些内部的一些结构组成,这些是整个ConcurrentHashMap整个数据结构的核心。

Node

Node是ConcurrentHashMap存储结构的基本单元,继承于HashMap中的Entry,用于存储数据,源代码如下

static class Node implements Map.Entry {

//链表的数据结构

final int hash;

final K key;

//val和next都会在扩容时发生变化,所以加上volatile来保持可见性和禁止重排序

volatile V val;

volatile Node next;

Node(int hash, K key, V val, Node next) {

    this.hash = hash;

    this.key = key;

    this.val = val;

    this.next = next;

}

public final K getKey()       { return key; }

public final V getValue()     { return val; }

public final int hashCode()   { return key.hashCode() ^ val.hashCode(); }

public final String toString(){ return key + "=" + val; }

//不允许更新value  

public final V setValue(V value) {

    throw new UnsupportedOperationException();

}

public final boolean equals(Object o) {

    Object k, v, u; Map.Entry e;

    return ((o instanceof Map.Entry) &&

            (k = (e = (Map.Entry)o).getKey()) != null &&

            (v = e.getValue()) != null &&

            (k == key || k.equals(key)) &&

            (v == (u = val) || v.equals(u)));

}

//用于map中的get()方法,子类重写

Node find(int h, Object k) {

    Node e = this;

    if (k != null) {

        do {

            K ek;

            if (e.hash == h &&

                ((ek = e.key) == k || (ek != null && k.equals(ek))))

                return e;

        } while ((e = e.next) != null);

    }

    return null;

}

}

Node数据结构很简单,从上可知,就是一个链表,但是只允许对数据进行查找,不允许进行修改。

TreeNode

TreeNode继承与Node,但是数据结构换成了二叉树结构,它是红黑树的数据的存储结构,用于红黑树中存储数据,当链表的节点数大于8时会转换成红黑树的结构,他就是通过TreeNode作为存储结构代替Node来转换成黑红树源代码如下。

static final class TreeNode extends Node {

//树形结构的属性定义

TreeNode parent;  // red-black tree links

TreeNode left;

TreeNode right;

TreeNode prev;    // needed to unlink next upon deletion

boolean red; //标志红黑树的红节点

TreeNode(int hash, K key, V val, Node next,

         TreeNode parent) {

    super(hash, key, val, next);

    this.parent = parent;

}

Node find(int h, Object k) {

    return findTreeNode(h, k, null);

}

//根据key查找 从根节点开始找出相应的TreeNode,

final TreeNode findTreeNode(int h, Object k, Class kc) {

    if (k != null) {

        TreeNode p = this;

        do  {

            int ph, dir; K pk; TreeNode q;

            TreeNode pl = p.left, pr = p.right;

            if ((ph = p.hash) > h)

                p = pl;

            else if (ph < h)

                p = pr;

            else if ((pk = p.key) == k || (pk != null && k.equals(pk)))

                return p;

            else if (pl == null)

                p = pr;

            else if (pr == null)

                p = pl;

            else if ((kc != null ||

                      (kc = comparableClassFor(k)) != null) &&

                     (dir = compareComparables(kc, k, pk)) != 0)

                p = (dir < 0) ? pl : pr;

            else if ((q = pr.findTreeNode(h, k, kc)) != null)

                return q;

            else

                p = pl;

        } while (p != null);

    }

    return null;

}

}

TreeBin

TreeBin从字面含义中可以理解为存储树形结构的容器,而树形结构就是指TreeNode,所以TreeBin就是封装TreeNode的容器,它提供转换黑红树的一些条件和锁的控制,部分源码结构如下。

static final class TreeBin extends Node {

//指向TreeNode列表和根节点

TreeNode root;

volatile TreeNode first;

volatile Thread waiter;

volatile int lockState;

// 读写锁状态

static final int WRITER = 1; // 获取写锁的状态

static final int WAITER = 2; // 等待写锁的状态

static final int READER = 4; // 增加数据时读锁的状态

/**

 * 初始化红黑树

 */

TreeBin(TreeNode b) {

    super(TREEBIN, null, null, null);

    this.first = b;

    TreeNode r = null;

    for (TreeNode x = b, next; x != null; x = next) {

        next = (TreeNode)x.next;

        x.left = x.right = null;

        if (r == null) {

            x.parent = null;

            x.red = false;

            r = x;

        }

        else {

            K k = x.key;

            int h = x.hash;

            Class kc = null;

            for (TreeNode p = r;;) {

                int dir, ph;

                K pk = p.key;

                if ((ph = p.hash) > h)

                    dir = -1;

                else if (ph < h)

                    dir = 1;

                else if ((kc == null &&

                          (kc = comparableClassFor(k)) == null) ||

                         (dir = compareComparables(kc, k, pk)) == 0)

                    dir = tieBreakOrder(k, pk);

                    TreeNode xp = p;

                if ((p = (dir <= 0) ? p.left : p.right) == null) {

                    x.parent = xp;

                    if (dir <= 0)

                        xp.left = x;

                    else

                        xp.right = x;

                    r = balanceInsertion(r, x);

                    break;

                }

            }

        }

    }

    this.root = r;

    assert checkInvariants(root);

}

......

}

介绍了ConcurrentHashMap主要的属性与内部的数据结构,现在通过一个简单的例子以debug的视角看看ConcurrentHashMap的具体操作细节。

public class TestConcurrentHashMap{

public static void main(String[] args){

    ConcurrentHashMap map = new ConcurrentHashMap(); //初始化ConcurrentHashMap

    //新增个人信息

    map.put("id","1");

    map.put("name","andy");

    map.put("sex","男");

    //获取姓名

    String name = map.get("name");

    Assert.assertEquals(name,"andy");

    //计算大小

    int size = map.size();

    Assert.assertEquals(size,3);

}

}

我们先通过new ConcurrentHashMap()来进行初始化

public ConcurrentHashMap() {

}

由上你会发现ConcurrentHashMap的初始化其实是一个空实现,并没有做任何事,这里后面会讲到,这也是和其他的集合类有区别的地方,初始化操作并不是在构造函数实现的,而是在put操作中实现,当然ConcurrentHashMap还提供了其他的构造函数,有指定容量大小或者指定负载因子,跟HashMap一样,这里就不做介绍了。

put操作

在上面的例子中我们新增个人信息会调用put方法,我们来看下。

public V put(K key, V value) {

return putVal(key, value, false);

}

/** Implementation for put and putIfAbsent */

final V putVal(K key, V value, boolean onlyIfAbsent) {

if (key == null || value == null) throw new NullPointerException();

int hash = spread(key.hashCode()); //两次hash,减少hash冲突,可以均匀分布

int binCount = 0;

for (Node[] tab = table;;) { //对这个table进行迭代

    Node f; int n, i, fh;

    //这里就是上面构造方法没有进行初始化,在这里进行判断,为null就调用initTable进行初始化,属于懒汉模式初始化

    if (tab == null || (n = tab.length) == 0)

        tab = initTable();

    else if ((f = tabAt(tab, i = (n - 1) & hash)) == null) {//如果i位置没有数据,就直接无锁插入

        if (casTabAt(tab, i, null,

                     new Node(hash, key, value, null)))

            break;                   // no lock when adding to empty bin

    }

    else if ((fh = f.hash) == MOVED)//如果在进行扩容,则先进行扩容操作

        tab = helpTransfer(tab, f);

    else {

        V oldVal = null;

        //如果以上条件都不满足,那就要进行加锁操作,也就是存在hash冲突,锁住链表或者红黑树的头结点

        synchronized (f) {

            if (tabAt(tab, i) == f) {

                if (fh >= 0) { //表示该节点是链表结构

                    binCount = 1;

                    for (Node e = f;; ++binCount) {

                        K ek;

                        //这里涉及到相同的key进行put就会覆盖原先的value

                        if (e.hash == hash &&

                            ((ek = e.key) == key ||

                             (ek != null && key.equals(ek)))) {

                            oldVal = e.val;

                            if (!onlyIfAbsent)

                                e.val = value;

                            break;

                        }

                        Node pred = e;

                        if ((e = e.next) == null) {  //插入链表尾部

                            pred.next = new Node(hash, key,

                                                      value, null);

                            break;

                        }

                    }

                }

                else if (f instanceof TreeBin) {//红黑树结构

                    Node p;

                    binCount = 2;

                    //红黑树结构旋转插入

                    if ((p = ((TreeBin)f).putTreeVal(hash, key,

                                                   value)) != null) {

                        oldVal = p.val;

                        if (!onlyIfAbsent)

                            p.val = value;

                    }

                }

            }

        }

        if (binCount != 0) { //如果链表的长度大于8时就会进行红黑树的转换

            if (binCount >= TREEIFY_THRESHOLD)

                treeifyBin(tab, i);

            if (oldVal != null)

                return oldVal;

            break;

        }

    }

}

addCount(1L, binCount);//统计size,并且检查是否需要扩容

return null;

}

这个put的过程很清晰,对当前的table进行无条件自循环直到put成功,可以分成以下六步流程来概述。

如果没有初始化就先调用initTable()方法来进行初始化过程

如果没有hash冲突就直接CAS插入

如果还在进行扩容操作就先进行扩容

如果存在hash冲突,就加锁来保证线程安全,这里有两种情况,一种是链表形式就直接遍历到尾端插入,一种是红黑树就按照红黑树结构插入,

最后一个如果该链表的数量大于阈值8,就要先转换成黑红树的结构,break再一次进入循环

如果添加成功就调用addCount()方法统计size,并且检查是否需要扩容

你可能感兴趣的:(java-01-ConcurrentHashMap)