简介
ConcurrentHashMap是JDK提供的一个线程安全的Map容器，它使用了CAS，volatile等无锁并发技术来提升了其在多线程竞争下的性能。相比于Java1.8之前的ConcurrentHashMap，1.8放弃了以hashTable为单位的分段锁而采用了粒度更低。以单个Node为单位的分段锁。并且1.8中的Node不在是单纯的链表。当单个链表中的对象数量过多，便会膨胀为红黑树（提升读写速度）。同时笔者认为1.8最大的亮点就是实现了容器的并发扩容，通过向多个put来分担扩容的时间消耗，实在是nb。
Hash
/**
* 通过异或将高位比特位影响低位比特位，同时强制将高位比特位置0。
* 因为table使用了2的幂数的掩码时，当遇到hash只在掩码之上变化的情
* 况时hash会一直碰撞(大量的Float作为key在容量特别小的table中就
* 会造成大量的碰撞) 所有我们应用了一种转换方式它可以让高位比特位
* 来影响低位. 这是对于速度，易用性和比特传递的质量的一种权衡。 因为
* 大量普遍使用的hash算法已经很合理的分配hash (所有他们不会收益于
* spread，及该函数), 并且因为我们已经使用了红黑树来处理大量的hash碰撞，
* 我们通过最简单可实现的异或方式来对比特进行移位来降低系统损耗，
* 同时由于融合了高比特位的影响，spread将不会被用来计算索引，
* 因为table的范围是变动的。
*/
static final int spread(int h) {
return (h ^ (h >>> 16)) & HASH_BITS;
}
Get
通过hash获取Node,若node的hash<0,表示为特殊node,则使用node::find去查找node,
若为普通node则直接遍历查找,此时不用加锁,完全乐观.
值得一提的是,若为treeNode,在调用find方法后,其实会对红黑树加读写锁,
因此不能说concurrentHashMap的读是完全不加锁的.
public V get(Object key) {
Node[] tab; Node e, p; int n, eh; K ek;
int h = spread(key.hashCode());
if ((tab = table) != null && (n = tab.length) > 0 &&
(e = tabAt(tab, (n - 1) & h)) != null) {
if ((eh = e.hash) == h) {
if ((ek = e.key) == key || (ek != null && key.equals(ek)))
return e.val;
}
else if (eh < 0)
return (p = e.find(h, key)) != null ? p.val : null;
while ((e = e.next) != null) {
if (e.hash == h &&
((ek = e.key) == key || (ek != null && key.equals(ek))))
return e.val;
}
}
return null;
}
Put
若table为空则初始化
若table在扩容则帮助扩容
若node为普通node或treeNode则开始真正的Put
先锁node,然后进行put操作.
若不同node的数量大于转换阈值则变化为treeNode.
最后添加总数量
/**
* 在表（table）中存储制定的键值对。
* 键和值都不可以为空
*
* 值可以通过调用方法 {@code get} 来取出。
* 调用方法中的键值必须等于原始键值。
*
* @param key 关联着特定值的键
* @param value 关联着特定键的值
* @return 先前键值所对应的值 {@code key}, 或者
* {@code null} 如果没有相应的值 {@code key} 则返回空
* @throws NullPointerException 如果键或值为空
*/
public V put(K key, V value) {
return putVal(key, value, false);
}
/** put 和 putIfAbsent 都使用了该方法 */
final V putVal(K key, V value, boolean onlyIfAbsent) {
if (key == null || value == null) throw new NullPointerException();
//调用spread优化原有hash
int hash = spread(key.hashCode());
int binCount = 0;
for (Node[] tab = table;;) {
Node f; int n, i, fh;
//如果未初始化table则初始化
if (tab == null || (n = tab.length) == 0)
tab = initTable();
//获取指定Node。其中n为table的长度，是2的幂数。
//使用 n - 1 作为掩码获得hash对应的index.
else if ((f = tabAt(tab, i = (n - 1) & hash)) == null) {
if (casTabAt(tab, i, null,
new Node(hash, key, value, null)))
break; // 插入一个未被插入的Node时，不加锁而使用轮询CAS
}
//MOVED = -1，当table扩容时会将已经完成扩容的Node换成一个指向现Node的ForwardingNode。
//并将这个ForwardingNode的hash值设为MOVED。
else if ((fh = f.hash) == MOVED)
// 当hash == MOVED，证明该table正在扩容，或者已经扩容完毕。
// 使用helpTransfer方法帮助table进行扩容，如果该table还没扩容完毕。
tab = helpTransfer(tab, f);
else {
V oldVal = null;
// 对该Node加锁
synchronized (f) {
//再次确认
if (tabAt(tab, i) == f) {
if (fh >= 0) {
// 插入深度
binCount = 1;
for (Node e = f;; ++binCount) {
K ek;
//key存在，修改value
if (e.hash == hash &&
((ek = e.key) == key ||
(ek != null && key.equals(ek)))) {
oldVal = e.val;
if (!onlyIfAbsent)
e.val = value;
break;
}
Node pred = e;
// 这条链中不存在该key，则插入。
if ((e = e.next) == null) {
pred.next = new Node(hash, key,
value, null);
break;
}
}
}
//如果Node为红黑树
else if (f instanceof TreeBin) {
Node p;
binCount = 2;
if ((p = ((TreeBin)f).putTreeVal(hash, key,
value)) != null) {
oldVal = p.val;
if (!onlyIfAbsent)
p.val = value;
}
}
}
}
if (binCount != 0) {
//如果深度大于TREEIFY_THRESHOLD，则将链转换为树
if (binCount >= TREEIFY_THRESHOLD)
treeifyBin(tab, i);
if (oldVal != null)
return oldVal;
break;
}
}
}
// mapSize加一，这是并发的增加mapSize，使用了LongAddr的方式来确保高并发下的吞吐量。
// 并且在addCount中会判断map的大小是否到达扩容阈值，如果到达则扩容。
addCount(1L, binCount);
return null;
}
SIZECTL
/**
* Table 初始化和扩容控制器. 当它为负数的时候,
* 这个table在初始化或者在扩容: -1 意味着它在初始化,
* 否则 -(1 + 正在参与扩容的线程数). 否则,当table为空时
* SIZECTL会存储table的初始化大小用来创建table，或者存储0
* 作为默认值 .初始化之后, SIZECTL存储下次扩容的阈值。
*
* 以上为官方注释，值得注意的是，SIZECTL在扩容时并不等于
* -(1 + 正在参与扩容的线程数)，则可能是Doug Lea的笔误。事实上
* SIZECTL = resizeStamp(n) << RESIZE_STAMP_SHIFT + 线程数
* 其中resizeStamp(n)是一个与tableSize相关的并且第16位为一的一个标识
* RESIZE_STAMP_SHIFT = 16，将stamp移到高16位，作为当前扩容容器的标识
* 后16位则为帮助扩容的线程数。由于ConcurrentHashMap的扩容是并发执行的，可能存在
* 当前table还没扩容完毕又发起下一次扩容，为了避免这样的情况，添加了reSizeStamp保证
* 同时只有一种扩容.
*/
private transient volatile int sizeCtl;
initTable
/**
* 初始化table，使用sizeCtl来记录size.
*/
private final Node[] initTable() {
Node[] tab; int sc;
// 确保table未被初始化
while ((tab = table) == null || tab.length == 0) {
// sizeCtl < 0 时不是在初始化就是在扩容
// 当有线程在操作table时，不与其竞争。
if ((sc = sizeCtl) < 0)
Thread.yield(); // 失去初始化竞争，自旋
// CAS将sc设为-1，相当于拿到初始化锁
else if (U.compareAndSwapInt(this, SIZECTL, sc, -1)) {
try {
if ((tab = table) == null || tab.length == 0) {
int n = (sc > 0) ? sc : DEFAULT_CAPACITY;
@SuppressWarnings("unchecked")
Node[] nt = (Node[])new Node[n];
table = tab = nt;
// 在sizeCtl中记录table的size，size为原size的3/4
sc = n - (n >>> 2);
}
} finally {
sizeCtl = sc;
}
break;
}
}
return tab;
}
helpTransfer
/**
* 如果table已经在扩容，则帮助它扩容
*/
final Node[] helpTransfer(Node[] tab, Node f) {
Node[] nextTab; int sc;
//确保正在扩容
if (tab != null && (f instanceof ForwardingNode) &&
(nextTab = ((ForwardingNode)f).nextTable) != null) {
int rs = resizeStamp(tab.length);
// 反复的确保正在扩容
while (nextTab == nextTable && table == tab &&
(sc = sizeCtl) < 0) {
// 如果 正在扩容的table容量等于当前table的容量
if ((sc >>> RESIZE_STAMP_SHIFT) != rs
// 如果已经完成扩容，线程数为0
// 实际上sc = resizeStamp(tab.length) << 16 ,而rs = resizeStamp(tab.length)
// sc 永远不等于 rs + 1 也不会等于 rs + MAX_RESIZERS，这是一个无效的判断..
|| sc == rs + 1
// 如果参与线程数已经达到最大
|| sc == rs + MAX_RESIZERS
// 如果扩容已完成 ，所有node都已经遍历，所有transferIndex = -1
|| transferIndex <= 0)
// 跳出循环，不帮助扩容
break;
// 协助扩容
if (U.compareAndSwapInt(this, SIZECTL, sc, sc + 1)) {
transfer(tab, nextTab);
break;
}
}
return nextTab;
}
return table;
}
Transfer
/**
* 移动 和/或 复制 node到新的table中
*/
private final void transfer(Node[] tab, Node[] nextTab) {
// stride 为步伐，指的是每次扩容任务要遍历的Node数
int n = tab.length, stride;
// 根据 n 和 cpu数来调整 stride
if ((stride = (NCPU > 1) ? (n >>> 3) / NCPU : n) < MIN_TRANSFER_STRIDE)
stride = MIN_TRANSFER_STRIDE;
// 初始化
if (nextTab == null) {
try {
@SuppressWarnings("unchecked")
// 容量翻一倍
Node[] nt = (Node[])new Node[n << 1];
nextTab = nt;
} catch (Throwable ex) { // OOME
sizeCtl = Integer.MAX_VALUE;
return;
}
nextTable = nextTab;
//还未处理的index范围
transferIndex = n;
}
int nextn = nextTab.length;
ForwardingNode fwd = new ForwardingNode(nextTab);
// 是否前进
boolean advance = true;
boolean finishing = false; // 为了确保在提交nextTab的时候已经将table换为了nextTab
for (int i = 0, bound = 0;;) {
Node f; int fh;
while (advance) {
int nextIndex, nextBound;
// --i 前进一步
if (--i >= bound || finishing)
advance = false;
//扩容完毕
else if ((nextIndex = transferIndex) <= 0) {
i = -1;
advance = false;
}
//如果 i 已经 等于 bound 则前进一个步伐
else if (U.compareAndSwapInt
(this, TRANSFERINDEX, nextIndex,
nextBound = (nextIndex > stride ?
nextIndex - stride : 0))) {
bound = nextBound;
i = nextIndex - 1;
advance = false;
}
}
//当当前所处理的位置不在目标范围内则尝试结束扩容
if (i < 0 || i >= n || i + n >= nextn) {
int sc;
// 如果已经完成扩容 则切换table 并且更新sizeCtl
// 这里不加锁是因为 SIZECTL为当前值时，只会有一个线程访问到SIZECTL
// 并且 sizeCtl为 volatile
if (finishing) {
nextTable = null;
table = nextTab;
sizeCtl = (n << 1) - (n >>> 1);
return;
}
// 该线程完成扩容，退出，对应的sizeCtl - 1
if (U.compareAndSwapInt(this, SIZECTL, sc = sizeCtl, sc - 1)) {
if ((sc - 2) != resizeStamp(n) << RESIZE_STAMP_SHIFT)
return;
// 如果该线程为最后退出的线程，则将finish设为true，进行table交换和sizeCtl值设置
finishing = advance = true;
i = n; // 不知道有啥用
}
}
// 如果该Node为空，将该Node设为fwd并跳到advance
else if ((f = tabAt(tab, i)) == null)
advance = casTabAt(tab, i, null, fwd);
// 如果该Node已经被处理，则调到advance
else if ((fh = f.hash) == MOVED)
advance = true; // already processed
else {
synchronized (f) {
if (tabAt(tab, i) == f) {
Node ln, hn;
if (fh >= 0) {
// n是table的长度，为2的幂数，并且fh&(n - 1)为node在table中的index
// 那么fh & n 则为node在新table中index的最高位
// 若 fh & n == 0则改Node的index不会因为扩容而改变index
int runBit = fh & n;
Node lastRun = f;
// 下面的就不赘述了，大致是将 fh & n == 0 的 node放进 ln中
// 将 fh & n == 1 的 node放进hn中
for (Node p = f.next; p != null; p = p.next) {
int b = p.hash & n;
if (b != runBit) {
runBit = b;
lastRun = p;
}
}
if (runBit == 0) {
ln = lastRun;
hn = null;
}
else {
hn = lastRun;
ln = null;
}
for (Node p = f; p != lastRun; p = p.next) {
int ph = p.hash; K pk = p.key; V pv = p.val;
if ((ph & n) == 0)
ln = new Node(ph, pk, pv, ln);
else
hn = new Node(ph, pk, pv, hn);
}
// 将 ln 和 hn同时放到nextTab中
setTabAt(nextTab, i, ln);
setTabAt(nextTab, i + n, hn);
setTabAt(tab, i, fwd);
// 跳转至 advance
advance = true;
}
else if (f instanceof TreeBin) {
TreeBin t = (TreeBin)f;
TreeNode lo = null, loTail = null;
TreeNode hi = null, hiTail = null;
int lc = 0, hc = 0;
//同上，将 h & n = 0 的 放入loTail
// 将 h & n = 1 的 放入hiTail
for (Node e = t.first; e != null; e = e.next) {
int h = e.hash;
TreeNode p = new TreeNode
(h, e.key, e.val, null, null);
if ((h & n) == 0) {
if ((p.prev = loTail) == null)
lo = p;
else
loTail.next = p;
loTail = p;
++lc;
}
else {
if ((p.prev = hiTail) == null)
hi = p;
else
hiTail.next = p;
hiTail = p;
++hc;
}
}
// 如果 对象数量较少 则变为链表
ln = (lc <= UNTREEIFY_THRESHOLD) ? untreeify(lo) :
(hc != 0) ? new TreeBin(lo) : t;
hn = (hc <= UNTREEIFY_THRESHOLD) ? untreeify(hi) :
(lc != 0) ? new TreeBin(hi) : t;
setTabAt(nextTab, i, ln);
setTabAt(nextTab, i + n, hn);
setTabAt(tab, i, fwd);
advance = true;
}
}
}
}
}
}
AddCount
/**
* 添加总数, 并且如果table太小或者还没有扩容
* 那么调用transfer方法. 如果已经在扩容了，在有效的情况下帮助运行transfer。
* 重复检查是否已经开始新一轮扩容，或已经达到新一轮扩容阈值。
* 因为扩容是延后与总量增加的
*
* @param x 添加的数量
* @param check 如果小于0, 不参与扩容, if <= 1 当没有竞争时扩容才参与扩容
*/
private final void addCount(long x, int check) {
// as 为 longAddr的结构，若as为空则还未发生过竞争
CounterCell[] as; long b, s;
// 如果已经初始化了longAddr
if ((as = counterCells) != null ||
// 如果更新base失败
!U.compareAndSwapLong(this, BASECOUNT, b = baseCount, s = b + x)) {
CounterCell a; long v; int m;
// 有竞争
boolean uncontended = true;
if (as == null || (m = as.length - 1) < 0 ||
// 获取当前线程的index 其中probe是一个全局自增遍历
// 每一个线程有不同的probe
(a = as[ThreadLocalRandom.getProbe() & m]) == null ||
// 尝试 增加longAddr
!(uncontended =
U.compareAndSwapLong(a, CELLVALUE, v = a.value, v + x))) {
// 循环cas 增加longAddr
fullAddCount(x, uncontended);
return;
}
if (check <= 1)
return;
s = sumCount();
}
if (check >= 0) {
Node[] tab, nt; int n, sc;
// 如果正在扩容或需要扩容则参与扩容
while (s >= (long)(sc = sizeCtl) && (tab = table) != null &&
(n = tab.length) < MAXIMUM_CAPACITY) {
int rs = resizeStamp(n);
if (sc < 0) {
// 如果1.正在扩容的table的容量不等于当前table的容量
// 2. 扩容结束 所有线程都退出了
// 3. 扩容线程数达到最大值
// 4，5 扩容结束
if ((sc >>> RESIZE_STAMP_SHIFT) != rs || sc == rs + 1 ||
sc == rs + MAX_RESIZERS || (nt = nextTable) == null ||
transferIndex <= 0)
break;
// 参与扩容
if (U.compareAndSwapInt(this, SIZECTL, sc, sc + 1))
transfer(tab, nt);
}
// 发起扩容
else if (U.compareAndSwapInt(this, SIZECTL, sc,
(rs << RESIZE_STAMP_SHIFT) + 2))
transfer(tab, null);
s = sumCount();
}
}
}
fullAddCount
// See LongAdder version for explanation
private final void fullAddCount(long x, boolean wasUncontended) {
int h;
// 出事化当前线程的probe
if ((h = ThreadLocalRandom.getProbe()) == 0) {
ThreadLocalRandom.localInit(); // force initialization
h = ThreadLocalRandom.getProbe();
wasUncontended = true;
}
boolean collide = false; // True if last slot nonempty
for (;;) {
CounterCell[] as; CounterCell a; int n; long v;
// 已经发生竞争 longAddr已被升级成并发状态
if ((as = counterCells) != null && (n = as.length) > 0) {
// 当前cell还未被初始化
if ((a = as[(n - 1) & h]) == null) {
if (cellsBusy == 0) { // Try to attach new Cell
CounterCell r = new CounterCell(x); // Optimistic create
// 加锁
if (cellsBusy == 0 &&
U.compareAndSwapInt(this, CELLSBUSY, 0, 1)) {
boolean created = false;
try { // Recheck under lock
CounterCell[] rs; int m, j;
if ((rs = counterCells) != null &&
(m = rs.length) > 0 &&
rs[j = (m - 1) & h] == null) {
rs[j] = r;
created = true;
}
} finally {
cellsBusy = 0;
}
if (created)
break;
continue; // Slot is now non-empty
}
}
collide = false;
}
else if (!wasUncontended) // CAS 已经失败 发生了竞争
wasUncontended = true; // Continue after rehash
else if (U.compareAndSwapLong(a, CELLVALUE, v = a.value, v + x))
break;
else if (counterCells != as || n >= NCPU)
collide = false; // At max size or stale
else if (!collide)
collide = true;
// 如果发生碰撞 则扩容
else if (cellsBusy == 0 &&
U.compareAndSwapInt(this, CELLSBUSY, 0, 1)) {
try {
if (counterCells == as) {// Expand table unless stale
CounterCell[] rs = new CounterCell[n << 1];
for (int i = 0; i < n; ++i)
rs[i] = as[i];
counterCells = rs;
}
} finally {
cellsBusy = 0;
}
collide = false;
continue; // Retry with expanded table
}
h = ThreadLocalRandom.advanceProbe(h);
}
else if (cellsBusy == 0 && counterCells == as &&
U.compareAndSwapInt(this, CELLSBUSY, 0, 1)) {
boolean init = false;
try { // Initialize table
if (counterCells == as) {
CounterCell[] rs = new CounterCell[2];
rs[h & 1] = new CounterCell(x);
counterCells = rs;
init = true;
}
} finally {
cellsBusy = 0;
}
if (init)
break;
}
else if (U.compareAndSwapLong(this, BASECOUNT, v = baseCount, v + x))
break; // Fall back on using base
}
}