数据结构-HashMap
Map作为Java中最常用的数据结构,不管是日常使用,还是求职面试,基本都会涉及到,所以我们今天一起来分析一波HashMap的实现原理。
Java中Map实现有哪几类及说明
HashMap:它根据键的hashCode值存储数据,大多数情况下可以直接定位到它的值,因而具有很快的访问速度,但遍历顺序却是不确定的。 HashMap最多只允许一条记录的键为null,允许多条记录的值为null。HashMap非线程安全,即任一时刻可以有多个线程同时写HashMap,可能会导致数据的不一致。
Hashtable:Hashtable是遗留类,很多映射的常用功能与HashMap类似,不同的是它承自Dictionary类,键值都不可为null,并且是线程安全的,任一时间只有一个线程能写Hashtable,并发性不如ConcurrentHashMap,因为ConcurrentHashMap引入了分段锁。Hashtable不建议在新代码中使用,不需要线程安全的场合可以用HashMap替换,需要线程安全的场合可以用ConcurrentHashMap替换
LinkedHashMap:LinkedHashMap是HashMap的一个子类,保存了记录的插入顺序,在用Iterator遍历LinkedHashMap时,先得到的记录肯定是先插入的,也可以在构造时带参数,按照访问次序排序。
TreeMap:TreeMap实现SortedMap接口,能够把它保存的记录根据键排序,默认是按键值的升序排序,也可以指定排序的比较器,当用Iterator遍历TreeMap时,得到的记录是排过序的。如果使用排序的映射,建议使用TreeMap。在使用TreeMap时,key必须实现Comparable接口或者在构造TreeMap传入自定义的Comparator,否则会在运行时抛出java.lang.ClassCastException类型的异常。
ConcurrentHashMap:oncurrentHashMap是由Segment数组结构和HashEntry数组结构组成。Segment是一种可重入锁ReentrantLock,在ConcurrentHashMap里扮演锁的角色,HashEntry则用于存储键值对数据。一个ConcurrentHashMap里包含一个Segment数组,Segment的结构和HashMap类似,是一种数组和链表结构, 一个Segment里包含一个HashEntry数组,每个HashEntry是一个链表结构的元素, 每个Segment守护一个HashEntry数组里的元素,当对HashEntry数组的数据进行修改时,必须首先获得它对应的Segment锁。
分段锁可理解为,把整个Map分成了N个Segment,put和get的时候,根据key.hashCode()找到该使用哪个Segment,这个Segment做到了类似于Hashtable的线程安全,分段锁就是说用到哪部分就锁哪部分。ConcurrentHashMap键值不能为null
HashMap简介
- 特点:
- 存储key-value结构,不限制数据类型(key不能动态变化)
- 根据key的hashCode值进行存取数据
- 最多只允许一条记录的key为null
- 无序
- 查询效率高
- 线程不安全
- 实现原理:HashMap的底层是一个hash桶数组,存储的是它实现的一个内部类Node,我们可以先看下Node的实现源码:
static class Node implements Map.Entry {
final int hash;
final K key;
V value;
Node next;
Node(int hash, K key, V value, Node next) {
this.hash = hash;
this.key = key;
this.value = value;
this.next = next;
}
public final K getKey() { return key; }
public final V getValue() { return value; }
public final String toString() { return key + "=" + value; }
public final int hashCode() {
return Objects.hashCode(key) ^ Objects.hashCode(value);
}
public final V setValue(V newValue) {
V oldValue = value;
value = newValue;
return oldValue;
}
public final boolean equals(Object o) {
if (o == this)
return true;
if (o instanceof Map.Entry) {
Map.Entry,?> e = (Map.Entry,?>)o;
if (Objects.equals(key, e.getKey()) &&
Objects.equals(value, e.getValue()))
return true;
}
return false;
}
}
从源码中可以看出,Node存储量Map的key,hash,value及next Node,所以我们可以知道HashMap的底层是数组+Node链表实现,下面是他的结构图:
不是说数组+链表吗,图中怎么会有红黑书?这是jdk1.8中对HashMap进行了优化,解决由于链表过长,查询效率降低的问题
- jdk1.7与1.8区别:
- 扩容后 Node 索引的计算方式不同。上文提到,由于 table 大小的这种神奇的设计,所以扩容时计算索引的时候,1.8 中只需要简单使用 & 运算来判断是否为 0 即可,并不需要像 1.7 一样每次都是用 & 运算来计算出索引值。
- 1.8 中引入了红黑树结构。上文也提到了,当链表长度大于 8 的时候会转换为红黑树,但是 1.7 中是数组+链表的组合。
- 1.8 中采用的是尾插法,而 1.7 中采用的是头插法。比如扩容的时候,头插法会使链表上 Node 的顺序调转,而尾插法则不会,另外,头插法也会造成环形链死循环等问题。
源码分析
上面我们知道了HashMap底层的实现原理,现在我们来看下他的源码实现。
-
关键字段及说明
- 常量及说明
// 默认的初始容量为 16 static final int DEFAULT_INITIAL_CAPACITY = 1 << 4; // 最大容量(容量不够时需要扩容) static final int MAXIMUM_CAPACITY = 1 << 30; // 默认的负载因子 static final float DEFAULT_LOAD_FACTOR = 0.75f; // 链表长度为 8 的时候会转为红黑树 static final int TREEIFY_THRESHOLD = 8; // 长度为 6 的时候会从红黑树转为链表 static final int UNTREEIFY_THRESHOLD = 6; // 只有桶内数据量大于 64 的时候才会允许转红黑树 static final int MIN_TREEIFY_CAPACITY = 64;
- 全局变量
// Map 中存储的数据量,即 key-value 键值对的数量 transient int size; // HashMap 内部结构发生变化的次数,即新增、删除数据的时候都会记录, // 注意:修改某个 key 的值,并不会改变这个 modCount transient int modCount; // 重点,代表最多能容纳的数据量 // 即最多能容纳的 key-value 键值对的数量,计算方式:threshold = loadFactor * 数组大小length int threshold; // 负载因子,默认为 0.75 // 注意,这个值是可以大于 1 的 final float loadFactor;
-
构造方法
HashMap有4个构造方法,分别是:
- HashMap():使用默认的初始容量和负载因子
// 构造一个空的 HashMap,初始容量为 16,负载因子为默认值 0.75 public HashMap() { this.loadFactor = DEFAULT_LOAD_FACTOR; // all other fields defaulted }
- HashMap(int intialCapacity):指定初始容量,负载因子使用默认的
// 构造一个空的 HashMap,并指定初始化容量,负载因子采用默认的 0.75 public HashMap(int initialCapacity) { // 调用另一个构造函数 this(initialCapacity, DEFAULT_LOAD_FACTOR); }
- HashMap(int intialCapacity, float loadFactor):指定初始容量和负载因子
// 构造一个空的 HashMap,并指定初始化容量,指定负载因子 public HashMap(int initialCapacity, float loadFactor) { // 初始容量不为负数 if (initialCapacity < 0) throw new IllegalArgumentException("Illegal initial capacity: " + initialCapacity); // 初始容量大于最大值时,则取最大值 if (initialCapacity > MAXIMUM_CAPACITY) initialCapacity = MAXIMUM_CAPACITY; // 负载因子不能小于 0,并且必须是数字,否则抛异常 if (loadFactor <= 0 || Float.isNaN(loadFactor)) throw new IllegalArgumentException("Illegal load factor: " + loadFactor); this.loadFactor = loadFactor; this.threshold = tableSizeFor(initialCapacity); // 最大容量 MAXIMUM_CAPACITY 为 1 << 30 }
- HashMap(Map extends K, ? extends V> m):初始化一个非空的HashMap
// 构造一个非空的 HashMap,指定了默认的负载因子 0.75 public HashMap(Map extends K, ? extends V> m) { this.loadFactor = DEFAULT_LOAD_FACTOR; // 将 Map 中的 key-value 赋值到新的 Map 中去 putMapEntries(m, false); }
-
核心方法说明
在上面的构造方法中,我们看到有调用两个方法:tableSizeFor(int cap)和putMapEntries(Map extends K, ? extends V> m)。
- tableSizeFor(int cap):这个方法的作用就是返回初始化数组的大小,该返回值必须满足两点:a、必须是2的幂次方,b、返回的值接近传入的参数,我们看他的源码实现:
static final int tableSizeFor(int cap) { int n = cap - 1; n |= n >>> 1; n |= n >>> 2; n |= n >>> 4; n |= n >>> 8; n |= n >>> 16; return (n < 0) ? 1 : (n >= MAXIMUM_CAPACITY) ? MAXIMUM_CAPACITY : n + 1; }
- putMapEntries
// 将参数 m 中的所有元素存入到当前的 HashMap 中去final void putMapEntries(Map extends K, ? extends V> m, boolean evict) { // 获取 m 中的参数个数(key-value 的数量) int s = m.size(); if (s > 0) { // 判断 table 是否被初始化过,否则初始化一遍。(PS:table 是在 put 操作的时候进行初始化的,所以如果当前的 HashMap 没有进行过 put 操作,则当前的 table 并不会被初始化) if (table == null) { // pre-size // 根据传进来的 map 的元素数量来计算当前 HashMap 需要的容量 float ft = ((float)s / loadFactor) + 1.0F; // 计算而得的容量是不能大于最大容量的 int t = ((ft < (float)MAXIMUM_CAPACITY) ? (int)ft : MAXIMUM_CAPACITY); // 将计算而得的容量赋值给 threshold,前提是大于当前容量(即不会减小当前的 HashMap 的容量) if (t > threshold) // 将容量转换为最近的 2 的 幂次方 threshold = tableSizeFor(t); } // table 不为空,即已经初始化过了, // 如果 m 中的元素数量超过了当前 HashMap 的容量,则要进行扩容 else if (s > threshold) resize(); // 遍历 m 的每个元素,将它的 key-value 插入到当前的 HashMap 中去 for (Map.Entry extends K, ? extends V> e : m.entrySet()) { K key = e.getKey(); V value = e.getValue(); // 插入数据(注意,为什么不是 put() 呢,因为 put() 其实也是调用的 putVal() 方法) putVal(hash(key), key, value, false, evict); } } }
- hash(Object key):核心算法,通过key的hashCode的高16位与低16位异或,得到数组的下标。
static final int hash(Object key) { int h; return (key == null) ? 0 : (h = key.hashCode()) ^ (h >>> 16); }
从下图我们能看出hash计算过程
-
put(K key, V value):
HashMap是如何将值存进去的呢,主要分3个过程,首先通过key的hashCode得到数组下标,如果该位置为空,直接插入,否则看key是否存在,如果存在,覆盖key对应的value,然后看该位置是不是treeNode红黑树,是的话,插入键值对,否则遍历链表,查看是否大于8,是的话就转成红黑树插入,否则链表插入,整个过程可以看下图:
源码分析如下:
public V put(K key, V value) { return putVal(hash(key), key, value, false, true); } // 参数 onlyIfAbsent,true:不修改已存在的 value,false:已存在则进行修改 final V putVal(int hash, K key, V value, boolean onlyIfAbsent, boolean evict) { Node
[] tab; Node p; int n, i; // ① 如果当前 table 为空则进行初始化 if ((tab = table) == null || (n = tab.length) == 0) n = (tab = resize()).length; // (n - 1) & hash 计算得到索引 i,算法在上文有提到,然后查看索引处是否有数据 // ② 如果没有数据,则新建一个新的 Node if ((p = tab[i = (n - 1) & hash]) == null) tab[i] = newNode(hash, key, value, null); // 索引处有数据 else { Node e; K k; // ③ 索引处的第一个 Node 的 key 和参数 key 是一致的,所以直接修改 value 值即可(修改的动作放在下面) if (p.hash == hash && ((k = p.key) == key || (key != null && key.equals(k)))) e = p; // ④ 索引处的 bucket 是红黑树,按照红黑树的逻辑进行插入或修改 else if (p instanceof TreeNode) e = ((TreeNode )p).putTreeVal(this, tab, hash, key, value); // ⑤ 索引处的 bucket 是链表 else { // 遍历链表上面的所有 Node for (int binCount = 0; ; ++binCount) { // 索引处的 Node 为尾链 if ((e = p.next) == null) { // 直接新建一个 Node 插在尾链处 p.next = newNode(hash, key, value, null); // 判断是否需要转换为红黑树 if (binCount >= TREEIFY_THRESHOLD - 1) // -1 for 1st // 链表转换为红黑树,此方法在上文中也有介绍 treeifyBin(tab, hash); break; } // 当前 Node 的 key 值和参数 key 是一致的,即直接修改 value 值即可(修改的动作放在下面) if (e.hash == hash && ((k = e.key) == key || (key != null && key.equals(k)))) break; p = e; } } // 找到了相同 key 的 Node,所以进行修改 vlaue 值即可 if (e != null) { // existing mapping for key V oldValue = e.value; // 修改 value 值 if (!onlyIfAbsent || oldValue == null) e.value = value; afterNodeAccess(e); // 修改操作,直接 return 结束掉代码逻辑 return oldValue; } } // 记录结构发生变化的次数 ++modCount; // ⑥ 判断是否需要扩容 if (++size > threshold) resize(); afterNodeInsertion(evict); // 新增的 Node,返回 null return null; } -
get(Object key):分析完put,再看get其实就简单多了,也是先通过key获取hashCode
计算出数组下标,在对应的位置查看是否为null,是就直接返回null,否则看这个位置的可以是否
匹配上,是就返回对应的Node,否则查看下一个节点,为空返回,不为空,看是否是红黑树,是就通过
红黑树特性进行查找,不是就通过链表的方式查找,整个过程如下图:
public V get(Object key) {
Node e;
return (e = getNode(hash(key), key)) == null ? null : e.value;
}
final Node getNode(int hash, Object key) {
Node[] tab; Node first, e; int n; K k;
if ((tab = table) != null && (n = tab.length) > 0 &&
(first = tab[(n - 1) & hash]) != null) {
if (first.hash == hash && // always check first node
((k = first.key) == key || (key != null && key.equals(k))))
return first;
if ((e = first.next) != null) {
if (first instanceof TreeNode)
return ((TreeNode)first).getTreeNode(hash, key);
do {
if (e.hash == hash &&
((k = e.key) == key || (key != null && key.equals(k))))
return e;
} while ((e = e.next) != null);
}
}
return null;
}
- resize():该方法主要就是扩容,让HashMap可以存更多的数据,当Map的size达到threshold的值时就会
触发该方法,换一个更大的数组重新映射里面存储的数据,我们大概分析下该方法:
final Node[] resize() {
// 当前 table
Node[] oldTab = table;
// 当前的 table 的大小
int oldCap = (oldTab == null) ? 0 : oldTab.length;
// 当前 table 的 threshold,即允许存储的数据量阀值
int oldThr = threshold;
// 新的 table 的大小和阀值暂时初始化为 0
int newCap, newThr = 0;
// ① 开始计算新的 table 的大小和阀值
// a、当前 table 的大小大于 0,则意味着当前的 table 肯定是有数据的
if (oldCap > 0) {
// 当前 table 的大小已经到了上线了,还咋扩容,自个儿继续哈希碰撞去吧
if (oldCap >= MAXIMUM_CAPACITY) {
threshold = Integer.MAX_VALUE;
return oldTab;
}
// 新的 table 的大小直接翻倍,阀值也直接翻倍
else if ((newCap = oldCap << 1) < MAXIMUM_CAPACITY &&
oldCap >= DEFAULT_INITIAL_CAPACITY)
newThr = oldThr << 1; // double threshold
}
// b、当前的 table 中无数据,但是阀值不为零,说明初始化的时候指定过容量或者阀值,但是没有被 put 过数据,因为在上文中有提到过,此时的阀值就是数组的大小,所以直接把当前的阀值当做新 table 的数组大小即可
// 回忆一下:threshold = tableSizeFor(t);
else if (oldThr > 0) // initial capacity was placed in threshold
newCap = oldThr;
// c、这种情况就代表当前的 table 是调用的空参构造来初始化的,所有的数据都是默认值,所以新的 table 也只要使用默认值即可
else { // zero initial threshold signifies using defaults
newCap = DEFAULT_INITIAL_CAPACITY;
newThr = (int)(DEFAULT_LOAD_FACTOR * DEFAULT_INITIAL_CAPACITY);
}
// 如果新的阀值是 0,那么就简单计算一遍就行了
if (newThr == 0) {
float ft = (float)newCap * loadFactor;
newThr = (newCap < MAXIMUM_CAPACITY && ft < (float)MAXIMUM_CAPACITY ?
(int)ft : Integer.MAX_VALUE);
}
threshold = newThr;
// ② 初始化新的 table
// 这个 newTab 就是新的 table,数组大小就是上面这一堆逻辑所计算出来的
@SuppressWarnings({"rawtypes","unchecked"})
Node[] newTab = (Node[])new Node[newCap];
table = newTab;
if (oldTab != null) {
// 遍历当前 table,处理每个下标处的 bucket,将其处理到新的 table 中去
for (int j = 0; j < oldCap; ++j) {
Node e;
if ((e = oldTab[j]) != null) {
// 释放当前 table 数组的对象引用(for循环后,当前 table 数组不再引用任何对象)
oldTab[j] = null;
// a、只有一个 Node,则直接 rehash 赋值即可
if (e.next == null)
newTab[e.hash & (newCap - 1)] = e;
// b、当前的 bucket 是红黑树,直接进行红黑树的 rehash 即可
else if (e instanceof TreeNode)
((TreeNode)e).split(this, newTab, j, oldCap);
// c、当前的 bucket 是链表
else { // preserve order
Node loHead = null, loTail = null;
Node hiHead = null, hiTail = null;
Node next;
// 遍历链表中的每个 Node,分别判断是否需要进行 rehash 操作
// (e.hash & oldCap) == 0 算法是精髓,充分运用了上文提到的 table 大小为 2 的幂次方这一优势,下文会细讲
do {
next = e.next;
// 根据 e.hash & oldCap 算法来判断节点位置是否需要变更
// 索引不变
if ((e.hash & oldCap) == 0) {
if (loTail == null)
loHead = e;
else
loTail.next = e;
loTail = e;
}
// 原索引 + oldCap
else {
if (hiTail == null)
hiHead = e;
else
hiTail.next = e;
hiTail = e;
}
} while ((e = next) != null);
// 原 bucket 位置的尾指针不为空(即还有 node )
if (loTail != null) {
// 链表末尾必须置为 null
loTail.next = null;
newTab[j] = loHead;
}
if (hiTail != null) {
// 链表末尾必须置为 null
hiTail.next = null;
newTab[j + oldCap] = hiHead;
}
}
}
}
}
return newTab;
}
- 注意事项
虽然 HashMap 设计的非常优秀, 但是应该尽可能少的避免 resize(), 该过程会很耗费时间。同时, 由于 hashmap 不能自动的缩小容量。因此, 如果你的 hashmap 容量很大, 但执行了很多 remove 操作时, 容量并不会减少。如果你觉得需要减少容量, 请重新创建一个 hashmap。
HashMap 是线程不安全的,因为它是允许多线程同时操作同一个数组的,比如 put(),比如 resize(),这些都会造成数据异常甚至死循环。如果需要线程安全,推荐使用ConcurrentHashMap