目录
1.HashMap的数据结构?
2.HashMap的工作原理?
3.当两个对象的hashCode相同会发生什么?
4.你知道hash的实现吗?为什么要这样实现?
5.为什么要用异或运算符?
6.HashMap的table的容量如何确定?loadFactor是什么?该容量如何变化?这种变化会带来什么问题?
7.HashMap中put方法的过程?
8.数组扩容的过程?
9.拉链法导致的链表过深问题为什么不用二叉查找树代替,而选择红黑树?为什么不一直使用红黑树?
10.说说你对红黑树的见解?
11.jdk8中对HashMap做了哪些改变?
12.HashMap,LinkedHashMap,TreeMap有什么区别?
13.HashMap&TreeMap&LinkedHashMap使用场景?
14.HashMap和HashTable有什么区别?
15.Java中的另一个线程安全的与HashMap极其类似的类是什么?同样是线程安全,它与HashTable在线程同步上有什么不同?
16.HashMap&ConcurrentHashMap的区别?
17.为什么ConcurrentHashMap比HashTable效率要高?
18.针对ConcurrentHashMap锁机制具体分析(JDK1.7VSJDK1.8)?
19.ConcurrentHashMap在JDK1.8中,为什么要使用内置锁synchronized来代替重入锁ReentrantLock?
20.ConcurrentHashMap简单介绍?
21.ConcurrentHashMap的并发度是什么?
哈希表结构(链表散列:数组+链表)实现,结合数组和链表的优点。当链表长度超过8
时,链表转换为红黑树。
HashMap
底层是hash数组和单向链表实现,数组中的每个元素都是链表,由Node内部类(实现Map.Entry
接口)实现,HashMap
通过put&get
方法存储和获取。
存储对象时,将K/V
键值传给put()
方法:
①、调用hash(K)方法计算K的hash值,然后结合数组长度,计算得数组下标;
②、调整数组大小(当容器中的元素个数大于capacity*loadfactor时,容器会进行扩容resize为2n);
③
i.如果K的hash
值在HashMap
中不存在,则执行插入,若存在,则发生碰撞;
ii.如果K的hash
值在HashMap
中存在,且它们两者equals
返回true
,则更新键值对;
iii.如果K的hash
值在HashMap
中存在,且它们两者equals
返回false,则插入链表的尾部(尾插法)或者红黑树中(树的添加方式)。
(
JDK1.7
之前使用头插法、JDK1.8
使用尾插法)
(注意:当碰撞导致链表大于TREEIFY_THRESHOLD=8
时,就把链表转换成红黑树)
获取对象时,将K
传给get()
方法:
①、调用hash(K)方法(计算K的hash值)从而获取该键值所在链表的数组下标;
②、顺序遍历链表,equals()方法查找相同Node链表中K值对应的V值。
hashCode
是定位的,存储位置;equals
是定性的,比较两者是否相等。
因为hashCode
相同,不一定就是相等的(equals
方法比较),所以两个对象所在数组的下标相同,"碰撞"就此发生。又因为HashMap
使用链表存储对象,这个Node
会存储到链表中。
JDK1.8
中,是通过hashCode()
的高16位异或低16位实现的:(h=k.hashCode())^(h>>>16)
,主要是从速度,功效和质量来考虑的,减少系统的开销,也不会造成因为高位没有参与下标的计算,从而引起的碰撞。
保证了对象的hashCode
的32位值只要有一位发生改变,整个hash()
返回值就会改变。尽可能的减少碰撞。
①、table
数组大小是由capacity
这个参数确定的,默认是16,也可以构造时传入,最大限制是1<<30;
②、loadFactor
是装载因子,主要目的是用来确认table
数组是否需要动态扩展,默认值是0.75,比如table
数组大小为16,装载因子为0.75时,threshold
就是12,当table
的实际大小超过12时,table
就需要动态扩容;
③、扩容时,调用resize()
方法,将table
长度变为原来的两倍(注意是table长度,而不是threshold
)
④、如果数据很大的情况下,扩展时将会带来性能的损失,在性能要求很高的地方,这种损失很可能很致命。
调用哈希函数获取Key
对应的hash
值,再计算其数组下标;
如果没有出现哈希冲突,则直接放入数组;如果出现哈希冲突,则以链表的方式放在链表后面;
如果链表长度超过阀值(TREEIFYTHRESHOLD==8
),就把链表转成红黑树,链表长度低于6,就把红黑树转回链表;
如果结点的key
已经存在,则替换其value
即可;
如果集合中的键值对大于12,调用resize
方法进行数组扩容。
创建一个新的数组,其容量为旧数组的两倍,并重新计算旧数组中结点的存储位置。结点在新数组中的位置只有两种,原下标位置或原下标+旧数组的大小。
之所以选择红黑树是为了解决二叉查找树的缺陷,二叉查找树在特殊情况下会变成一条线性结构(这就跟原来使用链表结构一样了,造成很深的问题),遍历查找会非常慢。而红黑树在插入新数据后可能需要通过左旋,右旋、变色这些操作来保持平衡,引入红黑树就是为了查找数据快,解决链表查询深度的问题,我们知道红黑树属于平衡二叉树,但是为了保持"平衡"是需要付出代价的,但是该代价所损耗的资源要比遍历线性链表要少,所以当长度大于8的时候,会使用红黑树,如果链表长度很短的话,根本不需要引入红黑树,引入反而会慢。
1、每个节点非红即黑
2、根节点总是黑色的
3、如果节点是红色的,则它的子节点必须是黑色的(反之不一定)
4、每个叶子节点都是黑色的空节点(NIL节点)
5、从根节点到叶节点或空子节点的每条路径,必须包含相同数目的黑色节点(即相同的黑色高度)
在java1.8
中,如果链表的长度超过了8,那么链表将转换为红黑树。(桶的数量必须大于64,小于64的时候只会扩容)
发生hash
碰撞时,java1.7
会在链表的头部插入,而java1.8
会在链表的尾部插入
在java1.8
中,Entry
被Node
替代(换了一个马甲)。
HashMap
参考其他问题;
LinkedHashMap
保存了记录的插入顺序,在用Iterator
遍历时,先取到的记录肯定是先插入的;遍历比HashMap
慢;
TreeMap
实现SortMap
接口,能够把它保存的记录根据键排序(默认按键值升序排序,也可以指定排序的比较器)
一般情况下,使用最多的是HashMap
。
HashMap: 在Map中插入、删除和定位元素时;
TreeMap: 在需要按自然顺序或自定义顺序遍历键的情况下;
LinkedHashMap: 在需要输出的顺序和输入的顺序相同的情况下。
①、HashMap
是线程不安全的,HashTable
是线程安全的;
②、由于线程安全,所以HashTable
的效率比不上HashMap
;
③、HashMap
最多只允许一条记录的键为null
,允许多条记录的值为null
,而HashTable
不允许;
④、HashMap
默认初始化数组的大小为16,HashTable
为11,前者扩容时,扩大两倍,后者扩大两倍+1;
⑤、HashMap
需要重新计算hash值,而HashTable
直接使用对象的hashCode
;
HashMap根据用户传入的初始化容量,利用无符号右移和按位或运算等方式计算出第一个大于该数的2的幂。
- 使数据分布均匀,减少碰撞
- 当length为2的n次方时,h&(length - 1) 就相当于对length取模,而且在速度、效率上比直接取模要快得多
HashMap线程安全方面会出现什么问题
这里我觉得可以用逆向思维来解释这个问题,我们计算桶的位置完全可以使用h % length,如果这个length是随便设定值的话当然也可以,但是如果你对它进行研究,设计一个合理的值得话,那么将对HashMap的性能发生翻天覆地的变化。
没错,JDK源码作者就发现了,那就是当length为2的N次方的时候,那么,为什么这么说呢?
第一:当length为2的N次方的时候,h & (length-1) = h % length
为什么&效率更高呢?因为位运算直接对内存数据进行操作,不需要转成十进制,所以位运算要比取模运算的效率更高
第二:当length为2的N次方的时候,数据分布均匀,减少冲突
关于这个默认容量的选择,JDK并没有给出官方解释,那么这应该就是个经验值,既然一定要设置一个默认的2^n 作为初始值,那么就需要在效率和内存使用上做一个权衡。这个值既不能太小,也不能太大。
太小了就有可能频繁发生扩容,影响效率。太大了又浪费空间,不划算。
所以,16就作为一个经验值被采用了。
在JDK1.8的 236 行有1<<4就是16,为啥用位运算呢?直接写16不好么?
我们在创建HashMap的时候,阿里巴巴规范插件会提醒我们最好赋初值,而且最好是2的幂。
这样是为了位运算的方便,位与运算比算数计算的效率高了很多,之所以选择16,是为了服务将Key映射到index的算法。
我前面说了所有的key我们都会拿到他的hash,但是我们怎么尽可能的得到一个均匀分布的hash呢?
是的我们通过Key的HashCode值去做位运算。
我们再看下index的计算公式:index = HashCode(Key) & (Length- 1)
15的的二进制是1111,那10111011000010110100 &1111 十进制就是4
之所以用位与运算效果与取模一样,性能也提高了不少!
那为啥用16不用别的呢?
因为在使用不是2的幂的数字的时候,Length-1的值是所有二进制位全为1,这种情况下,index的结果等同于HashCode后几位的值。
只要输入的HashCode本身分布均匀,Hash算法的结果就是均匀的。这是为了实现均匀分布。
当length为奇数时,length-1为偶数,而偶数二进制的最后一位永远为0,那么与其进行 & 运算,得到的二进制数最后一位永远为0,那么结果一定是偶数,那么就会导致下标为奇数的桶永远不会放置数据,这就不符合我们均匀放置,减少冲突的要求了。
那么可能钻牛角尖的同学还会问,那length是偶数不就行了么,为什么一定要是2的N次方,这不就又回到第一点原因了么?(当length为2的N次方的时候,h & (length-1) = h % length)JDK 的工程师把各种位运算运用到了极致,想尽各种办法优化效率。
hashMap是线程不安全的,其主要体现:
1.在jdk1.7中,在多线程环境下,扩容时会造成环形链或数据丢失。
2.在jdk1.8中,在多线程环境下,会发生数据覆盖的情况。
现在我们要在容量为2的容器里面用不同线程插入A,B,C,假如我们在resize之前打个短点,那意味着数据都插入了但是还没resize那扩容前可能是这样的。
我们可以看到链表的指向A->B->C
Tip:A的下一个指针是指向B的
因为resize的赋值方式,也就是使用了单链表的头插入方式,同一位置上新元素总会被放在链表的头部位置,在旧数组中同一条Entry链上的元素,通过重新计算索引位置后,有可能被放到了新数组的不同位置上。
就可能出现下面的情况,大家发现问题没有?
B的下一个指针指向了A
一旦几个线程都调整完成,就可能出现环形链表
如果这个时候去取值,悲剧就出现了——Infinite Loop。
jdk1.8中HashMap中put操作的主函数,如果没有hash碰撞则会直接插入元素。如果线程A和线程B同时进行put操作,刚好这两条不同的数据hash值一样,并且该位置数据为null,所以这线程A、B都会进入第6行代码中。假设一种情况,线程A进入后还未进行数据插入时挂起,而线程B正常执行,从而正常插入数据,然后线程A获取CPU时间片,此时线程A不用再进行hash判断了,问题出现:线程A会把线程B插入的数据给覆盖,发生线程不安全。
更多请参考:https://www.cnblogs.com/developer_chan/p/10450908.html
比如某些人通过找到你的hash碰撞值,来让你的HashMap不断地产生碰撞,那么相同key位置的链表就会不断增长,当你需要对这个HashMap的相应位置进行查询的时候,就会去循环遍历这个超级大的链表,性能及其地下。java8使用红黑树来替代超过8个节点数的链表后,查询方式性能得到了很好的提升,从原来的是O(n)到O(logn)。
元素在重新计算hash之后,因为n变为2倍,那么n-1的mask范围在高位多1bit(红色),因此新的index就会发生这样的变化:
因此,我们在扩充HashMap的时候,不需要像JDK1.7的实现那样重新计算hash,只需要看看原来的hash值新增的那个bit是1还是0就好了,是0的话索引没变,是1的话索引变成“原索引+oldCap”,可以看看下图为16扩充为32的resize示意图:
这个设计确实非常的巧妙,既省去了重新计算hash值的时间,而且同时,由于新增的1bit是0还是1可以认为是随机的,因此resize的过程,均匀的把之前的冲突的节点分散到新的bucket了。这一块就是JDK1.8新增的优化点。有一点注意区别,JDK1.7中rehash的时候,旧链表迁移新链表的时候,如果在新表的数组索引位置相同,则链表元素会倒置,但是从上图可以看出,JDK1.8不会倒置。
ConcurrentHashMap
类(是Java
并发包java.util.concurrent
中提供的一个线程安全且高效的HashMap
实现)。HashTable
是使用synchronize
关键字加锁的原理(就是对对象加锁);
而针对ConcurrentHashMap
,在JDK1.7
中采用分段锁的方式;JDK1.8
中直接采用了CAS
(无锁算法)+synchronized
。
除了加锁,原理上无太大区别。另外,HashMap
的键值对允许有null
,但是ConCurrentHashMap
都不允许。
HashTable
使用一把锁(锁住整个链表结构)处理并发问题,多个线程竞争一把锁,容易阻塞;ConcurrentHashMap
JDK1.7
中使用分段锁(ReentrantLock
+Segment
+HashEntry
),相当于把一个HashMap
分成多个段,每段分配一把锁,这样支持多线程访问。锁粒度:基于Segment
,包含多个HashEntry
。
JDK1.8
中使用CAS
+synchronized
+Node
+红黑树。锁粒度:Node
(首结点)(实现Map.Entry
)。锁粒度降低了。
JDK1.7
中,采用分段锁的机制,实现并发的更新操作,底层采用数组+链表的存储结构,包括两个核心静态内部类Segment
和HashEntry
。
①、Segment
继承ReentrantLock
(重入锁)用来充当锁的角色,每个Segment
对象守护每个散列映射表的若干个桶;
②、HashEntry
用来封装映射表的键-值对;
③、每个桶是由若干个HashEntry
对象链接起来的链表;
JDK1.8
中,采用Node
+CAS
+Synchronized
来保证并发安全。取消类Segment
,直接用table
数组存储键值对;当HashEntry
对象组成的链表长度超过TREEIFY_THRESHOLD
时,链表转换为红黑树,提升性能。底层变更为数组+链表+红黑树。
①、粒度降低了;
②、JVM
开发团队没有放弃synchronized
,而且基于JVM
的synchronized
优化空间更大,更加自然。
③、在大量的数据操作下,对于JVM
的内存压力,基于API
的ReentrantLock
会开销更多的内存。
①、重要的常量:
private transient volatile intsizeCtl
;
当为负数时,-1表示正在初始化,-N表示N-1个线程正在进行扩容;
当为0时,表示table
还没有初始化;
当为其他正数时,表示初始化或者下一次进行扩容的大小。
②、数据结构:
Node
是存储结构的基本单元,继承HashMap
中的Entry
,用于存储数据;
TreeNode
继承Node
,但是数据结构换成了二叉树结构,是红黑树的存储结构,用于红黑树中存储数据;
TreeBin
是封装TreeNode
的容器,提供转换红黑树的一些条件和锁的控制。
③、存储对象时(put()
方法):
1.如果没有初始化,就调用initTable()
方法来进行初始化;
2.如果没有hash
冲突就直接CAS
无锁插入;
3.如果需要扩容,就先进行扩容;
4.如果存在hash
冲突,就加锁来保证线程安全,两种情况:一种是链表形式就直接遍历到尾端插入,一种是红黑树就按照红黑树结构插入;
5.如果该链表的数量大于阀值8,就要先转换成红黑树的结构,break
再一次进入循环
6.如果添加成功就调用addCount()
方法统计size
,并且检查是否需要扩容。
④、扩容方法transfer()
: 默认容量为16,扩容时,容量变为原来的两倍。helpTransfer()
: 调用多个工作线程一起帮助进行扩容,这样的效率就会更高。
⑤、获取对象时(get()
方法):
1.计算hash值,定位到该table
索引位置,如果是首结点符合就返回;
2.如果遇到扩容时,会调用标记正在扩容结点ForwardingNode.find()
方法,查找该结点,匹配就返回;
3.以上都不符合的话,就往下遍历结点,匹配就返回,否则最后就返回null
。
程序运行时能够同时更新ConccurentHashMap
且不产生锁竞争的最大线程数。默认为16,且可以在构造函数中设置。当用户设置并发度时,ConcurrentHashMap
会使用大于等于该值的最小2幂指数作为实际并发度(假如用户设置并发度为17,实际并发度则为32)
参考文章
https://blog.csdn.net/qq_35190492/article/details/103467732
https://blog.csdn.net/qq_37141773/article/details/106835525
https://blog.csdn.net/weixin_41105242/article/details/106972635