总结一下HBase各种级别的锁以及对读写的阻塞

为了保证并发操作时数据的一致性和性能，HBase中应用了各种各样高效的可重入锁，包括行级别的rowlock、mvcc，region级别的读写锁，store级别的读写锁，memstore级别的读写锁等等。

1、  行级别的锁RowLock

HBase中为了解决行级别在并发操作中的一致性问题，采用了Rowlock机制。保证只有同一个线程同时对该行做操作。当然rowlock有lease租约的概念，超过期限，自动释放该行锁

2、  MVCC

处于并发性能的考虑，Rowlock只在write数据时采用，对于读写并发操作，HBase采用了MVCC解决方案。

基本原理是writer操作会经过WAL、Memstore等一系列过程，首先在Rowlock操作后，立即分配一个writer number，每个cf column cell在store中都会带上这个writer number，在写操作结束即release lock前，会标记writer number已经结束；每个读操作在开始时(readpoint)会分配最大的处于结束的writer number，即最新的处于结束的writer number(memstore中的值可用存在写操作未结束的，这些值不可以读，所以在flush cache的时候必须等待memstore中所有的值都是写结束的)。详细的MVCC分析可以参见以前写的blog: http://blog.csdn.net/yangbutao/article/details/8998800

3、  Region级别的锁

在做更新操作时，需要判断资源是否满足要求，如果到达临界点，则申请进行flush操作，等待直到资源满足要求（参见Region中的checkResource）

Region update更新锁(updatesLock)，在internalFlushCache时加写锁，导致在做Put、delete、increment操作时候阻塞(这些操作加的是读锁)。

Region close保护锁(lock)，在Region close或者split操作的时(加写锁)，阻塞对region的其他操作(加读锁)，比如compact、flush、scan和其他写操作。

4、  Store级别的锁

flush过程包括，

        a 、prepare(基于memstore做snapshot)

        b、flushcache(基于snapshot生成临时文件)

        c、commit(确认flush操作完成，rename临时文件为正式文件名称，清除mem中的snapshot)

其中在flush过程的commit阶段，compact过程的completeCompaction阶段(rename临时compact文件名、清理旧的文件)，close store(关闭store)，bulkLoadHFile，会阻塞对store的写操作。

5、  MemStore级别的锁

对Store的写操作会调用Memstore的相关操作，在对memstore做snapshot以及清除snapshot的时候会阻塞其他操作(如add、delete、getNextRow)。

 

 

作者：yangbutao 发表于2013-10-22 16:51:21 原文链接

阅读：75 评论：0 查看评论