Hbase split的过程以及解发条件

一、Split触发条件

 

1、  有任一一个Hfile的大小超过默认值10G时,都会进行split

 Hbase split的过程以及解发条件_第1张图片 

2、  达到这个值不在拆分,默认为int_max,不进行拆分

 

 

 Hbase split的过程以及解发条件_第2张图片

 

3、compaction时,如果compact的store的大小超过了,则进行split

 

 

 Hbase split的过程以及解发条件_第3张图片

 

 

4、 flush之前会检测区域中HStoreFile数目是否超过hbase.hstore.blockingStoreFiles,如果超过且没有等待超时会调用CompactSplitThread.requestSplit(HRegion)

 

Hbase split的过程以及解发条件_第4张图片

 

5、 flush之后会调用HRegion.checkSplit()检测是否需要split,如果需要则调用CompactSplitThread.requestSplit(HRegion)

 Hbase split的过程以及解发条件_第5张图片

 

 

6、人工触发

 

 Hbase split的过程以及解发条件_第6张图片

二、Split过程

 

1、启动一个CompactSplitThresd线程

Hbase split的过程以及解发条件_第7张图片

 

2、 SplitRequest.run 

Hbase split的过程以及解发条件_第8张图片

 

首先,实例化一个事务:在HDFS上的parent’s region 目录下创建一个.splits目录

 Hbase split的过程以及解发条件_第9张图片

其次,实例化两个RegionInfo: hri_a和 hri_b,赋予key的起始结束值,根据给定的splitkey 

Hbase split的过程以及解发条件_第10张图片

 

然后,执行execute方法:

Hbase split的过程以及解发条件_第11张图片

 

(1)createDaughters  

Hbase split的过程以及解发条件_第12张图片

 

Hbase split的过程以及解发条件_第13张图片

Hbase split的过程以及解发条件_第14张图片

Hbase split的过程以及解发条件_第15张图片

 

每个Reference文件管理原始文件一半的数据。Reference文件名字是一个ID,它使用被参考的Region的名字的Hash作为前缀。例如:1278437856009925445.3323223323。Reference文件只含有非常少量的信息,这些信息包括被分割的原始Region的Key以及这个文件管理前半段还是后半段。HBase使用HalfHFileReader类来访问Reference文件并从原始数据文件中读取数据

 

 Hbase split的过程以及解发条件_第16张图片

Hbase split的过程以及解发条件_第17张图片

 

 Offline parent in meta.  向.META.表Put Split的信息

Hbase split的过程以及解发条件_第18张图片

Hbase split的过程以及解发条件_第19张图片

 

(2)openDaughter--DaughterOpener-- DaughterOpener.run()--openDaughterRegion--openHRegion

Hbase split的过程以及解发条件_第20张图片

openDaughter--postOpenDeployTasks

Hbase split的过程以及解发条件_第21张图片

 

addToOnlineRegions  // Should add it toOnlineRegions 

Hbase split的过程以及解发条件_第22张图片

 

(3) transitionZKNode  :Finish off splittransaction, transition the zknode  ,更新Split的状态 (之后由Master来处理,CatalogJanitor 来清理多余文件夹) 

Hbase split的过程以及解发条件_第23张图片

 

 

你可能感兴趣的:(Hbase split的过程以及解发条件)