HBase源码阅读-5-HMaster对HRegion的管理
5.HMaster对HRegion的管理:master将region的分派,状态管理等工作委托给RegionManager
(1)RegionManager成员变量：rootRegionLocation,root region所在regionserver地址;
rootScannerThread和MetaScanner,root及meta region的扫描线程;
numberOfMetaRegions,meta regions数量由rootScannerThread设置;
onlineMetaRegions,在线的meta regions
regionsInTransition,记录正在状态变化中的region,region的状态有：
UNASSIGNED-等待分配到server
PENDING_OPEN-告诉server打开，但还未完成
OPEN-已打开region,但尚未在meta region中标识
CLOSING-已将close msg放入队列中，但还尚未发送到regionserver
PENDING_CLOSE-已将regionserver发送给regionserver
CLOSED-已关闭region,但尚未在meta region中标识
maxAssignInOneGo,一次分配给一个regionserver的最多region数量
LoadBalancer,负责regionserver间负载均衡
regionsToSplit,regionsToCompact,regionsToMajorCompact,regionsToFlush,需split/compact/MajorCompact/Flush的region
(2)RegionManager工作流程:
HMaster初始化时创建RegionManager实例;
清除RegionManager中root region的地址及状态信息,设置root region状态为UNASSIGNED并加入regionsInTransition中;
HMaster启动各种后台服务时,RegionManager后台启动rootScannerThread和metaScannerThread线程;
regionserver向master报告时,ServerManage在regionServerReport方法中调用RegionManager来处理跟region相关的msg.
(3)RegionManager处理各种Region相关HMsg
a.regionserver正在关闭
RegionManager关闭该regionserver上的所有region,包括root,meta和user region,并对root meta和online的user regionr重新分配,对offline user region从regionsInTransition删除其状态信息
b.regionserver已open指定region
RegionManager判断该region是否重复分配了,重复分配则返回关闭该region指令;
若open的是root region,则在master的ServerConnection和RegionManager中记录root region所在地址;
若open user region,具体操作参见ServerManager
c.regionserver已关闭指定region:
关闭root region：？？？
关闭meta region:从RegionManager的onlineMetaRegions中删除该region;
regionsInTransition中设置该region为CLOSED;
向master的RegionServerOperationQueue中增加ProcessRegionClose操作：往meta中写入该region offline状态，或若该region需重新分配则RegionManager设置该region待分配状态
d.regionserver已split某个region:
读取连续的后两条HMsg从中取出分裂产生的两个HRegionInfo;
从regionsToSplit和regionsToCompact中删除被分裂的HRegionInfo;
从onlineMetaRegions中查找应包含新region的meta region,并尝试从对应的regionserver中读取新region,若存在则不做处理，不存在则将新region设置成待分配状态;
若meta region被分裂，则从onlineMetaRegions中删除掉该region,并增加meta region的数量numberOfMetaRegions;
(4)组织返回给regionserver的HMsg：
a.对一个标记为需Close的region,增加一条MSG_REGION_CLOSE的HMsg,并在中regionsInTransition设置其状态为PENDING_CLOSE
b.若正执行open region的数量少于hbase.regions.nobalancing.count指定的值，则从regionsInTransition中获取待分配的region(root region优先)
c.若无region分配给该regionserver,则比较该regionserver的region负载数量和整个集群的平均负载+slop系数(由参数hbase.regions.slop指定),由一算法(balanceFromOverloaded和balanceToLowloaded方法)
计算该regionserver需close的region数量,并从负载最严重的region中选择指定数量的非root、meta region和不在regionsInTransition中的region,发出HMsg在该regionserver中close这些region,并设置状态为PENDING_CLOSE
d.综合考虑多个整个集群的负载, 将需分配的region分配到多个regionserver:
通过ServerManager找出负载最轻的那些regionserver,分摊一些region到这些regionserver;
doRegionAssignment方法分配一个region到指定regionserver,设置状态状态为PENDING_OPEN,并发送MSG_REGION_OPEN消息;
e.从regionsToCompact,regionsToSplit，regionsToFlush，regionsToMajorCompact中获取需要执行对应操作的region并发送对应HMsg
(5)MetaScanner和RootScanner线程
这两个线程都继承自BaseScanner,通过初始化时扫描root和meta region可以知道所有的region并进行分配;当分裂一个region时,regionserver会通知master分配新region,但master可能
会丢失这些分裂信息,而新region通常没有regionserver的信息,因此周期性地扫描发现这些新region并进行分配。
a.RootScanner运行时机:master收到regionserver的root region被open指令;首次扫描后定期自动扫描
扫描过程描述：
从RegionManager获取root region所在rs地址;
通过master的ServerConnection获取HRegionInterface接口代理,遍历root region内所有meta region的记录;
检查region对应的HServerInfo是否存在，不存在则表示尚未分配rs，加入到regionsInTransition，设置状态为UNASSIGNED;
检查所有已分裂的parent，
b.MetaScanner运行时机:当一个meta region上线;定期自动扫描上线的meta region;扫描过程逻辑类似RootScanner