HBase读写机制和物理模型

写机制

执行写入时会写到两个地方：write ahead log 和 MemStore，保证数据的持久化。

MemStore是内存中的写入缓冲区，数据在永久写入硬盘前在此积累，当其填满时（可以由hbase.hregion.memstore.flush.size定义），数据会被刷写到硬盘，生成一个HFile。
在集群的每一个节点上，每个列族都有一个MemStore

由于MemStore是在内存中的，具有易失性，所以还需要WAL。
每台服务器维护一个WAL来记录发生的变化。如果服务器宕机，没有从MemStore刷写到硬盘的数据可以通过回放WAL来恢复

读机制

类似于MemStore，HBase在读的时候也维护一个内存的缓存区，基于LRU算法的BlockCache，用来保存从HFile里读入内存的频繁访问的数据。它和MemStore在同一个JVM堆里，所以类似的，每个列族都有一个BlockCache

Block是HBase从硬盘完成一次读取的数据单位，类似于操作系统中文件系统的block。
HFile的物理存放模式是：一个Block的序列 ＋ 这些block的索引。所以，从HFile读取一个Block时需要先在索引上查找一次该block然后从硬盘读出。

block大小是可设置的。

• 对于主要用于随机访问，可采用细粒度的block，这样索引表变大，但是数据传输量变小。
• 对于主要用于顺序扫描，一次读取多个block，可设置大点。

从HBase读取一行，首先从MemStore检查待修改的队列，然后检查BlockCache看包含该行的block最近是否被访问过，最后才访问HFile

数据删除与合并

HBase可以删除一行，也可以指定坐标删除一个或多个cell，但是删除命令并不立即删除硬盘上的内容，只是打上标记，用来标记不能在Get和Scan中返回结果。直到进行一次大合并，才会被处理，释放空间。

合并分为大合并和小合并

• 小合并把多个HFile（部分而不是全部）合并成一个大HFile。因为读取一行可能引用很多文件，所以限制HFile对读性能很重要。
• 大合并将处理给定region的一个列族的所有HFile。该列族的所有HFile合并为一个文件。可以从shell触发大合并，但非常消耗资源，不要经常使用。

物理模型：面向列族

每台服务器上每个列族在硬盘上有自己的HFile集合

HFile中，每条记录是一个坐标-值的键值对
(row, columnFamily, qualifier, timestamp)-> value
文件中没有空记录，如果值没有数据，HBase不会存储任何东西，这和关系型数据库可以存储Null不同。

一行中的一个列族的数据不一定放在一个HFile里，但是，一行中列族的数据需要物理地存放在一起，即某行的所有数据在一个Region中管理