SSTable和MEMtable 结构

SSTable文件的结构 

整体上看 SSTable文件分为数据区与索引区，尾部的footer指出了meta index block与index block的偏移与大小，index block指出了各data block的偏移与大小，metaindex block指出了filter block的偏移与大小。

1）data block：存储key-value记录，分为Data、type、CRC三部分 
2）filter block：默认没有使用，用于快速从data block 判断key-value是否存在 
3）metaindex block ：记录filter block的相关信息 
4）Index block：描述一个data block，存储着对应data block的最大Key值，以及data block在文件中的偏移量和大小 
5）footer：索引的索引，记录metaindex block和Index block在SSTable中的偏移量了和大小

下面再具体看看各个部分物理结构

1、block 
sstable中data block 、metaindex block、index block都用这种block这种结构。对于data block,当block大小（record、restarts数组、以及num_restarts）超过4k时，就切换一个新的block继续往SSTable写数据，而metaindex block、index block就只有一个block，所以上图看起来data block有多个。 
 
block主要由数据区record和restarts组成。 

为什么是这种结构？ 
data block主要是存储数据，block内给一定数量（默认16）key-value分组，每组又用restarts数组记录起始位置，因此可以根据restarts读取每组起始位置key-value，由于block内的数据是从小到大有序存储的，所以可以通过restarts数组，获取每组起始key-value,比较起始key key(n)与查找的key大小，如果key(n)>key，那么key一定在序号>=n组之后，否则在 < n组之前。因此可以通过二分查找思想通过restarts获取起始key，来定位key的位置，避免线性查找低效。 
因此，restarts的思想就是提高block内key-value查找效率，直接定位key所在group。

下面再来看看record结构。record相对有意思，不是简单的用key-length | key-data | value-length|value-data存储。 
　 
　data block中的key是有序存储的，相邻的key之间可能有重复，因此存储时采用前缀压缩，后一个key只存储与前一个key不同的部分。重启点指出的位置即每组起始位置的key不按前缀压缩，而是完整存储该key。 
　type是表示数据是否压缩，以怎样的方式压缩，crc32是该block校验码，这个非本文分析重点。

2、index block 
index block 的结构也是block 结构，是data block的索引，记录每个data block 最大key 和 起始位置以及大小。具体的存储方式是以每个data block最大key 为key,以data block 起始位置和大小为value。因此可以根据每个block的最大key与查询key比较，直接定位查询key所在的位置。 
这是理论上key的存储方式，但是在sstable二次压缩的过程对key做了一个优化，它并不保存最大key，而是保存一个能分隔两个data block的最短Key，如：假定data block1的最大一个key为“abcdefg”，data block2最大key为“abzxcv”，则index可以记录data block1的索引key为“abd”；这样的分割串可以有很多，只要保证data block1中的所有Key都小于等于此索引，data block2中的所有Key都大于此索引即可。这种优化缩减了索引长度，查询时可以有效减小比较次数。 
　因此，index block的思想是提高SSTable内key-value查找效率，直接定位key所在block。

3、metaindex_block 
也是block结构。就只有一条记录，其key是filter. + filter_policy的name，value是filter大小和起始位置。

4、filter block 
filter block就是一个bloom filter,关于bloom filter原理概念可以百度。 
每个bloom filter是对data block 的key 经过hash num 次形成的字节数组,多少个data block对应多少个bloom filter。 
bloom filter实质就是一个bit 数组，对block 内key hash,将相应的位置设为1，这种设计关键在于能提高不存在的key判断效率，通过filter 计算，如果不存在，就不用通过data block内的restarts方式读取文件查找key是否存在，但是如果filter判断存在，还需通过restarts方式确定。 
5、footer 
footer位于SSTable文件尾部，占用空间固定为48个字节。其末尾8个字节是一个magic_number。metaindex_block_handle与index_block_handle物理上占用了40个字节，metaindex_block_handle和index_block_handle是BlockHandle数据类型， 这种结构用于记录metaindex block 和index block的起始位置和大小。 
 
对于BlockHandle ，其实可以看作文件内容指针实现方式,BlockHandle记录数据位置及大小，与c/c++指针 思想类似，通过地址和大小可以读取数据。 
BlockHandle格式

varint64 offset | varint64 size_
采用变长存储，所以实际上存储可能连32字节都不到，剩余填充0。

总结，SSTable其实就是通过二次索引，先读取footer，根据footer中index_block_handler记录的index_block起始位置和大小，读取index block，通过index block 查询key所在data block，再在data block内部通过restarts 进一步确定key所在group。

=====================

MEMtable的结构（其实就是keylength、key、valuelength、value的序列）

Memtable以一个个Entry为单元进行存储，Entry结构图如下：

图1

Klength = UserKey.length + 8 (sequenceNumber + ValueType)；

Vlength = Value.length。