LSM-Tree

最近学习 Kylin HBase 过程中了解到了 LSM-Tree，发现当前很多 NoSQL 数据系统，例如：BigTable HBase Cassandra RokcsDb levelDB 等，都是基于 LSM-Tree 的模式构建起来的。

LSM-Tree 概念以及应用场景

LSM-Tree 英文全称：Log-Structure Merge-Tree，就从定义入手：

• Log-Structure ：日志文件追加写入数据，顺序写磁盘的性能很好 （想象一下：echo "k1:v1" >> file）。
• Merge-Tree ：LSM-Tree 一般为两层数据结构 C0（内存数据结构）-> C1（磁盘文件），C0：in-memory tree like 数据结构（为了排序）接受新数据的写入，超过一定阈值 flush 数据 合并到磁盘 C1。

简单来说就是类似 log 写入的方式 append 写数据到内存，定期刷磁盘的方式，不需要就地更新操作，即不就地删除和修改，通过追加写标记后续合并的方式。有研究表明：某种程度上来说，磁盘的顺序访问性能好过内存的随机访问（顺序写性能可以约等于磁盘理论写入速度 ：200-300MB/s ，SSD 速度更快。）。所以它适合写多的场景，NoSQL 一般支持横向扩展，所以准确的来说，它适合大数据量写多的场景。

下面介绍 LSM-Tree 的几个概念：

WAL

写入性能强的更重要的一个原因是，LSM-tree 是 in-memory 写（insert delete update），比传统的基于 B-Tree 写入磁盘的方式要快不少。

直接写内存的方式带来了显著的写入性能，但是如何在系统出现故障的时候保证数据的可靠性，那就是 WAL write ahead log
所有的写入操作先写 WAL 落盘，再写入内存，由于 WAL 也是顺序写磁盘，所以性能很好，大部分数据系统都有 WAL ，MySQL 的 binlog，Hadoop namenode 的 editlog 都是类似的实现。

SSTables

LSM-Tree 使用 SSTable （sorted strings table）的形式持久化数据，如下图所示：

image.png

SSTable 是排好序的一系列文件，加索引，二分查找，提升读性能。所以写入前就要做好排序，借助上文提到的 C0 （内存数据结构）一般是二叉搜索树，例如 B+树，红黑树等，写入操作先写入 C0，达到阈值刷新到 SSTable C1；

基于 SSTable 的存储引擎可以这样 Run 起来：

1. 当一条数据写入时，我们将其插入到基于内存的平衡树中（Red-black tree）。 内存中的树我们称之为 Memtable。
2. 当 Memtable 的大小超过一定阈值时，我们将 Memtable Flush 到磁盘，转为SSTable。
3. 当我们查询时，需要同时查询内存中的 Memtable 和磁盘中的 SSTable。
   周期性的在后台进行异步的 Merge 和 Compaction 操作。
4. 为了防止 Memtable 在 Flush 到磁盘前机器故障导致数据丢失，我们可以在磁盘上维护一个只追加写的 log 文件，称之为 Write-Ahead-Log,当集群故障后可以从log 中恢复出 Memtable。 所以我们在每次写入 Memtable，需要先写入 WAL。当Memtable flush 到磁盘后，对应的 WAL 文件就可以删除。

SSTable 也是被广泛借鉴，比如 ClickHouse，Palo 等。

Compaction

为了提升读性能，定期对 SStable 文件进行 合并，小文件合成大文件，因为update 都是逻辑操作，例如 delete 是增加 delete 标记等，所以也需要同时对update 类型的操作进行处理。这些都是在 compaction 的时候做的。

参考
[1] http://www.benstopford.com/2015/02/14/log-structured-merge-trees/
[2] https://en.wikipedia.org/wiki/Log-structured_merge-tree
[3] https://blog.bcmeng.com/post/lsm-tree-vs-b-tree.html?