想个id好难啊
想个id好难啊

【论文阅读】FPGA-Accelerated Compactions for LSM-based Key-Value Store

目录

    • 简介
    • 背景概念和动机
    • 设计与实现
        • 1.overview
        • 2.driver
        • 3.compaction unit
        • 4.compaction unit的分析模型
    • evaluation
    • 总结与亮点

简介

LSM Tree由于其很高的写效率被广泛应用。这种优势主要依赖于后台compaction将随机写转化为了顺序写，并在compaction的过程实现了Garbage Collection的功能。但是随着IO性能的提升，CPU本身成为了查询、合并等功能的瓶颈，特别是KV size较小的时候。本文就提出了将compaction的功能分配给FPGA缓解CPU本身带来的瓶颈。

【论文阅读】FPGA-Accelerated Compactions for LSM-based Key-Value Store_第1张图片

 上图为使用typical WPI workload(75% point lookups,25% writes,即读密集的负载)所测得的throughput和CPU/IO占用率的图表。可以看到32线程时，吞吐率出现了转折。这是由于前台的查询事务操作和后来的compaction发生了资源竞争。在这种读密集的负载下就显得更加严重。
 因此本文提出了将compaction过程下放到FPGA进行完成从而减少资源竞争的情况，主要做了下面工作。

  • compaction速度慢导致L0级别过大以及其他问题，这些问题最终会导致LSM-tree KV存储的性能下降。
  • 我们在FPGA上设计实现多级压实管道(multistaged compaction pipeline)，支持merge和delete操作。我们引入了异步调度器(驱动程序)来协调CPU和FPGA来转移compaction。
  • 我们对FPGA压缩吞吐量进行了建模分析。使用该模型，我们能够预测不同compaction卸载的方案性能。

背景概念和动机

  • LSM-Tree
    【论文阅读】FPGA-Accelerated Compactions for LSM-based Key-Value Store_第2张图片
  • FPGA offloading
    主要有两种方法将FPGA集成到KV Store中。
    一是"bump-in-the-wire"design。这种设计将FPGA放置在CPU和disk之间。这里FPGA相当于一个数据过滤器。这种设计主要发生在所使用的的FPGA片上RAM的资源较少，只能暂时保存小部分的数据量；
    二是作为co-prosessor进行使用。可以直接将包含大量数据的操作放置在FPGA上进行处理。这种方法适用于异步任务，CPU不会因此而失速。

本文采用的就是法2进行集成。

  • 动机
    在运行WPI负载的时候会导致性能降落主要是由于下面两个原因：
     problem 1:碎片化的L0
      L0的SST是直接从memtable上dump下来的。所以不可避免的出现key range重叠的情况，查找L0的时候就需要大范围地查找SST。同时当compaction操作较慢的时候，又会导师L0中SST的堆积，更加剧查找L0时候的延迟。加上L0是较新的数据，往往热度较高，从而更加拖慢了LSM-tree的速度。

 problem 2：瓶颈的转移
  compaction的步骤主要为：decode，merge，encode，在不同大小的KV对下，其消耗的资源是不同。
【论文阅读】FPGA-Accelerated Compactions for LSM-based Key-Value Store_第3张图片
从图中可以看出在KV size比较小的时候，主要消耗的是CPU资源。

设计与实现

1.overview

【论文阅读】FPGA-Accelerated Compactions for LSM-based Key-Value Store_第4张图片
这里表示了compaction转移的示意图，值得注意的是这里使用的LSM-tree based KVS为X-engine。X-engine维护一个全局索引以加速查找。下面是关键组件的主要功能：

Task Queue: 缓存新触发的compaction任务。
Result Queue：缓存已经compaction完毕的KV记录。
driver：管理从host/FPGA传输的数据。
compaction units：进行压缩操作的单元。

2.driver

2.1. Managing Compaction Task

为了顺利将compaction顺利offload到FPGA，CPU端会创建三种线程：

  • builder threads：build compaction tasks
  • dispatcher threads:dispatch tasks to CUs in FPGA
  • driver threads:install compacted data back to the storage

【论文阅读】FPGA-Accelerated Compactions for LSM-based Key-Value Store_第5张图片

  • builder thread
    对于每个compaction，builder thread会将所需的范围分割成大小近似的不同组(group);每个group最终会形成单独的compaction任务。新建任务的时候需要包含下面的元数据：
元数据项目 作用
return_code 表明压缩任务是否被成功执行
*task_queue 任务队列指针
*input_data 输入数据指针
*result 结果指针
compaction_info 其他信息(文中没有详细介绍)
*callback 将压缩完毕的data blocks从FPGA传输回主存

如果在FPGA的压缩失败时，builder thread就会重新创建一个CPU compaction解体这个任务。

在本文测试中，大概仅仅0.03%的FPGA-Based Compaction任务失败。

  • dispatcher thread
    dispatcher消耗task队列，并将任务发送以round-robin的方式发送给FPGA中的CUs。由于compaction tasks是通过分割成相近大小的形式得到的，不同的CU之间会得到相对平衡的负载。
  • driver thread
    driver thread将每个compaction task相关的数据传输到FPGA的片上内存，并通知对应的compaction unit开始工作。当有compaction task完成的时候，driver thread就会被中断来执行：将获得的compacted data block传输回host内存中；将completed tasks压入result queue； - 由2.2中 Interruption Mechanism进行完成。

2.2. Instruction and Data Paths
为了使用FPGA进行compaction，通过PCIe将指令和数据进行传输。本文定义了两种通路。如下图所示：
【论文阅读】FPGA-Accelerated Compactions for LSM-based Key-Value Store_第6张图片

  • Instruction Path-用于传输小的，经常使用的数据(指令)
  • Compaction Data Path-用来传输用于compaction的数据，使用的是DMA(direct memory access)，无需CPU的参与。
  • Memory Management Unit(MMU)-用来申请从device申请空间用来存储到来的数据。

3.compaction unit

【论文阅读】FPGA-Accelerated Compactions for LSM-based Key-Value Store_第7张图片
主要结构包含：decoder，merger，kv transfer，encoder

  • decoder ：对于一个KVS，其中key使用前缀编码来节省空间。所以需要decoder进行译码，之后传输给KV Ring buffer。
  • ring buffer：将ring buffer使用三个flag划分状态：FLAG_EMPTY/FLAG_HALF_FULL/FLAG_FULL。如果处于空状态，就持续decode并写入buffer。如果buffer半满之后就将启动Merger开始合并。之后decoder继续解码数据进行写入。值得注意的是，这里将merger和decoder处理的速度进行平衡匹配，这样可以保证数据不会被阻塞
  • encoder-编码输出

4.compaction unit的分析模型

evaluation

总结与亮点

你可能感兴趣的:(论文阅读小笔记)

按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他