异构内存及其在机器学习系统的应用与优化

第四范式深耕于人工智能领域，在人工智能相关算法、应用、系统和底层架构设计等有兼具广度和深度的理解。

随着近几年先进存储技术的飞速发展，涌现出了具有颠覆性的存储技术，比如非易失性存储、SSD等。基于此类技术的异构内存架构，正在颠覆传统应用程序的设计和优化模式。

第四范式在异构内存架构上抢先布局，进行了若干创新性探索研发和落地实践，比如参数服务器[ 第四范式推出业界首个基于持久内存、支持毫秒级恢复的万亿维线上预估系统：https://www.163.com/tech/article/FGCFSO4N00099A7M.html ]、内存数据库等[ 英特尔、第四范式联合研究成果入选国际顶会 VLDB 傲腾™ 持久内存加持 优化万亿维特征在线预估系统：https://newsroom.intel.cn/news-releases/the-joint-research-results-of-intel-and-4paradigm-were-selected-into-the-vldb-international-conference/]。

此篇文章将介绍异构内存架构的技术背景，以及在自动机器学习系统上的技术实践。

异构内存架构

传统上，我们所说的内存一般是指动态随机存储，即DRAM。此外，在CPU中还会存在小容量的快速存储器件，我们一般会称他们为CPU缓存（即L1/L2 cache）。具有持久性的慢速存储器件则构成了外存，比如磁盘等。因此，外存、内存、和CPU缓存，构成了整个存储架构金字塔。但是，随着具有革命性意义的非易失性内存技术的商业化落地，使得这个金字塔中的内存不再由DRAM单一组成，而是由DRAM和非易失性内存构成了异构内存架构。

此外，非易失性内存的出现也模糊了内存和外存之间的功能边界，使得内存数据持久化成为了可能。今天，非易失性内存技术已经完全成熟，由英特尔于2019年发布的英特尔® 傲腾™ 持久内存（简称持久内存或者PMem），即是此技术的代表性产品。

图 1. 基于异构内存的存储架构金字塔

图 1显示了包含有异构内存的存储架构金字塔。可以看到，在本质上，持久内存处于金字塔中DRAM和外存之间，其在容量、性能、成本都是处于两者之间。甚至在功能上，它亦是一个DRAM和外存的混合体。它既可以直接当做内存使用（内存模式），也可以当作一个持久化设备使用（App Direct 模式，简称AD模式）。

在内存模式中，持久内存对操作系统透明，其容量直接反应为整体的可用内存容量；AD模式则将存储层级暴露，由开发者完全掌控。因此，由于持久内存的特殊存在，现代内存架构不仅仅是在层级上变得更为复杂，在功能上也出现了革命性的变化，对于如何利用好异构内存架构，开发人员需要思考更多的问题，比如：

• 多级存储的优化。持久内存提供了一个性能接近于DRAM，但是成本更低的内存方案，非常有利于对于内存消耗巨大的应用。但是，多级存储架构的引入也为性能优化带来了更高的挑战。我们知道，高性能缓存在性能调优中有重大意义。一方面现实数据中往往存在热点，缓存可以有效提升热点数据的访问性能；另一方面，缓存敏感数据结构（cache
  conscious）为了压榨硬件性能，常常有精巧的设计。那么，持久内存的出现使得这个存储层级更为复杂，对多级缓存机制、数据结构和算法的设计都提出了更高的要求。
• 持久化机制的利用。持久内存使得外存不再是存储数据的唯一选择。持久内存提供了远比传统外存器件更高的持久化性能，但是其容量相对较小。在某些场景中如何有效的发挥高性能持久化的特点，成为了应用落地需要思考的新问题。比如，对于需要全天候保证服务质量的在线服务应用，内存数据持久化即能提供离线以后的快速恢复能力；另外，原本磁盘IO为性能瓶颈的场景，也可以利用持久内存来作为存储介质，来提升整体系统性能。

为了让大家进一步了解异构内存架构如何在实际场景中发挥价值，我们将抛砖引玉，分享第四范式在异构内存架构上的实践经验。

自动机器学习系统在异构内存上的优化

图 2显示了一个第四范式产品中一个典型的自动机器学习（AutoML）全流程。其主体上包含了离线探索以及线上推理部分。离线探索通过自动特征工程和模型训练，产出可以上线的特征工程脚本以及模型。线上推理服务在接受到用户请求以后，经过实时特征抽取和模型推理，拿到预测结果。同时消息队列在整个系统中起到了数据搜集和分发的关键作用。

从表格 1可以看到，在异构内存架构下，持久内存在不同组件中有不同的使用方法，从而达到不同的优化目的。总体来说，内存模式可以用来实现快速的低成本内存容量扩展，AD模式则带来了更多的益处，包括快速恢复能力、提升数据存储性能等。

第四范式已经将基于异构内存优化的关键技术组建进行了解耦，并且贡献到了开源社区，目前主要包含两个项目：高性能消息队列系统Pafka（https://github.com/4paradigm/pafka），以及针对AI负载优化的高性能KV存储引擎 PmemStore（https://github.com/4paradigm/pmemstore） 。以下主要展开介绍Pafka。

Pafka：基于异构内存优化的高性能消息队列系统

Kafka是一个开源的分布式事件流/消息队列系统，用于高效，可靠地处理实时数据流，在工业界中有非常广泛的落地应用场景。 但是，由于其持久化逻辑的存在，其性能（吞吐和延迟）常常受到外存设备（HDD/SSD）的制约。在实际使用场景中，为了增加 Kafka 集群的总体吞吐量，企业不得不扩大集群规模，增加了企业的总成本。

持久内存具有高速持久化的特性，能达到几倍甚至几十倍于传统硬盘和SSD的持久化性能。因此，基于异构内存架构的 Kafka 的优化版本 — Pafka，正是利用了高速持久化的特性，大幅提升单节点吞吐，从而优化在集群上的总投入成本。总体来说，相比较于传统的Kafka解决方案，Pafka带来了如下优势：

• 比较于目前数据中心常见的 SATA SSD 的配置，基于异构内存的Pafka改进节点吞吐和延迟均达20倍。
• 由于大幅提升了节点吞吐，因此在集群规模总投资上，相比较于 Kafka，Pafka可以减少硬件投入成本 10 倍以上。
• Pafka直接基于Kafka优化，用户原有的基于 Kafka 的业务代码无需修改，可以零代码改造成本迁移到Pafka系统。

我们对于 Kafka 的优化集中于造成性能瓶颈的数据落盘部分。原Kafka原有的架构中，数据持久化只发生在外存（磁盘/SSD）这一层级；经过优化以后的Pafka版本，基于异构内存架构，同时把持久内存和外存用来做数据持久化。

具备高性能持久化能力的持久内存作为持久化层级的第一级，而容量更大但性能较差的外存则作为第二级持久化介质，两者通过一定的缓存机制进行管理。

由于消息队列的生产者/消费者的使用模式，大部分场景下数据的存取都会发生在高性能的持久内存中。

图 3. Pafka集群架构
如图 3所示，一个 Kafka 服务器集群由几个至上百上千个的 brokers组成。Brokers 内部划分为了不同的 partitions，进一步划分为 segments，来进行消息存储。我们对于 Kafka 的改造主要集中在 segment 的存储数据结构上的改造。原来的 segment 只能存储在 HDD/SSD 等外存设备上，我们使用 PMDK 来进行基于异构内存的持久化操作，引入 MixChannel 的概念，来实现 segment 既能存储在 HDD/SSD 的外存设备，也能在持久内存上。

具体来说，MixChannel将普通的文件接口和持久内存的接口统一管理，其底层存储介质对于上层组件是透明的。为了支持基于持久内存的存储，我们为MixChannel引入了数据结构PMemChannel，其主要功能是把持久内存的MemoryBlock对象封装成满足FileChannel API的接口，从而可以让MixChannel方便的选择基于传统文件的FileChannel接口，还是基于持久内存的PMemChannel。这里我们使用了pmdk llpl的PersistentMemoryBlock，会自动为每次写入的数据进行持久化。同时，为了支持zero-copy，我们还为llpl的MemoryBlock，通过直接映射持久内存的地址到ByteBuffer，实现了zero-copy的ByteBuffer接口，从而避免了内存的多次拷贝，提升性能。

为了维护segment和持久内存上数据的对应关系，我们为每个segment分配一个持久内存的MemoryBlock，映射关系通过pmdk pcj的ObjectDirectory来维护。

此外，为了避免MemoryBlock在Pafka正常运行时动态分配的开销，我们会在初始化的时候预先分配固定一定比例的内存池空间，用于写数据的时候MemoryBlock的快速分配。

性能比较

图 4显示，相比较于数据中心中常用的基于SATA SSD进行持久化的Kafka，基于异构内存优化的Pafka在吞吐和延迟的性能表现上均可以达到20倍的改进。

成本比较

假设我们的目标是提供20 GB /秒的整体吞吐率，我们将异构持久内存的 Pafka 与基于 SATA SSD 的Kafka 进行了比较。图 5显示，为了实现20 GB /秒的总吞吐率，基于 SATA SSD 的服务器和基于异构内存的服务器的数量分别为 45 和 3。 此外，就硬件成本而言，传统的Kafka（SATA SSD）需要花费为 45 万美元，而我们的Pafka解决方案仅需花费 4.05 万美元。Pafka解决方案将硬件成本大大降低到传统Kafka解决方案的9％。

图 5. 20 GB/sec 吞吐的性能下，Pafka和Kafka方案的成本比较

更多信息

Pafka为第四范式的开源项目，具体使用方式、技术支持、以及完整性能报告可以通过以下渠道了解更多：
-代码Github repo：https://github.com/4paradigm/pafka
-Slack channel：https://join.slack.com/t/memarkworkspace/shared_invite/zt-o1wa5wqt-euKxFgyrUUrQCqJ4rE0oPw
-MemArk 异构存储技术论坛：https://discuss.memark.io/