CXL论文，阅读笔记整理（持续更新）

CXL 介绍

An Introduction to the Compute Express LinkTM (CXLTM) Interconnect

arXiv Paper

对CXL技术进行介绍，包括CXL 1.0、CXL 2.0、CXL 3.0，对各规范的提升做介绍。整理了现有的CXL实现方法，延迟测试结果，对未来发展进行展望。

CXL 实现

Direct Access, High-Performance Memory Disaggregation with DirectCXL

ATC 2022 Paper

基于硬件实现了CXL协议，将CXL 2.0引入实际系统并分析支持CXL的分解内存设计。

Memory Pooling With CXL

IEEE Micro 2023 Paper

DirectCXL的完整版，设计基于CXL的内存池，由于传统基于页面或基于对象的内存池。分析了基于CXL各步骤的实现，通过CXL连接主机和内存，运行时的软件堆栈，硬件实现方法。通过CXL优化减少了访问内存池时的网络开销、复制开销、利用CPU cache优化访问。在各种实验下均有良好的性能。

未来会基于CXL 3.0继续扩展，添加多缓存设备，反向无效窥探，利用多头逻辑设备和动态容量设备支持数据共享和内存动态扩展，结构扩展到更多互联设备。

按照这个实验的结果，L1 cache延迟4ns，L2 cache延迟96ns，本地内存240ns，CXL 1.312us，RDMA 8.108us。CXL比RDMA快8.3倍。

CXLMemSim: A pure software simulated CXL.mem for performance characterization

arXiv Paper

构建模拟器实现CXL.mem，只写了各简单的介绍，没有详细细节。模拟器先在现有软件上执行程序，并跟踪内存操作，将应用程序周期性中断插入三种延迟。https://github.com/SlugLab/CXLMemSim

局限性：目前开来模拟时间还是很长，对于系统调用的模拟时间提升34-141倍，不知道模拟的准不准

SMT: Software-Defined Memory Tiering for Heterogeneous Computing Systems With CXL Memory Expander

IEEE Micro 2023 Paper

提出基于CXL的内存扩展方案。构建了MXP原型，使用CXL控制器增强系统内存容量和带宽。开发了软件套件SMDK，用于在具有MXP的异构内存系统上执行内存分层、管理和智能分配。https://github.com/OpenMPDK/SMDK ，代码的wiki里介绍了一些细节。

文章里没讲具体的实现细节，就大概介绍了一下架构和各种功能，看不懂咋实现的。

按照这个实验的结果，本地内存100-140ns，CXL 420-600ns。但表格里写的平均是145ns，QoS 99.9%以上才和实验结果差不多425ns-567ns。顺序读或写带宽26GB/s，随机读写一起40GB/s，用的PCIe 5.0，理论上双通道时可达到64 GB/s。

CXL 应用

CXL-ANNS: Software-Hardware Collaborative Memory Disaggregation and Computation for Billion-Scale Approximate Nearest Neighbor Search

ATC 2023 Paper

针对十亿规模近似最近邻居搜索（ANNS）问题，通过CXL缓解内存压力。

针对算法细节优化，基于关系感知进行图缓存，利用领域专用加速器（DSA）、EP端计算减少传输开销，调整算法执行顺序隐藏CXL内存池的延迟，对算法执行过程放松依赖进行调度。总体基于CXL实现十亿规模ANNS取得良好性能。

Overcoming the Memory Wall with CXL-Enabled SSDs

ATC 2023 Paper

针对计算资源和存储资源增长速度不匹配导致内存墙问题，本文提出基于CXL的闪存作为内存。

开发了一种新的工具来收集应用程序的物理内存跟踪，同时收集LLC未命中或驱逐引起的内存访问和页故障导致的页表更新，将二者组合成物理内存跟踪。https://github.com/spypaul/MQSim_CXL

克服了闪存的三个挑战：粒度不匹配、微秒级延迟、持久性有限。通过在闪存前添加DRAM作为缓存，设计未命中状态保持寄存器（MSHR）减少缓存未命中时的流量，设计简单的预取策略进行预取，使68–91%的请求延迟小于1微秒，估计寿命至少为3.1年。

局限性：文章所探讨的CXL闪存的设计没有考虑闪存的内部任务，如垃圾收集和损耗均衡，所考虑的主机系统可能无法完全反映CXL引入的新系统特性。只使用了MQSim模拟器。

Hello Bytes, Bye Blocks: PCIe Storage Meets Compute Express Link for Memory Expansion (CXL-SSD)

HotStorage 2022 Paper

提出了使用CXL-SSD扩展内存的思路，与上一篇思路相近。但没有做更细节的优化，只是简单用硬件实现了CXL-SSD，性能不佳。主要讨论了CXL-SSD的CXL互连和可扩展性潜力。讨论了主机向设备提供提示时的设计思路，通过在CXL消息中添加注释，将不同用户场景通知CXL-SSD，用于缓存预取或汇总数据批量写入。

A Case for CXL-Centric Server Processors

arXiv Paper

针对使用CXL接口替换DDR接口，从而极大增加带宽。

提出使用基于CXL的内存替代基于DDR内存，将内存请求分布在4倍以上的内存通道上，CXL减少了对内存总线的排队影响。由于排队延迟在有负载的内存系统中占主导地位，因此这种减少远远弥补了CXL引入的接口延迟开销。提出了分对称的CXL接口优化，读写接口不设计成1:1，根据读写需求设计，但PCIe标准目前不允许这样做。

局限性：设计过于简单，也没有很多具体场景的优化，实验基于模拟器做的比较简单，没有实际模拟CXL。

TPP: Transparent Page Placement for CXL-Enabled Tiered-Memory

ASPLOS 2023 Paper

对于内存扩展的场景，如何灵活使用本地内存和较慢的CXL内存，目标是将热页面留在本地内存，冷页面卸载到CXL内存。

文章构建Chameleon，轻量级的用户空间工具，用于分析应用程序的内存访问行为，如页面温度、不同类型页面的温度、不同页面类型使用情况。

根据分析结果设计TPP，内核空间下的透明的页放置策略，使用轻量级回收机制将冷页降级到CXL内存，将分配和回收逻辑解耦增加本地内存空闲页空间，基于LRU的页提升机制将热页提升到本地内存，基于页面感知的分配将不同类型页初始分配到不同内存层。

主要使用NUMA架构进行模拟，两个节点，一个有CPU和内存，另一个只有内存。也部署了基于FPGA支持CXL 1.1的硬件但延迟较高。实验结果本地内存利用率更高，吞吐量更高。

Pond: CXL-Based Memory Pooling Systems for Cloud Platforms

ASPLOS 2023 Paper

对生产云集群中观察发现内存滞留和未接触内存，可以通过内存池+CXL内存缓解，用内存池避免内存滞留，将未接触内存分配到廉价的远程内存节省DRA成本。

本文提出Pond，满足云提供商要求的全栈内存池，由硬件、系统软件和分布式系统层组成，用于管理池/CXL内存。提出4个技术：用8-16个套接字之间的池大小即可实现池的大部分优势；通过ML模型预测工作负载的延迟敏感程度、未接触内存大小，根据结果分配内存位置；将未接触内存分配到慢速内存节点不会影响工作负载性能；通过监控系统避免ML预测错误导致的性能下降。

套着CXL壳的云存储下内存分层技术，对云上工作负载分析，发现有节省内存的空间，于是对工作负载要使用的内存做预测，根据预测结果分开申请内存。

Design Tradeoffs in CXL-Based Memory Pools for Public Cloud Platforms

IEEE Micro 2023 Paper

在Pond基础上继续研究，Pond提出要使用更大的CXL内存池（50%），来节省DRAM的成本，本文分析发现使用CXL池会引入其他基础设施开销，反而使用较小的内存池（25%）综合来看节省更多成本。提出使用CXL多头设备（MHD）进行池的连接，相比于CXL交换机可以进一步减少传输延迟。

整体来看论文内容偏简单，绝大多数篇幅都是重述了Pond中的发现，最后分析了一下使用CXL内存池引入其他成本。

BEACON: Scalable Near-Data-Processing Accelerators for Genome Analysis near Memory Pool with the CXL Support

MICRO 2022 Paper

对生物领域的基因组分析问题优化，其中许多应用是内存绑定的，现有方法在通信带宽上和内存扩展方面有瓶颈，作者想设计基于CXL的设计，利用内存池中丰富的内存和CXL提供的高通信带宽。

提出BEACON，优化内存访问和通信。通过添加PE进行计算，添加内存控制器和地址转换器优化内存访问，添加总线控制器和数据打包器优化通信，添加原子引擎优化内存访问，通过数据迁移方法利用数据局部性优化内存访问，针对特定算法设计多芯片合并优化通信。相比与现有方法提升了大量性能但也提升了少量能耗

多数是基于硬件的修改，在CXl架构下针对基因组分析添加硬件解决内存访问和通信的问题。或许可以将这些硬件功能通过软件实现用于其他问题的优化。

Design and Analysis of CXL Performance Models for Tightly-Coupled Heterogeneous Computing

ExHET@PPoPP 2022 Paper

尝试使用CXL优化紧耦合的异构计算，本文用FPGA和GPU的通信作为例子，程序先通过FPGA计算，随后将计算结果传入GPU继续计算。

感觉没有真正实现，只是通过数学公式直接计算，模拟CXL惩罚参数为60%-90%的结果。大多数模拟太理想化了，也没有针对问题做细节上的优化，整体偏简单。只能算是个尝试，用CXL有优化异构计算的空间，但文章没有做很细节的实现。

Failure Tolerant Training With Persistent Memory Disaggregation Over CXL

IEEE Micro 2023 Paper

针对大规模推荐系统，通过CXL实现低开销容错性。使用type-2设备，将PMEM和GPU连接到CXL系统中，通过硬件间相互cache减少数据移动的开销（将整体一次性移动改为了多次小移动，会不会反而增加传输数据量，可能最后结果只有10，但中间计算结果有20）。通过批处理感知调整记录检查点时间，利用PMEM空闲时间记录检查点。将推荐训练的顺序放松，重新调度避免RAW开销，减少检查点记录。

整体思路创新性挺好，实验时因为没有硬件用GPU上计算时间替代CXL系统下的计算时间。第一个优化点利用CXL设备间相互cache，协议里没具体写可以这样实现，属于是自己猜测的功能。

Partial Failure Resilient Memory Management System for (CXL-based) Distributed Shared Memory

SOSP 2023 Paper

分布式共享内存，因为使用CXL技术，可能存在部分故障。例如两个计算节点引用相同内存，其中部分计算节点故障时不影响其他计算节点。基于重做日志无法精确定位故障位置；使用锁无法满足部分故障，获取锁的部分可能发生故障。
本文基于引用计数的内存管理方法，避免不同计算节点间故障后无法恢复的问题，实现CXL系统下的故障恢复。https://github.com/madsys-dev/sosp-paper19-ae

各层级延迟情况