无锁ring-buffer实现原理

linux 2.6.28推出了一种通用的ring-buffer实现，但某些操作这种实现过多依赖锁机制，导致性能不佳。目前DPDK使用的ring是基于Steven Rostedt提出的一种无锁ring-buffer算法实现，该算法消除了写入时锁依赖，为内核的采集信息功能提供了快路径，非常高效。我们一起通过这篇文章学习下该算法的实现原理。

通用算法在linux上的使用如下：采集信息的功能由内核来完成，因此需要存储过程（写操作）尽可能的耗时小，保证对处理events的影响尽可能小。读数据都是基于用户空间完成，因此对性能要求相对低些。linux内核提供的ring-buffer创建了一个环形、双向页面列表，包括一个头指针和尾指针，写基于尾指针，读基于头指针。当ring-buffer写满时，有可能writers会覆盖头指针指向的页面内容，这将会导致读操作数据异常。基于上述原因，该算法提供一个独立的reader页面，该页面完全独立于双向链表，这样readers就不用担心读数据时会被writers将数据破坏。这种实现唯一的缺点是当一个reader页面处理完需要从链表中重新load一个页面时，必须要将处理完的空page插到尾指针之后，同时将当前的head page移除掉作为新的reader page，并将head page在链表上向前移动，这个过程需要依赖锁来保证安全。

Rostedt的算法中提出的ring-buffer结构如下图，H代表Header-flagged pointer：

ring-buffer结构示意

当存在多个writer时，writer A可以被其他的writer B打断，只要A能保证在B开始前完成其写入动作。该功能可有一种称为interrupts stack机制来实现，当一个wirter初始化时，在尾指针之后预留空间来处理写入事件，当完成时更新尾指针位置，同时引入另一个指针commit指针，用来标记 最近的写入完成指针。在一个空的ring-buffer中，reader page\tail page\commit page有可能指向同一处。

为了消除写过程的锁依赖，提出了 cmpxchg() 原子操作如下：

    R = cmpxchg(A, C, B) 
        - Assign A = B if A == C
        - Return A at the time of the call, unconditionally

算法还假设双向链表的指针是4字节对齐，预留低2bit给flags：
-HEADER --- 指针指向当前的head page
-UPDATE --- 指针指向的page正在被写入数据，或者，即将被设为head page

当reader page消费完成时，当前的head page需要从ring-buffer中脱落下来变成新的reader page。通过在next指针中使用HEADER bit，readers可以使用cmxchg()来要求HEADER flag被标记，保证页面内容未被修改过。当writers将flag设置为UPDATE或者清除时，表示该页面内容已被修改过，cmxchg()比较失败，这样reader会重新查找一个新的head page，从而避免使用锁。
当writers更新一个新的tail page时，需要检查next 指针的HEADER flag。如果被设置，需要更新为UPDATE，表示该页面正在被writers使用，并会导致cmpxchg()检查失败，需要剥离一个新的head page为reader page。这种状态也意味着环接近写满状态，仅剩一个页面用来写数据。

参考文献：

• http://lwn.net/Articles/340400/
• http://dpdk.org/doc/guides/prog_guide/ring_lib.html