non-blocking algorithms

参考wiki

1.简介

• non-blocking算法：一个线程的失败或者暂停不会导致其他线程的失败或暂停。
  如果保证system-wide progress，则non-blocking算法是lock-free；
  如果保证per-thread progress，则是wait-free。

2.为什么要引入non-blocking算法

• 传统的加锁方法有什么问题？
  传统的多线程编程方法是使用锁来同步对共享资源的访问。程序员使用同步原语机制（mutexes, semaphores, cirtical sections）来确保线程不会同时执行，以确保共享数据结构不会被损坏。
  然而，很多情况下阻塞线程并不是我们期望的。
  1）阻塞的线程一直在执行高优先级或实时任务
  2）锁之间的交错可能导致deadlock, livelock, priority inversion
  3）粗粒度锁（coarse-grained locking）和细粒度锁（fine-grained locking）之间的权衡，前者显著减少并行，后者增加锁的开销并且更容易出错。

• non-blocking有什么优势？
  1）不受上面的缺点影响
  2）在中断处理程序中也是安全的（interrupt handlers），即使被抢占的线程无法恢复，进度可能依旧能够保持（progress）。
  但是使用锁就不可以，因为（无法恢复的）被强占的线程可能是锁的持有者。但是这种问题可以通过在临界区关闭中断请求来避免。
  3）lock-free 数据结构可以提高性能，该类型的共享数据结构不用保持串行访问，可以在多核处理器上有更好的性能。

3.实现

• 除少数情况外，non-blocking算法使用原子的read-modify-write原语，该原语硬件必须提供，最出名的便是CAS。
  关于read-modify-write(参考wiki)：代表一类原子操作（包括test-and-set、fetch-and-add、compare-and-swap，LL/SC），这些操作同时读写一个内存位置。这些操作能够在多线程应用中防止数据竞争。一般用来实现mutexes或者semaphores，也经常用在non-blocking同步中。
• 临界区基本上都是使用基于这些原语的标准接口实现的。（一般情况下，即使是用这些原语实现的临界区也是会发生阻塞）。
• software transactional memory承诺提供写高效non-blocking代码的标准抽象。
  关于STM（参考wiki）：是一种类似于数据库事务的并发控制机制，用于在并发计算中对共享内存访问的控制。是基于锁同步的一种替代方案。一个事务是指对共享内存一些列的读和写逻辑上发生在一个瞬间，其中间的状态对于其他事务是不可见的。
• stacks queues sets 及 hash tables的non-blocking版本，可以保证在程序之间以异步的方式交换数据。
  Herb Sutter关于queue
  Herb Sutter关于queue
• 有些数据结构不需要特殊的原子原语就可以实现non-blocking，包括：
  1）a single-reader single-writer ring buffer FIFO
  使用内存屏障实现（memory barrier）
  2）Read-copy-update with a single writer and any number of readers
  读者是wait-free；写者是lock-free，直到需要回收内存
  关于Read-copy-update（参考wiki）：用在读取性能很关键的地方，也是space-time tradeoff的一个例子，用更多的空间换取更好的性能。（更新后的reader能够读取到新值）对于被RCU保护的共享数据结构，读操作不需要获得任何锁就可以访问，但写操作在访问它时首先拷贝一个副本，然后对副本进行修改，最后在适当的时机把指向原来数据的指针重新指向新的被修改的数据。这个时机就是所有引用该数据的CPU都退出对共享数据的操作。Linux内核中内存管理大量的运用到了RCU机制。为每个内存对象增加了一个原子计数器用来继续该对象当前访问数。当没有其他进程在访问该对象时（计数器为0），才允许回收该内存。
  3）Read-copy-update with multiple writers and any number of readers.
  读者是wait-free；写者通常用一个lock来穿行，并且不是obstruction-free
• 有一些库使用了lock-free技巧
  C++ libcds
  liblfds
  Concurrency Kit

4.并发的级别

4.1 wait-freedom 无等待并发（non-blocking）

• 是最强级别的演进（progress）保证，并保证system-wide throughput with starvation-freedom.
  Wait-freedom 指的是每一个线程都一直运行下去而无须等待外部条件，整个流程中任何操作都能在一个有限的步骤内完成，这是最高的并发级别，没有任何阻塞。
  对实时系统很关键。
• 可以简单认为能够直接调用一个原子操作实现的算法或程序就属于Wait-free，比如下面的 increment_reference_counter 函数就是wait-free的，它封装了atomic_increment这个原子自增原语，多个线程可以同时调用这个函数对同一个内存变量进行自增，而无须任何阻塞（其实也是有阻塞的，是总线锁级别）。
  CAS类的调用就不是wait-free的，注意wait-free的原语都不能包含内部循环，CAS原语使用时通常包含在“循环直到成功”的循环内部。
• wait-free的最新实现

Kogan, Alex; Petrank, Erez (2011). *Wait-free queues with multiple enqueuers and dequeuers*. Proc. 16th ACM SIGPLAN Symp. on Principles and Practice of Parallel Programming (PPOPP). pp. 223–234. [doi](https://en.wikipedia.org/wiki/Digital_object_identifier "Digital object identifier"):[10.1145/1941553.1941585](https://doi.org/10.1145/1941553.1941585). [ISBN](https://en.wikipedia.org/wiki/International_Standard_Book_Number "International Standard Book Number") [978-1-4503-0119-0](https://en.wikipedia.org/wiki/Special:BookSources/978-1-4503-0119-0 "Special:BookSources/978-1-4503-0119-0").

Kogan, Alex; Petrank, Erez (2012). *A method for creating fast wait-free data structures*. Proc. 17th ACM SIGPLAN Symp. on Principles and Practice of Parallel Programming (PPOPP). pp. 141–150. [doi](https://en.wikipedia.org/wiki/Digital_object_identifier "Digital object identifier"):[10.1145/2145816.2145835](https://doi.org/10.1145/2145816.2145835). [ISBN](https://en.wikipedia.org/wiki/International_Standard_Book_Number "International Standard Book Number") [978-1-4503-1160-1](https://en.wikipedia.org/wiki/Special:BookSources/978-1-4503-1160-1 "Special:BookSources/978-1-4503-1160-1").

Kogan, Alex; Petrank, Erez (2012). *A method for creating fast wait-free data structures*. Proc. 17th ACM SIGPLAN Symp. on Principles and Practice of Parallel Programming (PPOPP). pp. 141–150. [doi](https://en.wikipedia.org/wiki/Digital_object_identifier "Digital object identifier"):[10.1145/2145816.2145835](https://doi.org/10.1145/2145816.2145835). [ISBN](https://en.wikipedia.org/wiki/International_Standard_Book_Number "International Standard Book Number") [978-1-4503-1160-1](https://en.wikipedia.org/wiki/Special:BookSources/978-1-4503-1160-1 "Special:BookSources/978-1-4503-1160-1").

4.2 lock-freedom 无锁并发（non-blocking）

• 允许单个线程starve，但是保证system-wide throughput.
  对于运行足够长时间的线程中，至少有一个线程能够演进（make progress），则是lock-free。
  Lock-freedom 指的是整个系统作为一个整体一直运行下去，系统内部单个线程某段时间内可能会饥饿，这是比wait-freedom弱的并发级别，但系统整体上看依然是没有阻塞的。所有wait-free的算法显然都满足lock-free的要求。
  Lock-free算法通常可以通过同步原语 CAS实现。
• 当一个线程被挂起时，lock-free算法可以保证其余线程仍然可以演进。
  因此，如果两个线程竞争相同的mutex lock 或 spinlock时，算法不是lock-free，因为获得锁的线程挂起时，另一个线程会阻塞。
• 一些无限的操作可以在某些处理器上可以有限步完成，则算法是lock-free。wait-free要求所有处理都在有限步完成，lock-free要求部分在有限步完成。
• 无锁算法可以运行在四个阶段：
  完成自己的操作；
  assisting an obstructing 操作；
  abort obstructing 操作；
  等待。
  assist, abort or wait的时机是由争用管理器决定，可以进行优化以保证更好的吞吐量（throughput），或者高优先级操作的低延时。

4.3 obstruction-freedom （non-blocking）

• 在任何时间点，一个单独隔离的线程（所有obstrcting 线程都挂起了）在有限步骤能够完成其操作，则是obstruction-free。
  bstruction-free 是指在任何时间点，一个孤立运行线程的每一个操作可以在有限步之内结束。只要没有竞争，线程就可以持续运行，一旦共享数据被修改，Obstruction-free 要求中止已经完成的部分操作，并进行回滚，obstruction-free 是并发级别更低的非阻塞并发，该算法在不出现冲突性操作的情况下提供单线程式的执行进度保证，所有 Lock-Free 的算法都是 Obstruction-free 的。
• obstruction-freedom要求可以中止任何部分完成的操作并且能够回滚已做的更改。
  丢弃并发协助可以实现更简单的算法，且更容易验证。
  竞争管理器需要防止持续的live-locking。
• 一些obstruction-freedom算法在数据结构中使用一对“一致性标记”。
  读取数据结构的进行首先读取一个一致性标记，然后将相关的数据读入一个内部缓冲区；
  然后读取另一个标记，并且比较这两个标记。
  如果标记相同，则数据是一致的；标记可能不一致，因为当前的读过程可能被另外一个更新该数据结构的进程中断，这种情况下，该进程丢弃掉内部缓冲区的数据并重试。

4.4 blocking 算法——一般加锁