译文｜Apache Pulsar 如何保证消息不丢不重？

原作者为 Ivan Kelly。经作者许可，我们对博客进行翻译并发布。

人们在探讨流处理引擎（stream processing engine, SPE）时，经常会提到 effectively-once（或 exactly-once）保证。一般情况下，较大的数据管道包含多个组件，而管道中的任何组件都有可能发生故障，SPE 通常只是其中一个小组件。如果用户希望数据管道提供 effectively-once 保证，则管道中的其他（非 SPE）组件需要提供相应的保证。

本文介绍 Apache Pulsar 可以实现的保证类型，以及实现保证的方式。

下图为字数统计应用程序示例：

如上图所示，首先来自数据源（如 Twitter Firehose）的数据被推送到消息系统，然后消息系统将这些数据传输到 SPE 并由 SPE 处理这些数据（即字数统计）。最后，将数据处理结果存储在字数统计数据库中，也可以进一步用作分析。

《Apache Pulsar 中的 effectively-once》一文讨论了 SPE（尤其是 Heron）如何实现 effectively-once 保证。但是，在上图所示的字数统计应用程序中，消息系统和数据源（将数据推送到消息系统时）都可能发生故障。

https://www.splunk.com/en_us/blog/it/effectively-once-semantics-in-apache-pulsar.html

要想确保数据管道内实现 effectively-once 保证，需要为消息系统和数据源提供 effectively-once 保证。字数统计数据库也可能会发生故障，从而使问题变得更加复杂。但是，该数据库只用于存储字数统计节点的数据副本。因此，即使数据库发生故障，用户也可以很容易地恢复数据库。关于这一点本文将不再赘述。

当消息系统或 SPE 中发生故障后，为了提供 effectively-once 保证，需要指定故障发生前的一个数据时间点，SPE 可以重新连接到这一时间点的消息系统读取数据。重新连接时，SPE 需要接收发生故障前收到的所有信息。不应该发生消息丢失或消息重复故障。对于绝大多数用户来说，消息顺序也应该相同。

尽管“顺序相同”这一要求本身并非正确性要求，但可以考虑一下消息顺序不同的情况。为了确保不重复消息，消息接收方（即 SPE）必须追踪所有已接收处理的消息。追踪时间越长，存储需求越大。因此 SPE 不适用于长时间运行的系统。所以，消息顺序相同虽然不是一项必须的要求，但的确可以为系统运行带来便利。

没有丢失或重复消息，并且消息顺序相同。这就实现了全序原子广播（TOAB），也就是分布式系统中常提到的共识。
https://en.wikipedia.org/wiki/Consensus_(computer_science)

消息系统想要实现 effectively-once 保证，就必须实现共识或者借助其他外在系统帮助其实现共识。

开源社区提供许多实现共识的常见系统(https://www.consul.io/)。但是，这些系统一般使用键值（ K-V）类型的接口，并不适合存储消息流。而且，键值类型的接口会将数据存储在集群的单一日志副本上。也就是说，当为消息系统向外（横向）扩展多个流时，这些接口的运行就会出现很严重的问题。因此，对用户最友好的系统应该既能提供类似日志的接口，又能向外扩展多个流。

只有极少数系统可以同时提供上述两种功能，而 Apache BookKeeper 便是其中之一。BookKeeper 可以实现 ZooKeeper 要求的一致性，并对其进行水平扩展，因此可以存储日志副本。

关于 BookKeeper 如何保证全序原子广播的可扩展性，可以参考文章：
https://www.splunk.com/en_us/blog/it/scaling-out-total-order-atomic-broadcast-with-apache-bookkeeper.html

Apache Pulsar 使用 BookKeeper 存储与每个 topic 关联的消息流，因此可以实现 effectively-once 保证。BookKeeper 可以为 Pulsar 提供全序原子广播保证，因此客户端可以重连过去任一时间点。Pulsar 通过游标实现这一连接。

Pulsar 利用发布消息的应用程序将数据推送给消息系统，因此需要实现数据的 effiectively-once 保证。Pulsar 通过消息去重机制实现了消息 effiectively-once 保证。

更多详细信息，可以参考文章《Apache Pulsar 中的 effectively-once》。
https://www.splunk.com/en_us/blog/it/effectively-once-semantics-in-apache-pulsar.html