Apache Pulsar 多层抽象layer2-broker、Cursor追踪

broker简介：

pulsar broker是无状态的，Bookeeper集群本身并不执行复制，每个Bookies只是一个跟随者被领导者同志做什么，领导人是Pulsar Broker。每个Topic都由一个Pulsar Broker拥有，该Broker提供Topic的所有读写操作。

写操作

Pulsar 的写流程如下图：

image.png

Pulsar Broker 接收到 client 的请求后，依据 Topic 所使用的 Ensemble 集合以及相关参数，把数据写入 Qw 个 Bookie，收到 Qa 个 Bookie 的回应后，可以认为写成功并向生产者客户端发送确认。至于 Ensemble 的选择，则由 Pulsar Broker Leader相应的策略在创建 Topic 的时候从 Bookie 集合中选择。
如果写流程中有 Bookie 返回错误或者超时没有返回，则 Broker 会用新的 Bookie 替换，并把数据写入其中的 Ledger/Fragment上。通过这个 Ensemble Change 的方法能够保证 Pulsar 肯定能够写成功，而不是由于某个节点故障导致写流程阻塞住进而影响后面 Entry 的写流程。

读操作

Pulsar Consumer 读取消息的不需要关心数据数据存储所在的介质，因为 Pulsar 很好的使用了缓存功能以提高读取速度，并利用分级方式降低存储成本。

image.png

Pulsar 的读流程如下图：

image.png

• setp1：Kafka 的 Consumer 会从 Partition 对应的 leader Broker 上读取数据，Pulsar 的 client 是从 Topic/Partition owner 对应的 Broker 读取数据。如果该 Broker 有缓存，则直接返回相应数据，否则就从任一个 Bookie 读取数据并返回给 client。
• setp2：一个新的 Pulsar Broker 发起读取请求之前，需要知道 Pulsar 集群的 LAC，Broker 会向所有 Bookie 发送获取 LAC 请求，得到大多数回复后即可计算出一个安全的 LAC 值，这个流程就是采用了 Quorum Read 的方式。
• setp3：Pulsar Broker 获取可靠的 LAC 之后，其读取可以从任一 Bookie 开始，如果在限定时间内没有响应则给第二个 Bookie 发送读取请求，然后同时等待这两个 Bookie，谁先响应就意味着读取成功，这个流程称之为 Speculative Read（推测式读取）。

Cursor追踪

每个Subscription都存储一个Cursor。Cursor是日志中的当前偏移量。Subscription将其Cursor存储至BookKeeper的Ledger中。这使Cursor跟踪可以像Topic一样进行扩展。