Debezium系列之:深入理解kafka connector在不同场景下的再平衡策略

Debezium系列之:深入理解kafka connector在不同场景下的再平衡策略

  • 一、新的worker加入
  • 二、现有worker跳出
  • 三、现有worker永久离职

Kafka Connector集群由3个worker组成。Kafka Connect 中连接任务是新线程:

  • 第一个提供增量协作再平衡协议的 Kafka 客户端是 Kafka Connect,在 Kafka Connect 中,worker 之间平衡的资源是连接器及其任务。连接器是一个特殊的组件,主要与外部数据系统进行连接,并充当 Kafka 记录的源或接收器。连接任务是执行实际数据传输的结构。
  • 尽管 Connect 任务通常不会在本地存储状态,并且可以在从 Kafka 恢复状态后快速停止和恢复执行,但在每次重新平衡时停止集群可能会导致严重的延迟。在某些情况下(也称为重新平衡风暴),它可能会使集群进入连续重新平衡状态,并且 Connect 集群可能需要几分钟才能稳定。

下面列举几个典型场景,结合图文深入理解kafka connector在不同场景下的再平衡策略。

一、新的worker加入

Debezium系列之:深入理解kafka connector在不同场景下的再平衡策略_第1张图片

  1. 一个新的工人加入(图 1)。在第一次重新平衡期间,领导者 (Worker1) 会计算一个新的全局分配&#x

你可能感兴趣的:(debezium,Debezium系列,kafka,connector,在不同场景下的再平衡策略)