Kafka Connect 概念

       Kafka Connect是一个用于将数据流输入和输出Kafka的框架。Confluent平台附带了几个内置connector,可以使用这些connector进行关系数据库或HDFS等常用系统到kafka的数据传输。为了有效地讨论Kafka Connect的内部工作,建立一些主要的概念是有帮助的。

  • Connectors:通过管理task来协调数据流的高级抽象
  • Tasks:如何将数据复制到Kafka或从Kafka复制数据的实现
  • Workers:执行Connector和Task的运行进程
  • Converters: 用于在Connect和外部系统发送或接收数据之间转换数据的代码
  • Transforms:更改由连接器生成或发送到连接器的每个消息的简单逻辑

Connectors

       Kafka Connect中的connector定义了数据应该从哪里复制到哪里。connector实例是一种逻辑作业,负责管理Kafka与另一个系统之间的数据复制。
       我们鼓励用户利用现有的connector。但是,可以从头编写一个新的connector插件。在高层次上,希望编写新连接器插件的开发人员遵循以下工作流。


Kafka Connect 概念_第1张图片
image.png

Tasks

       Task是Connect数据模型中的主要处理数据的角色。每个connector实例协调一组实际复制数据的task。通过允许connector将单个作业分解为多个task,Kafka Connect提供了内置的对并行性和可伸缩数据复制的支持,只需很少的配置。这些任务没有存储任何状态。任务状态存储在Kafka中的特殊主题config.storage.topic和status.storage.topic中。因此,可以在任何时候启动、停止或重新启动任务,以提供弹性的、可伸缩的数据管道。


Kafka Connect 概念_第2张图片
image.png

Task再平衡

       当connector首次提交到集群时,workers会重新平衡集群中的所有connector及其tasks,以便每个worker的工作量大致相同。当connector增加或减少它们所需的task数量,或者更改connector的配置时,也会使用相同的重新平衡过程。当一个worker失败时,task在活动的worker之间重新平衡。当一个task失败时,不会触发再平衡,因为task失败被认为是一个例外情况。因此,失败的task不会被框架自动重新启动,应该通过REST API重新启动。


Kafka Connect 概念_第3张图片
image.png

Workers

Standalone Workers

       Standalone模式是最简单的模式,用单一进程负责执行所有connector和task。

Distributed Workers

       分布式模式为Kafka Connect提供了可扩展性和自动容错能力。在分布式模式下,你可以使用相同的组启动许多worker进程。它们自动协调以跨所有可用的worker调度connector和task的执行。如果你添加一个worker、关闭一个worker或某个worker意外失败,那么其余的worker将检测到这一点,并自动协调,在可用的worker集重新分发connector和task。


Kafka Connect 概念_第4张图片
image.png

Converters

       在向Kafka写入或从Kafka读取数据时,Converter是使Kafka Connect支持特定数据格式所必需的。task使用转换器将数据格式从字节更改为连接内部数据格式,反之亦然。
       默认提供以下converters:

  • AvroConverter(建议):与Schema Registry一起使用
  • JsonConverter:适合结构数据
  • StringConverter:简单的字符串格式
  • ByteArrayConverter:提供不进行转换的“传递”选项
           转换器与连接器本身解耦,以便在连接器之间自然地重用转换器。


    Kafka Connect 概念_第5张图片
    image.png

Transforms

       Connector可以配置转换,以便对单个消息进行简单且轻量的修改。这对于小数据的调整和事件路由十分方便,且可以在connector配置中将多个转换链接在一起。然而,应用于多个消息的更复杂的转换最好使用KSQL和Kafka Stream实现。
       转换是一个简单的函数,输入一条记录,并输出一条修改过的记录。Kafka Connect提供许多转换,它们都执行简单但有用的修改。可以使用自己的逻辑定制实现转换接口,将它们打包为Kafka Connect插件,将它们与connector一起使用。
       当转换与source connector一起使用时,Kafka Connect通过第一个转换传递connector生成的每条源记录,第一个转换对其进行修改并输出一个新的源记录。将更新后的源记录传递到链中的下一个转换,该转换再生成一个新的修改后的源记录。最后更新的源记录会被转换为二进制格式写入到kafka。
       转换也可以与sink connector一起使用。
       以下为可以使用的transform:
https://docs.confluent.io/current/connect/transforms/index.html

你可能感兴趣的:(Kafka Connect 概念)